Nvidia のデータセンター冷却のビジョンは、次のような疑問を提起します。液体冷却と液浸冷却のどちらかを選択する必要がある場合、なぜどちらかを選択しなければならないのでしょうか。
このコンセプトは、シリコンへの直接液体冷却（DLC）とその他のコンポーネントへの液浸冷却を組み合わせたもので、米国エネルギー省（DoE）のCOOLERCHIPSプログラムにおいて500万ドルの助成金を受けています。このプログラムは、データセンターの冷却に消費される電力を、IT自体に消費される電力の5%未満に削減することを目指しています。
NVIDIAのサーバー冷却コンセプトは、SubmerやLiquidStackといった製品で見られるタンク式の液浸冷却システムとはほとんど似ていません。ほとんどの空冷式および直接液冷式シャーシで採用されている標準的なラックマウントフォームファクターを維持しています。
一見すると、このコンセプトは別の液浸冷却ベンダーであるIceotopeの製品によく似ています。Supercomputing 2022でIceotopeの設計を目にしたことがあります。同社はラックマウント型の筐体を提供しており、デバイスのマザーボードは薄い冷却剤の層の下に設置されます。筐体はCPU、GPU、メモリ、さらにはハードディスクにも冷却剤を直接送り込みます。
このアプローチは、従来の直接水冷設計に比べていくつかの利点があります。大きな利点の一つは、低消費電力コンポーネントを冷却するためのファンが不要になることです。CPUやGPUは水冷で比較的簡単に冷却できますが、メモリ、NIC、ストレージはより複雑です。マザーボードを冷却液に浸すことで、ファンの必要性が大幅に軽減されます。
Nvidiaの液体冷却コンセプトは、液体冷却と液浸冷却技術の組み合わせを必要としている – クリックして拡大
NVIDIAのコンセプトでは、Iceotopeの設計で使用されている単相流体ではなく、冷蔵庫やエアコンで使用されている物質に似た相変化冷媒を採用しています。マザーボードが加熱されると、液体は沸騰して凝縮し、その後滴り落ちます。しかし、NVIDIAのコンセプトでは、CPUとGPUには従来の直接水冷方式も採用されています。
理論的には、これにより Nvidia は 2 つの温度ゾーンを実現できるはずです。1 つは CPU や GPU などの高熱設計電力 (TDP) コンポーネント用、もう 1 つはメモリやネットワーク カードなどの低温コンポーネント用です。
- ITチームやベンダーは効率性を優先すべき時が来ています。まずはここから始めましょう。
- AIの渇きを満たすには、データセンターの構築と運用方法を変える必要がある
- データセンターの液体冷却が熱くなると、お金が流れ始める
- LiquidStack CEOが語る、液浸冷却を無視すべきではない理由
NVIDIAが水冷に興味を持つのは当然のことです。同社の製品は進化するにつれて発熱量が増加してきたからです。現在、同社のSXM GPUは最大700Wですが、H100と72コアのGrace CPU、そして512GBのLPDDR5メモリを組み合わせたGrace-Hopperスーパーチップは、1個あたり1kWの定格となっています。
「近い将来、今日の空冷システムは対応できなくなるでしょう。現在の液冷技術では、研究者がデータセンターの将来のシリコンが放出する必要があると予測する1平方センチメートルあたり40ワット以上の電力を処理できなくなるでしょう」とNvidiaの投稿は説明している。
Nvidiaは水冷技術に精通しています。アクセラレーター業界の巨人である同社は、数年前からSXM GPUモジュール用の水冷フォームファクターを提供してきました。しかし、他の製品ラインアップに水冷を導入したのはごく最近のことです。人気のA100 PCIeカードがDLCフォームファクターで提供開始されたのは2022年5月のComputexカンファレンスまで待たなければなりませんでした。H100カードは2023年に水冷式での提供開始が予定されています。
Nvidiaは、液体冷却と液浸冷却を組み合わせたテストシステムを2026年に提供する計画で、その目標に向けた進捗状況についてできるだけ早く最新情報を発表することを約束している。
ブログ記事によると、エンジニアたちは最初の1年間、コンポーネントのテストに重点を置き、2025年に部分的なラックテストに移行するとのことだ。このため、Nvidiaは、冷却プレートについては液体冷却の専門企業BOYD Corp、ポンプについては2相冷却の大手Durbin Group、冷媒についてはHoneywell、熱遮断についてはデータセンターインフラ企業のVertivに協力を依頼した。
Nvidia はまた、分析、テスト、解析のためにビンガムトン大学およびヴィラノバ大学と協力し、コンセプトの信頼性の評価のためにサンディア国立研究所と協力する予定です。
液体冷却と液浸冷却の研究開発が始動
データセンターの冷却技術に取り組んでいるのはNVIDIAだけではありません。Intelは最近、単一のチップから数キロワットの熱を放散できる様々なシステムの開発に向けた取り組みの進捗状況を発表しました。
これらの設計の多くは、システム全体を誘電液の入った容器に浸すといった類似のコンセプトに焦点を当てていますが、高度な製造技術を用いて3Dベイパーチャンバーを「サンゴ型ヒートシンク」に組み込むことも検討されています。チップ上の高温部分に冷水を噴射する微小なジェットも、別のアイデアです。
この分野での継続的な取り組みにもかかわらず、インテルの財政難は、オレゴン州にある 7 億ドルの液体および浸漬冷却の「メガラボ」のキャンセルなど、いくつかの障害をもたらしました。®
