Nvidia が長らく予告していた GH200 CPU-GPU スーパーチップがついに発売され、サーバー内で実行し、大量の AI トレーニングや推論タスクを処理するように構築されたこの 1,000 ワットのチップは、ドイツのスタートアップ企業 gptshop.ai のワークステーションでも利用可能になりました。
この新興企業の頭脳であるベルンハルト・ギュントナー氏は、大規模モデルの実行におけるNvidiaの消費者向けRTX 4090のパフォーマンスに満足できず、作業をクラウドから切り離すことを好んだことから、GH200をワークステーションに組み込みました。
そこで彼はQCTサーバーを改造し、一般向けPCケースに収まるようにした。そして、もし47,500ユーロ（50,900ドル）から59,500ユーロ（63,700ドル）の予算があれば、あなた用のサーバーも作ってくれるそうだ。
「NvidiaのRTX 4090を試し始めました。たくさん買ってマイニングラックに取り付け、いくつかテストしてみました。すぐに、これは正しいやり方ではないと気づきました」と、グエントナー氏はThe Registerのインタビューで説明した。
Hugging Face などのリポジトリから多くの大規模な言語モデルを入手できますが、Guentner 氏はすぐに、AI 推論に取り組んだことがある人なら誰でもよく知っている問題に遭遇しました。それは、モデルが大きくなるほど、必要なビデオ メモリも大きくなるということです。
これがゲントナー氏をGH200へと導いた。2022年のGTCで初めて発表されたこのチップは、NVIDIAの72コアArm Neoverse V2ベースのCPUと480GBのLPDDR5xメモリ、そして96GBのHBM3または144GBのHBM3eメモリを搭載したH100 GPUを組み合わせたものだ。
これは、MetaのLLama 2 70BのようなモデルをFP8（144GB構成の場合はFP16）で実行するのに十分なメモリ容量です。理論的には、CPUとGPU間の高速インターコネクトにより、パフォーマンスを犠牲にしても構わないのであれば、さらに大規模なモデルをLPDD5xメモリに収めることも可能になります。
パフォーマンスとメモリの面では、GH200はまさにゲントナー氏が求めていたものでした。しかし、20,000回転を超えるような高回転ファンを搭載していない、より従来型のワークステーションプラットフォームにGH200を搭載するのは全く別の問題でした。
「電力の数値を見ると、1,000ワットを超えないので、デスクトップに搭載することがまったく可能であることは明らかでした」と彼は指摘した。
システムビルダーは長年にわたり、カスタムワークステーションにサーバーコンポーネントを組み込んできましたが、GH200とそのマザーボードをケースに収めるのは容易ではありませんでした。高度なモジュール性を備えた多くのサーバープラットフォーム（例えば、CPUや電源をあるシステムから取り出して、互換性のある別のシステムに交換できる）とは異なり、GuentnerはQCTシステムから調達したコンポーネントを使用するしかありませんでした。
「スーパーチップとその他を別々に購入できるか尋ねたが、それすらもできないと言われました」と同氏はOEMシステムについて語り、長期的には可能な限り従来型のATXスタイルのコンポーネントに移行したいと付け加えた。
すべてをケース（既製のフルタワー）に収めるのに約 2 週間と多少の改造が必要でした。
ご想像のとおり、NvidiaのGH200のような1kWチップを冷却するには、大量の空気の流れが必要です。クリックして拡大
ゲントナー氏は、冷却が彼のビルドの最も困難な部分であると評価しました。
GH200はクールなチップではありません。前述の通り、フルロード時の消費電力と放熱量は1キロワットとされています。さらに、QCTシステムから取り出したGH200はロープロファイルサーバー用に設計されたヒートシンクを搭載しており、市販のクーラーを購入することもできません。
しかし、十分な数の Noctua ファンをケースの壁に沿って並べ、さらに 1 つのファンがマザーボードに直接風を吹き付けることにより、Guentner 氏は難聴のリスクを負うことなく温度を許容レベルまで下げることができました。
冷却システムの有効性を検証するため、GuentnerはFOSSフレンドリーなサイトPhoronixにシステムへのリモートアクセスを提供し、ベンチマークテストを実施しました。これまでのところ、チームはGH200のGrace CPUのみをテストしていますが、このCPUはEpycおよびXeon Scalableベースの様々なシステムと比較して非常に競争力があることが証明されています。
- Nvidiaは、この小型ワークステーションGPUは電気代を増やさないと考えている
- Nvidiaはカスタムシリコン市場の一部を獲得したいと考えており、IP販売のためのユニットを設立すると報じられている。
- キロワットチップ時代の熱管理はどのように変化しているのか
- AMDはMI300シリーズAPUとGPUを組み合わせたシリコンサンドイッチでNvidiaのAI帝国に挑戦する
現時点では、このシステムはプロトタイプに過ぎません。しかし、グエントナー氏は、NVIDIAのスーパーチップを搭載した高性能ワークステーションの市場はおそらく存在すると考えており、この設計に基づいたシステムを構築・販売する計画です。
「需要はあります。予想以上に高いですね。始めた当初は、非常に特殊な製品で値段もかなり高いので、月に1個くらい売れるかなと思っていました」と彼は語った。
これらのシステムは決して安くはありません。しかし、Guentner氏は、NvidiaとそのOEM/ODMパートナーがGH200に請求している価格を考えると、できることはあまりないと主張しています。
システムの価格は47,500ユーロからで、NVIDIAのBlueField 3データ処理ユニットやビデオ出力用のRTX 4060など、様々なアドオンカードやストレージを搭載可能です。Guentner社は、このシステムの水冷バージョンも開発中です。
Nvidia はこれまでにも同社の最高スペックのアクセラレータをベースにしたワークステーションを構築しているため、Guentner 氏が GH200 ワークステーションの市場を独占できる期間は長くないかもしれない。®
