Computex Nvidia は、CPU 中心のサーバー設計では複数の GPU と SmartNIC を収容するのに適していないと主張し、アクセラレーターを収容するサーバー用のオープン デザインを作成しました。
NVIDIAのCEO、ジェンスン・フアン氏は月曜日、台湾で開催されたComputex 2023で、MGXと呼ばれるこの設計を発表した。同氏は、既存のサーバー設計はNVIDIAのアクセラレータが生成する熱と消費電力に対応できるように設計されていないため、MGXは必要だと主張した。
シャーシのデザインは基調講演中に公開され、黄氏は4年ぶりに壇上に上がり公の場でスピーチを行い、聴衆に幸運を祈るよう求めた。
聴衆はそれだけでなく、それ以上のことをする準備ができていた。観客は文字通り、黄氏に近づこうと部屋の前方へ駆け寄った。トレードマークの黒い革ジャケットを羽織ったCEOは、中国語のジョークを交えながら2時間にわたるスピーチを行い、台湾の悪名高いスナック「臭豆腐」への賛辞まで披露した。聴衆は熱心に聞き入った。黄氏をよりよく見るために、報道陣用の席に気取った様子で座っていた台湾人のソフトウェアプロジェクトマネージャーは、NVIDIAのCEOがAIに関する比類のない洞察を提供してくれると確信していたため、講演に出席したと語った。彼女は講演中ずっと夢中だった。
黄氏の主張は、1965年のIBM System 360の登場から始まったコンピューティングの歴史が終焉を迎えたというものでした。黄氏によれば、System 360はCPUの優位性とシステムの拡張性を世界にもたらしたとのことです。
それ以来、このアーキテクチャが世界を席巻してきたが、CPU のパフォーマンス向上は頭打ちになっており、アクセラレータ支援コンピューティングが将来的な主流になる、と彼は述べた。
もちろん、この主張は Nvidia の核となる信条です。
しかし、Huang 氏は、1 つの LLM をトレーニングするために 1,000 万ドルの費用がかかり、11GWh を消費する仮想的な 960 台のサーバー システムを挙げ、大規模言語モデル (LLM) を作成するために必要な労力に関するデータでそれを裏付けました。
CEOは、40万ドルのNVIDIA製サーバーとGPUを搭載した2台のサーバーだけで、わずか0.13GWhの消費電力で同じ処理を実行できると主張した。また、3400万ドルのNVIDIA製サーバー172台で11GWhを消費しながら150個のLLMを生成できる可能性も示唆した。
NvidiaのMGX仕様に基づく今後のサーバー – クリックして拡大
Huang 氏の理論によれば、データセンターが猛烈な勢いで建設される一方で、ラックスペースや電力をめぐる競争は依然として熾烈であり、そのため多くのユーザーが効率と密度を高めるためにデータセンターの再設計を検討することになるため、この種の装置がすぐに多くの組織の購入リストに載るようになるだろうという。
ここでMGX仕様が登場します。MGXは、CPUのみで動作するマシンに詰め込んだ場合よりも、より小さなフットプリントでより多くのNvidiaの機能を利用できる設計を提供します。Huang氏は、MGXはユーザーが求める密度を実現すると述べています。そして、必要に応じて、素晴らしいNvidiaアクセラレータと並んで、退屈な古いx86 CPUも問題なく搭載できます。
- ママ、InifiniBandがないよ: NvidiaのDGX GH200はNVLinkで256個のスーパーチップを結合
- NvidiaのGPUが工場から飛び出し、また工場に戻ってくる
- エヌビディアのCEO報酬、売上目標未達で23年度は10%減
- エヌビディアCEO、加速コンピューティングのカルトにおける持続可能性の救済を約束
台湾の OEM である ASRock Rack、ASUS、GIGABYTE、Pegatron、QCT、Supermicro がサーバーの生産に契約しており、Huang 氏によると、これらのサーバーは 1U、2U、4U のフォーム ファクターで 100 を超える構成で展開できるという。
QCTは8月に、GH200 Grace Hopperスーパーチップを搭載したS74G-2UというMGX設計を出荷する予定です。同月には、SupermicroのARS-221GL-NRにもGrace CPUスーパーチップが搭載される予定です。
黄氏はまた、グレースホッパーの生産が本格化していることも発表した。CEOは、5Gネットワークと生成AIを同時に稼働させる拠点を見つけることで、クライアントデバイスにビデオの圧縮と解凍の作業をすべて任せるのではなく、ネットワークを通過するビデオチャットを整理できる可能性を示唆した。
また、AI ワークロードを実行する大規模クラウドのイーサネットの効率を向上させるための大規模なスイッチである Spectrum-X ネットワーキング プラットフォームについても説明しました。
さらに彼は、NVIDIAがAIソフトウェアスタックのサポートを改善し、エンタープライズでの利用に適したものにすると漠然と言及した。そして、NVIDIAが模倣しようとしているモデルとしてRed Hatを示唆した。
CEOはロボット工学にも関心を寄せていた。NVIDIAは、ソフトウェアとシリコンを融合させたIsaacというプラットフォームを公開し、産業用途の自律型ロボットの開発を可能にした。特に倉庫での用途が想定されており、Huang氏によると、ロボットは倉庫内で動き回りながら商品を運ぶことになるという。
これらのボットは、Nvidia のアクセラレーション ハードウェアを満載したサーバーを使用して開発された現実世界の空間のデジタル ツイン上に作成された後、それが可能になります。
これも、Nvidia が MGX を作成した理由を示しています。®
