SC24データセンターは長年にわたり、より高密度で電力消費量の多いシステムへと移行してきました。ご存知ない方もいらっしゃるかもしれませんが、19インチラックは高密度構成において電力需要が120キロワットを超えており、多くのデータセンターが熱を抑えるために直接液冷方式に切り替えています。
このトレンドの大部分は、ますます大規模化するAIモデルをサポートする必要性によって推進されてきました。富士通の研究者によると、AIシステムのパラメータ数は約3年ごとに32倍に増加しています。こうしたモデルをサポートするために、NVIDIAなどのチップ設計者は、1秒あたり約1.8テラバイトという極めて高速なインターコネクトを使用し、8基以上のGPUを1つのデバイスのように見せかけ、動作させています。
しかし問題は、データを高速に転送するほど、信号を維持できる距離が短くなることです。その速度では、銅線では1～2メートル程度が限界です。
代替案としては、はるかに長距離にわたって信号を維持できる光技術の使用があります。実際、光技術は、AIモデルの学習に使用されているような、ラックツーラックのスケールアウトファブリックの多くで既に採用されています。残念ながら、現状では、プラガブル光技術はそれほど効率的でも高速でもありません。
2024年の初めのGTCで、NvidiaのCEOであるジェンスン・フアンは、NVL72ラックシステムを構成する72個のGPUをつなぎ合わせるために銅ではなく光学ケーブルを使用していた場合、追加で20キロワットの電力が必要だっただろうと述べた。
では、これは光学系が不要になり、ラックの高密度化が避けられないことを意味するのでしょうか？Ayar Labsによると、そうではないようです。彼らは、光学系をコンピューティングに直接統合することで、チップメーカーは帯域幅のボトルネックを緩和できるだけでなく、増加するモデルパラメータ数をサポートするために必要なラック密度も低減できると主張しています。
高密度化の緩和への道を照らす
銅製相互接続の限界を克服し、光 I/O の効率向上を目指すフォトニクス分野の新興企業は数多くあるが、Ayar はその先駆者の一つだ。
サンフランシスコを拠点とするこのスタートアップ企業は、2015年から光相互接続チップレットの開発に取り組んできました。これらの光デバイスは、銅線で可能な距離よりも長い距離にわたってより高い帯域幅を実現するために、CPUやGPUと一緒にパッケージ化されるように設計されています。
大規模な AI トレーニングや推論などのアプリケーションでは、光ファイバーが Nvidia の NVLink や AMD の Infinity Fabric の代わりになり、複数のチップを接続できるようになる可能性があります。
このレンダリングでは、Ayarがスケールアウトコンピューティングのために光インターコネクトをGPUプラットフォームに統合する方法を示しています。クリックして拡大します。
「1つのラックから複数のラックに移行し、コンピューティング基盤を64～72基以上のGPUに拡張したい場合、銅線や電気配線以外の方法が必要です」と、Ayar Labsのコマーシャルオペレーション担当副社長、テリー・ソーン氏はEl Regの最近のインタビューで語った。「現在存在するプラグ型コネクタではニーズを満たせません。インパッケージの光I/Oを実現すれば、ニーズを満たせるようになり、スケールアップ可能なファブリックを実現できるようになります。」
この技術により、コンピューティングおよびメモリ領域を数十のラックに分散された数百の GPU に拡張できるようになると同時に、1 つのラックにそれほど多くのアクセラレータを詰め込む必要がなくなるため、データセンター運営者が現在直面している電力および熱の課題の一部が軽減されます。
「銅線ケーブルを使うと、ラック内に設置する必要があり、電力密度、設置面積、設置面積に基づいて接続できる台数に制限があると感じるかもしれません」とソーン氏は説明した。「光I/Oを導入すれば、電力供給を分散させることができるため、電力制限のある人でも、より広いスペースにAI接続インフラを構築できるようになります。」
言い換えれば、論理システムとして機能するために、コンピューティングを同じラックはもちろん、同じボックス内に配置する必要がなくなり、ラックあたりの電力と熱密度を大幅に削減できることを意味します。
まだやるべき仕事はたくさんある
シリコンフォトニクス技術は多くの可能性を秘めていますが、実用ハードウェアに統合されるまでには、数多くの課題が待ち受けています。これには、既存の銅線インターコネクトに匹敵する電力と帯域幅を持つチップの開発から、両者が相互通信できるようにUCIeのような通信プロトコルの開発まで、あらゆる課題が含まれます。
Ayarは、過去数年間にわたり、シリコンフォトニクスチップレットを数多くのプロトタイプシステムに統合する取り組みを行ってきたため、こうしたハードルは慣れ親しんできた。私たちは以前、Ayarと、Intelが数年前にDARPA向けに開発した超スレッド・グラフデータベース・アクセラレータとの統合について検討したことがある。Ayarは、IntelのAgilex FPGAにも自社のチップレットを統合している。
さらに最近では、Ayar は富士通と提携して、それぞれ約 8Tbps の双方向帯域幅が可能な 2 つの次世代フォトニクス チップを同社の CPU に統合していることを明らかにしました。
SC24で、AyarはTeraPHYチップレット2個をA64FXプロセッサと共存させたモックアップを公開しましたが、実際にそれが製造されるのか、あるいは富士通がこの技術を商用化する意図があるのかどうかは不明です。Intelと同様に、これは単に技術の実現可能性を検証するための実験に過ぎない可能性があります。
こちらはコンセプトの詳細で、Ayarの光I/Oモジュールが富士通A64FXと並んでパッケージ化されている様子です。クリックして拡大してください。
しかし、フォトニックチップレットの構築と統合は、はるかに大きなパズルの一部に過ぎません。高価な加速器に恒久的に接続されるため、信頼性が求められます。
光プラグ式メモリの場合、何か不具合が発生した場合、少なくともGPUなどに比べれば、交換は比較的簡単で安価です。不具合のあるものを交換すれば、すぐに元の状態に戻ります。一方、光チップレットが故障すれば、4万ドルのアクセラレータも使えなくなってしまいます。
「コンピューティングチップの光学系について話すときに必ず出てくる懸念の一部に対処するために、私たちが取り組んでいる対策がいくつかあると思います」とソーン氏は語った。
最初の取り組みの一つは、光源をチップレットから分離することだった。「レーザーをチップ内に組み込む方法はいくつかありますが、そうするとレーザー自体の温度範囲が非常に広くなります。…そして、それが信頼性と長期的な存続可能性に影響を与える傾向があります」と彼は説明した。
このアプローチの利点は、レーザーが故障しても GPU やアクセラレータが故障することはなく、後から交換したりアップグレードしたりできることです。
- アマゾンはアントロピックにさらに40億ドルを投資
- AIのせいでデータセンターの電気代が爆発的に上昇する可能性
- Green500におけるNVIDIAの優位性はAMDとNVIDIA自身からの挑戦に直面している
- Nvidiaの最新Blackwellボードは4つのGPUと2つのGrace CPUを搭載し、消費電力は5.4kWです。
アヤール社はまた、工場でGPUに接合される前に不良ダイを見抜くための光学テストパイプラインの開発も進めている。「良品と判明しているダイを特定するために、ウエハ上で光学的および電気的テストを行う方法を確立しているところです」とソーン氏は述べ、この技術は光学部品の欠陥によってチップが損傷するのを防ぐのに役立つはずだと付け加えた。
SC24で、AyarはIntel Foundryが開発したTeraPHYチップレットに光ファイバーを接続する新しい方法をデモしました。クリックして拡大
光学部品の故障といえば、チップレットだけでなく光ファイバー自体も心配する必要があります。Ayarは長年にわたり、光ファイバー接続に関していくつかの異なるアプローチを模索してきました。その中には、Intel Foundryが開発した、チップ側面に水平に差し込む方式も含まれています。この接続方式のテストはまだ初期段階にあるとのことですが、Ayarはこの方式でデータ伝送に成功しています。
前述のとおり、これらの課題を克服するために取り組んでいる企業は Ayar だけではありません。多くの場合、光ファイバー接続、通信プロトコル、テストおよび検証方法論などの開発は、より広範なエコシステムに利益をもたらすように標準化される可能性があります。®
