Build Microsoft は、OpenAI 向けに Azure クラウド内にカスタム AI スーパーコンピューターを構築した。これは、地球上で知られている最も強力なスーパーコンピューターのトップ 5 にランクされるという。
この巨大システムには「285,000個以上のCPUコアと10,000個のGPU」が搭載され、各GPUサーバーには最大400Gbpsのネットワーク接続が備わっているという。
このモンスターがトップ 5 に入るということは、世界で最も強力な公開スーパーコンピュータの最新リストから判断すると、テキサス大学の 45 万コア 38 PFLOPS の Frontera システムと、アメリカの 240 万コア 200 PFLOPS の Summit の間に位置するということになります。
5 位と 4 位の間になるのではないかという気がしますが、これは中国の 490 万コア、100PFLOPS の Tianhe-2A です。ただし、これはあくまで推測です。
マイクロソフトのこの自慢話は、今週開催されている開発者向けのバーチャルイベント、同社の年次 Build カンファレンスで語られた。
AI研究は膨大な計算量を必要とし、OpenAIは膨大なデータブロックから巨大な機械学習モデルを学習させるために膨大な量の計算資源を必要としています。最も野心的なプロジェクトには、最大10億のパラメータを持つテキスト生成システムGPT-2があり、Redditから取得した40GBのテキストで学習させるのに256個のGoogle TPU3コアが必要でした。また、Dota 2をプレイできるボットであるOpenAI Fiveは、学習に12万8000個以上のCPUコアと256個のNvidia P100 GPUを必要としました。
Google: 量子超越性を達成しました！ IBM: いいえ。その言葉を使うのはやめてください。
続きを読む
「スーパーコンピューターに必要な要素や、構成するあらゆるコンポーネントの限界について理解が深まるにつれ、『もし理想のシステムを設計できるとしたら、どんなものになるだろうか』と自問自答できるようになりました」とOpenAIのCEO、サム・アルトマン氏は述べた。「そして、マイクロソフトがそれを実現することができたのです。」
しかし、Windowsの巨人であるOpenAIは上記の数値以外の技術的な詳細を明らかにしなかったため、このクラスターの実際の性能がどれほど強力かは不明だ。The Registerの取材に対し、広報担当者は「システムのベンチマーク処理速度は明らかにできませんが、世界最速スーパーコンピューターTOP500リストで上位5位に入るとだけお伝えしました」と述べ、「現時点で使用されているチップの種類についてはお伝えできる情報はありません」と付け加えた。OpenAIも「現時点でこれ以上の詳細はお伝えできません」と述べている。
OpenAI専用に割り当てられたAzureホスト型のカスタムクラスターは、サンフランシスコを拠点とするこの研究機関へのMicrosoftによる10億ドルの投資の一環です。昨年、MicrosoftはOpenAIの「Microsoft Azure内で汎用人工知能（AGI）まで拡張可能なハードウェアおよびソフトウェアプラットフォーム」の構築に向けた取り組みを支援することを約束しました。契約の一環として、OpenAIは、自社の機械学習プロジェクトを商用化することを決定した場合、MICROS~1を「優先パートナー」とすることを約束しました。
マイクロソフトは、OpenAIとの提携は「次世代の非常に大規模なAIモデルと、それを訓練するために必要なインフラストラクチャを、他の組織や開発者が構築できるプラットフォームとして利用できるようにするための第一歩」だと述べた。
Windowsの巨人であるMicrosoftは、検索の向上、テキストの生成と要約に役立つと期待される自然言語モデルに特に関心を寄せています。今年初め、同社は170億ものパラメータを持つ世界最大の言語モデル「Microsoft Turing」を開発しました。このモデルは、MicrosoftのBing、Office、Dynamicsソフトウェアの強化に使用されていると、この米国の巨大企業は述べています。現在、同社はAzureクラウドプラットフォーム上で特定のタスク向けに、様々なMicrosoft Turingモデルとそれらをトレーニングする方法をオープンソース化することを計画しています。
「これらのモデルの魅力は、それが実現できる範囲の広さです」とマイクロソフトの最高技術責任者ケビン・スコット氏は興奮気味に語った。
「これは、自然言語処理における100のエキサイティングなことと、コンピュータービジョンにおける100のエキサイティングなことを同時に実行できることです。これらの知覚領域の組み合わせが見え始めると、今は想像もできないような新しいアプリケーションが生まれるでしょう。」
Microsoft Buildで発表されたAI関連のその他の目玉としては、DeepSpeedとONNX Runtimeのアップデート版が挙げられます。DeepSpeedは、複数のコンピューティングノードにまたがる大規模な機械学習モデルのトレーニングプロセスを高速化するPythonライブラリです。ONNX Runtimeも同様で、より柔軟性が高く、様々な機械学習フレームワークのトレーニングと推論向けにモデルを最適化できます。®
追加更新
業界筋によると、このスーパーコンピューターは、AMD の第 2 世代 Rome Epyc サーバー プロセッサと Nvidia V100 GPU を使用しているとのことです。
