Google、Baiduなどが支援するもう一つのAIベンチマークコンペティション、MLPerf万歳

AIで使用される多数のハードウェアおよびソフトウェア プラットフォームをテストするためのベンチマークを設定する新しいコンテストが、大手テクノロジー企業や大学の支援を受けています。

新しいプロジェクトMLPerfは、様々なAIフレームワークとチップで実行される様々な機械学習タスクのトレーニングと推論の速度を測定します。これらのタスクには以下が含まれます。

この最新プロジェクトには、Google、Intel、Baidu、AMDといった有名企業が参加しています。その他、AIハードウェアのスタートアップ企業であるSambaNovaとWave Computing、そしてスタンフォード大学、ハーバード大学、カリフォルニア大学バークレー校、ミネソタ大学、トロント大学も参加しています。

AIコミュニティはベンチマーク結果に熱狂している。以前のモデルよりもわずかに精度や速度が向上した、より優れた最適化されたニューラルネットワークの構築を目指して、研究者たちが競い合い、そこから派生した研究論文がいくつも発表されている。

独自のチップを開発し、絶えずアップデートされるソフトウェアを開発している企業やスタートアップ企業を追跡するのは困難です。しかも、そのほとんどがマーケティングの誇大宣伝で覆われているのも問題です。チップメーカーは仕様を公開せずに革命的な速度向上を約束することがよくあります（Intelなど）。そのため、MLPerfやDAWNBenchのようなプロジェクトによる独立した実験が役立ちます。

「ベンチマークは信頼性を高め、パフォーマンスを実証することで、利用拡大や収益拡大につながります。数百万ドル規模のハードウェアアクセラレータやソフトウェアフレームワークを選ぶのであれば、標準的なベンチマークスイートで公開されている結果を持つものを選ぶのではないでしょうか？」と、Googleのエンジニアであるピーター・マットソン氏はThe Register紙に語った。

MLPerfは、再現可能な公正かつ信頼性の高いベンチマーク測定を提供することで、産業界および研究における機械学習の進歩を促進することを目指しています。これらの比較は、ベンダーと研究者間の競争を促進することも期待されます。また、実験は誰でも参加できるよう、実施コストを抑える必要があります。

「ハードウェアは、研究開発の意思決定を行う企業にとっても、購入の意思決定を行う企業にとっても、巨額の投資となるため、短期的にはベンチマークが重要です」とマットソン氏は付け加えた。

「そして長期的には、ベンチマークによって研究者とベンダーが共通の方向でパフォーマンスを進化させることが可能となり、機械学習のパワーをより早く解き放ち、私たち全員が恩恵を受けることができるようになるのです。」

すべての MLPerf タスクの提出期限は 7 月 31 日です。®