Nvidia はビッグデータ パフォーマンス ベンチマークで不正行為を行い、その結果不当にトップに立ったとして、テストの審判員たちから非難されている。
昨年のGPUテクノロジーカンファレンスで、NVIDIAは、トランザクション処理性能評議会（TPC）が策定したTPCx-BBベンチマークにおいて、同社のDGX A100システムクラスターが最高性能のシステムよりも19.5倍高速であると主張しました。今週、TPCはNVIDIAを厳しく非難し、テストの利用規約に違反しただけでなく、ベンチマークの制約を回避してスコアを人為的に水増ししたと非難しました。
TPC の管理者 Michael Majdalany 氏はThe Registerに対し、 Nvidia はテストで「ワークロードを微調整」し、DGX A100 システムを実際よりも強力に見せたと語った。
「TPCx-BB ベンチマークには制約があり、Nvidia はそれを回避して、『Nvidia は、TPCx-BB として知られる標準的なビッグデータ分析ベンチマークの実行において、記録をほぼ 20 倍上回った』と主張しました」と彼は語った。
「実際には、同じベンチマークを実行していなかったため、関連するすべての主張は無効です。」
同じベンチマークを実行していなかったため、関連するすべての主張は無効です。
TPCx-BBベンチマークは、Hadoopベースのビッグデータシステムのパフォーマンスを測定します。これらのシステムは、NVIDIA製などのグラフィックプロセッサによって高速化されます。構造化データに対してSQLクエリを実行し、非構造化データに対しては機械学習アルゴリズムを用いて、小売大手がオンライン、オフライン、またはその両方で一般的に行う分析作業を模倣します。このテストは、準拠すべき仕様と実行ツールで構成されています。
「16台のNvidia DGX A100システムを搭載したオープンソースのデータサイエンスソフトウェアライブラリであるRAPIDSスイートを使用することで、Nvidiaはベンチマークをわずか14.5分で実行しました。これは、CPUシステムでの現在のトップタイムである4.7時間を大幅に上回る結果です」と、Nvidiaは6月のドットコムブログで誇らしげに述べています。「DGX A100システムには合計128基のNvidia A100 GPUが搭載され、Nvidia Mellanoxネットワークが採用されています。」
しかし、パフォーマンス評議会は、NVIDIAがこの非認証の最高値を公式のTPCx-BBスコアとして引用していることに不満を抱いており、これはベンチマークのフェアユースルール[PDF]に違反しています。このルールでは、組織がベンチマークスコアにTPCという名称を使用できるのは、結果が審査され、TPCのウェブサイトで公式スコアとして公開され、他のベンダーの結果と比較できるようにした場合のみであると規定されています。非公式スコアについては、「非TPC」結果を参照する必要があります。
「NVIDIAのGPUテクノロジーカンファレンス（GTC）2020で発表された論文『RAPIDSの現状：GPUデータサイエンスエコシステムの橋渡し』や関連企業ブログ、マーケティング資料の中で、NVIDIAは『TPCx-BBとして知られる標準的なビッグデータ分析ベンチマークの実行において、記録を20倍近く上回るパフォーマンスを達成した』と主張している」と同評議会は水曜日に述べた。
「Nvidia は公式の TPC 結果を公開しておらず、派生ワークロードの結果を公式の TPC 結果と比較しているため、比較は無効です。」
「TPCは、報道機関、市場調査会社、金融アナリスト、非営利団体など、あらゆる組織によるTPC結果の公表を積極的に奨励しています」と、TPC運営委員会のマイク・ブレイ委員長は付け加えた。「しかし、TPC結果のユーザーと読者にTPCデータの公正かつ完全な情報を提供するために、TPCは、すべてのユーザーが結果の公表または公開を行う際に、TPCポリシーに定められたフェアユース規則に従うことを要請します。」
Nvidiaは、Ampereアーキテクチャベースの製品リストに新たに2つの新しいGPUを追加すると発表しました。
続きを読む
同評議会の広報担当者は、同評議会がNVIDIAに対し、主張の撤回または訂正を求めていると述べた。マーケティングブログの投稿は、変更なくNVIDIAのウェブサイトに今も掲載されている。
GPU大手のGPUメーカーは、非公開でベンチマークへの正式な参加と結果発表に関心を示し、TPCのメンバーとして参加する可能性もあると報じられた。TPCは、AMD、Intel、Microsoftなどのメンバー企業によって支援されている。
しかし、TPCとNvidiaの協議は行き詰まった。Nvidiaは非会員であるため、シリコンバレーの巨大企業であるTPCに制裁を科すために評議会ができることはほとんどないように思われる。他に選択肢が残されていないため、TPCは株式公開を決断した。
「NVIDIAはトランザクション処理パフォーマンス評議会と誠意を持って協力し、正式な提出書類を準備し、その要求に応じている」とNVIDIAの広報担当者はThe Registerに語った。
「当社はソフトウェアとハードウェアの性能に自信を持っており、結果を発表できることを楽しみにしています。」NVIDIAの広報担当者は、同社がチップの性能をどのように測定したか、またブログ記事を削除するか、あるいは訂正を発表する予定があるかについてはコメントを控えた。
「これ以上のコメントはありません」と広報担当者は述べた。®
