分析ダイアン・グリーン氏のサーバー駆動型ストレージの新興企業 Datrium は、DVX クラスター上で 8,000 台の VM という史上最高の IOmark ベンチマークを達成したと発表しました。これは、IBM の FlashSystem V9000 (1,600) のこれまでの記録の 5 倍、Intel サーバー/VMware/vSAN Optane システム (800) の 10 倍に相当します (PDF)。
しかし、ベンチマークレポートの公式価格と構成情報は間違っているようです。
まず最初に、テストされたDatriumシステム[PDF]は、報告された構成ではなかったことをお伝えしておきます。Evaluator Groupは実際には、Dell C6320コンピューティングノード50台とDatrium F12X2データノード10台からなる60ノード構成でテストを行いました。
IOmarkレポートの6ページに記載されているテスト済み構成と報告された構成
F12X2は、Datriumの最新デュアルコントローラー・オールフラッシュストレージノードで、1.92TBのSamsung PM1633a SSDを12基搭載し、物理容量は23TBです。Datriumクラスターには、このノードを10台接続できます。ベンチマークでは、Datriumが発表したばかりのSkylake CPU（Xeon Gold E5-6148 v5 20コア×2、Gold E5-6134 8コア×2）を搭載したCN2100コンピュートノードと、論理的に対比されるはずでした。
実際、テストした構成ではそうではありませんでした。代わりにDell C6320サーバーが使用されました。これらのサーバーにはXeon E5-2600 v4 CPUが搭載されており、SkylakeではなくBroadwellです。
Datrium IOmarkはIOmarkレポートの11ページで構成価格をテストしました
IOmark ベンチマークテストレポート (PDF) の関連テキストは次のとおりです。
テスト構成は透明性のために示されています。ただし、価格と公式構成の目的上、「報告」構成では記載されているCPUとメモリリソースが必要でした。この判断は、VMmark 2.5を実行する参照システムに基づいています。
VMmark 2.5はコンピューティングベンチマークです。タイルベースのマルチアプリケーション設計における複数サーバー仮想化のパフォーマンスを測定します。
このサーバー ベンチマークが IOmark と関連している理由は、Regストレージ デスクにはわかりませんでした。
評価者グループの文書には次のように記載されています。
テスト構成では、Dell C6320コンピューティングノード50台とDatrium F12X2データノード10台を使用しました。報告構成では、Datriumコンピューティングノード60台とDatrium F12X2データノード10台を使用しました。VMmark 2.5ワークロードをサポートするために必要なCPUとメモリは、Intel Xeon Scalable 6148プロセッサー2基と512GBのDRAMを搭載したDatriumノード60台と判定されました。Evaluator Groupは、このDatrium構成で1,000個のVMmarkタイルを達成できると判断しました。
まず、テストされた構成は50 台の Broadwell コンピューティング ノードと 10 台のストレージ ノードでしたが、報告された構成は60 台の Skylake コンピューティング ノードと 10 台のストレージ ノードでした。
第二に、VMark 2.5 ベンチマーク ワークロードでは、そのワークロードが何であれ、Xeon SP CPU を使用するコンピューティング ノードが必要であり、Dell Broadwell コンピューティング ノードではこの VMmark ワークロードには不十分でした。
そして最終的に、価格設定の目的でテストされた構成は、テストで使用されたテスト済み構成ではありませんでした。
評価担当者が行ったのは、必要な VMmark 数をサポートできなかったと思われる低電力の Dell システムをテストし、その結果を 10 パーセント上乗せして、60 個の Skylake コンピューティング ノードで 8,000 台の VM レベルに達するように外挿したことでした。
彼らはこう言いました。
Evaluator Groupは、このDatrium構成が1,000 VMmarkタイルを達成できると判断しました。これは、E5-2699v4 Intel 2ノードシステムが32 VMmarkタイルを達成したという公開結果に基づいています。これは、60ノード構成では900タイルに相当します。Intelの公開データによると、Xeon Scalableシステムでは5～100%の向上が示されており、1,000 VMmarkタイル、つまり8,000台のIOmark-VM-HC VMをサポートするには10%の向上が必要であるという予測を裏付けています。
そのため、Evaluator Groupが報告した結果は、実際にテストされた構成の結果ではありません。テストされたDellのコンピュートノード構成では7,200台のVMが達成されたと示唆されているようですが、これはもちろん優れた結果ですが、報告されている8,000台という数字ではありません。
ダトリウムの視点
Datrium の Craig Nunes 氏は、次のように述べています。「この結果は偽りのものではありません。実際に 50 台の E5-2697 Broadwell サーバーでテストし、監査済みの 8000 IOmark-VM を達成しました。」
レポートにおける混乱は、価格設定ルールに起因しています。VMmarkスコアと同等のスコアを持つサーバーの価格設定が求められているため、顧客はストレージ性能（IOmark）とコンピューティング性能（VMmark）のバランスを取ることができます。私たちがテストしたサーバーは、VMmarkスコアが5000～6000しか達成できませんでしたが、これは私たちが実際に誇りに思っていることです。
「しかし、ルールにより、より強力なサーバーを、より多くのサーバー（Skylake 6148 @ 133 VM/ホスト x 60 ホスト）で価格設定する必要があったため、サーバー構成は 8000 VMmark に対応できました... 前世代のサーバーと非 NVMe ドライブでこのような高いパフォーマンスを実現できたことに満足しています。」
評価者グループの視点
Evaluator GroupのRuss Fellows氏は次のように述べています。「テスト対象のDatrium DVXシステムは、実際に8,000のIOmark-VM仮想サーバーインスタンスを達成しました。これは予測や増加ではなく、実際の結果であり、IOmark-VMの結果を報告している他のシステムと直接比較できます。」
IOmark ではなぜ VMmark スコアが必要なのでしょうか?
フェローズ氏は次のように述べています。「IOmark-VM-HC認証では、使用するサーバーがテスト対象のワークロードをサポートできることも求められます。IOmark-VMはVMmarkと同一であるため、公開されているVMmark 2.5ベンチマーク結果を使用してサーバー構成を検証します。」
同氏はさらにこう付け加えた。「VMmark は CPU とメモリをテストしますが、実際にはストレージについては何も教えてくれません。なぜなら、これらのシステムはすべて、本番環境では決して使用されない非標準構成の非本番環境用ストレージでテストされているからです。」
IOmarkはストレージをテストしますが、どうやらCPUとメモリについては何も教えてくれないようです。システムレベル（CPU + メモリ + ストレージ）の包括的な視点を得るには、これら2つを組み合わせる必要があります。そこでフェローズ氏は、「IOmark-VMはストレージをテストし、必要なVMmark認定システムの数と価格をレポートすることで、ハイパーコンバージドの価格性能比を提供します」と述べています。
実際にテストされた IOmark システムのみが、Datrium のケースで報告された VMmark テスト済みシステムではありません。
+Regコメント
このIOmarkの価格計算要件により、DatriumとEvaluator Groupは、Xeon Skylakeプロセッサを使用しているように見えるベンチマークを報告しましたが、実際にはXeon Broadwell CPUを使用していました。これは全く意味がありません。
私たちの見解では、ベンチマーク レポートは、テストされたシステム構成に関して明確かつ明瞭である必要があり、価格計算にはそのテストされた構成のみを使用する必要があります。つまり、条件や例外、言い訳、しない理由は一切使用しないでください。
ベンチマークがこのようなばかげた操作を行わなければならない場合、ベンチマークの設計は不十分です。
仮にフォード車の燃費ベンチマークレポートを受け取ったとして、その中にシボレー車の価格と公式構成情報が含まれていたら、私たちは怒るでしょう。当然のことです。
IOmark ベンチマークの人々は、実際には不十分な公式監査結果を提示しているようです。®
ブートノート
IOmark組織に、なぜ実際の結果ではなく予測結果が提示されたのか問い合わせました。回答が得られ次第、追記いたします。
Datrium データ ノードの仕様はこちら (PDF) から、コンピューティング ノードの仕様はこちら (PDF) から入手できます。
