分析NetApp は、業界標準のベンチマークで IBM の最大かつ最強のオールフラッシュ ストレージ ボックスを打ち負かしました。
IBMのDS8888はSPC-1 v3ベンチマークで1,500,187 IOPSを記録し、NetAppのA800は2,401,171 IOPSを記録しました。これは60%の高速化です。SPC-1ベンチマークテストは、実際のビジネスデータアクセスをシミュレートするように設計されたテストで、外部ストレージのパフォーマンスを比較しました。
SPC-1 IOPSは実際には複数のドライブIOで構成されるトランザクションであり、文字通りのドライブIOではありません。また、これらはSPC-1 v1ではなくv3の結果であるため、v1と比較することはできません。その理由については、以下のブートノートで説明しています。
NetAppシステムは、6組の高可用性A800ノードからなるクラスタとして構成されました。SPC-1 v3ランキングでは4番目に高速なシステムであり、上位3位はHuaweiシステムが独占しています。
A800 は、500,022 IOPS を記録した NetApp 独自の EF570 よりも 4 倍高速でした。
以下の表は、すべて 100 万 IOPS を超えるスコアを獲得した上位 7 つの SPC-1 v3 システムの詳細を示しています。
| システム | IOPS | システムコスト | $/K IOPS | $/GB | 容量 GB | 応答時間（ミリ秒） |
| ファーウェイ 18800F V5 | 6,000,572 | 279万ドル | 465.79 | 18.87 | 148,176 | 0.941 |
| ファーウェイ 18500F V5 | 4,800,419 | 190万ドル | 400.96 | 17.65 | 109,923 | 0.821 |
| Huawei Fusionストレージ | 4,500,392 | 150万ドル | 329.90 | 17.87 | 83,108 | 0.787 |
| ネットアップ A800 | 2,401,171 | 277万ドル | 1,154.53 | 15.18 | 182,674 | 0.59 |
| ファーウェイ18500 V3 | 2,340,241 | 130万ドル | 549.75 | 16.84 | 76,408 | 0.723 |
| IBM DS8888 | 1,500,187 | 200万ドル | 1,313.44 | 57.35 | 34,360 | 0.60 |
| ファーウェイ6000 V3 | 1,000,560 | 45万4千ドル | 453.63 | 12.59 | 36.078 | 0.472 |
NetAppのA800は277万ドルで2番目に高価なシステムでした。ストレージ容量は182.7TBと最大で、1GBあたりのコストは15.18ドルと2番目に安く、IBMの57.35ドルを大きく下回りました。
A800は、IBM DS8888と比較して、$/K IOPSで測定した価格性能比が14%向上しました。また、SPC-1ベンダーレポートによると、NetAppのシステムは、上位10位にランクインした他のどのベンダーよりも、応答時間とGBあたりのコストの両方において最高のパフォーマンス（IOPS）を実現しました。
これは、データ削減をオンにした状態で実行されました。
NetApp と IBM の DS8888 に関するベンダー提出資料全体 (PDF) を見ると、DS8888 は実行中に定期的にレイテンシの急上昇が見られましたが、A800 はより安定していました。
IBM DS8888 SPC-1 のレイテンシ（上）と NetApp A800 のレイテンシ（下）
ベンダーが提出したベンチマークから判断すると、NetApp は、パフォーマンスの面では、Dell EMC (PowerMax)、Hitachi Vantara (VSP F シリーズ)、Infinidat などのベンダーの他のトップエンド アレイと同等であることが示されています。
中国のベンダー
しかし、Huaweiとそのパフォーマンススコア上位3社はどうでしょうか？DeepStorage.netのチーフサイエンティストであり、ベンチマーク専門家のハワード・マークス氏は、主に政府の不信感により、Huaweiのシステムは米国市場に事実上存在しないと指摘しています。
したがって、米国では、A800 システムと Huawei システムのコスト比較は意味がありません。
もちろん、米国以外では状況は異なります。SPC-1 v3のベンダー申請は19件あり、そのうち12件はHuawei、FusionStack、MacroSAN、Lenovoといった中国ベンダーからのものです。富士通ETERNUSの申請は4件、NetAppが2件、IBMが1件です。
マークス氏は、中国国内の SAN 市場が現在非常に大きくなっており、ベンダーは SPC-1 ベンチマークを売上と市場プレゼンスの拡大に有効な手段とみなしていると示唆しています。
劇的に高速なストレージIOを実現するNVMe over fabricアレイが登場すれば、これらのSPC-1ベンチマークは再び揺るがされる可能性があります。NVMe over fabricアレイを採用するには、SPC-1ベンチマークの新たな改訂が必要になる可能性が高いでしょう。®
SPC-1ベンチマークの背景
SPC-1ベンチマークは、テスト対象のストレージアレイがIOを実行するワークロードを生成する負荷エンジンを用いて開発されました。VD Benchをベースとし、固定データパターンを繰り返し書き込みました。重複排除とSSDが登場すると、データは驚くほど反復的になり、重複排除率は桁外れに上昇しました。事実上すべてのIOがメモリ内のデータワーキングセットから処理可能となり、全く非現実的な結果となりました。
その結果、SPCのルールでは、SPC-1のテスト実行では重複排除機能をオンにすることが許可されていませんでした。これにより、SolidFireなどのオールフラッシュアレイベンダーは重複排除機能をオフにすることができず、不利な状況に陥りました。
SPCは5年以上の遅延を経て、v3.n世代のソフトウェアで、データ削減（重複排除と圧縮）のオン/オフに関わらず同等の結果を提供できるロードエンジンとテストを開発しました。ベンチマークテストのコードもJavaから、特性が大きく異なるC++に変更されました。
この変更の結果、v1.n SPC-1 の結果は v3.n の結果と比較できなくなりました。
v1.n ソフトウェアは 2017 年 1 月に廃止されました。
しかし、SPCには移行期間があり、両方のベンチマークバージョンの使用が許可されていましたが、互換性はありませんでした。これは2017年2月27日に終了し、それ以降はv3.nの実行のみが許可されています。
残念ながら、SPC-1ベンチマーク結果のウェブページのデフォルト設定では、v1.nとv3.nの結果を区別できません。バージョン番号は表示されますが、リストは1つだけです。バージョン固有のリストを表示するには、バージョンフィルターを1または3に設定する必要があります。
ベンチマークソフトウェアのv1.nからv3.nへの変更、そしてそれに伴う誤った比較の問題をご存知ない場合、v1.nとv3.nの結果を簡単に比較してしまい、誤解を招くような無効な比較結果になってしまう可能性があります。El Regは、v3.nのみのリストを作成し、以前のv1.nの結果を破棄した方が良いと、謹んで提案いたします。
3月にSPC-1コードv3.6がリリースされたのと同時に、SPCは価格性能比の指標である$/SPC-1 IOPSを$/1,000 IOPSまたはKIOPSに変更しました。これにより、以前の$/IOPSの数値は$/KIOPSの値と比較できなくなりました。
