エンドツーエンドのNVMeアレイが外部ストレージを復活させる

Table of Contents

エンドツーエンドのNVMeアレイが外部ストレージを復活させる

分析: NVMe-over Fabricsアレイは、OptaneやZ-SSDドライブなど、同じストレージメディアを搭載したサーバーと同等の速度で動作します。NVMe-over FabricsはRDMA(Remote Direct Memory Access)を使用するため、外部ストレージアレイへのアクセスに伴うネットワークレイテンシは実質的に解消されます。

これは、金融ベンチマーク、ゲノミクス処理、AI/ML アプリケーションのパフォーマンス結果からも明らかです。

金融ベンチマーク

金融業界には独自の専門ベンチマーク セットがあり、ティック データ分析* などの特定の種類の金融業界のアプリケーションで使用される IT システム間で客観的な比較を行うことができます。このようなアプリケーションには、標準の SPEC および TPC タイプのベンチマークは最適ではありません。

これらのベンチマークは、約 300 の金融機関会員と約 55 のベンダー会員を擁する証券技術分析センター (STAC) によって考案および管理されています。

STACは、会員のビジネスニーズに重点を置いた、ビッグデータ、ビッグコンピューティング、低レイテンシのワークロードを幅広く開発しています。ベンチマークは一般公開またはSTAC会員専用の保管庫で公開できます。

公開されているものにアクセスするには、STAC メンバーになる必要があります。基本メンバーシップは無料で、登録のみが必要です。

STAC-M3ベンチマークは、ティックデータベーススタック向けの業界標準ベンチマークスイートとして定義されています。これらのハードウェア/ソフトウェアスタックは、ティックバイティック*の相場情報や取引履歴などの時系列データの分析に使用されます。STAC-M3は、列指向データベースソフトウェア、サーバー、ストレージなどのソリューションスタックが、大規模な市場データストアに対して、I/O負荷が高く、計算負荷の高い様々な操作を実行する能力を評価します。

仕様はアーキテクチャにまったく依存しないため、STAC-M3 は、データベース ソフトウェア、プロセッサ、メモリ、ハード ディスク、SSD、相互接続、ファイル システムなど、スタックの任意のレイヤーで異なる製品やバージョンを比較するために使用できます。

スイートには、ストレージへの強制アクセスを備えたベースライン Antuco スイート、Kanaga スケーリング スイート、ストレージの代わりにメモリを使用できる Shasta スイートなど、複数のスイートがあります。

Antucoの結果は17個の平均応答時間ベンチマークで、それぞれ複数の部分値を持つ場合があり、ベンダーが提出したシステムごとに個別に公開されます。17個のコンポーネントテストの総合スコアは存在せず、STACはベンダーが提出した各システムの17個のテストスコアすべてを網羅した総合文書を公開していません。

Antuco スイートの概要、いわゆる STAC レポート カードには、主に応答時間に関する 11 個の個別のテストがハイライト表示されています。一部のテストには、平均値、最大値、最小値、中央値、標準偏差の数値や読み取り MB/秒などが記載されています。

全体として、STAC M3 データを調べて評価するのは非常に大変な作業です。

公開 STAC-M3 レポートはここから入手できます。アクセスするには、メンバーシップに M3 ドメイン アクセスを追加する必要があります。

Axellio (メンバー専用ボールト)、Optane ドライブを搭載した E8 ストレージ アレイ (PDF)、IBM FlashSystem 900 (現在は古い - 2016 年 4 月)、Samsung Z-SSD、および Vexata アレイを使用したサーバーの STAC Antuco 結果があります。

以下は、E8 外部 NVMe-oF ストレージと、Samsung Z-SSD または Intel Optane (3D XPoint) ドライブを搭載したサーバーとの比較です。

E8_STAC_M3

E8 は、Optane ドライブを使用した NVMe-oF ストレージ アレイのパフォーマンスが、Samsung Z-SSD (STAC テスト KDB180418a – PDF) を使用した Dell サーバー システムよりも最大 17 倍優れていると主張しています。

また、ダイレクトアクセス Optane ドライブを搭載した Lenovo サーバーよりも高速でした (STAC テスト KDB171010 (PDF))。

例え話で言えば、ここで問題となるのは、STACの結果は、レースカーがトラック上の様々なカーブでどのようにパフォーマンスを発揮するか、進入速度と脱出速度、そしてコーナー通過時間などを教えてくれるものの、コースを一周する時間を正確に教えてくれないことです。結果は個々のアプリケーションとその走行タイプに大きく依存します。

E8は、STAC Antuco操作17回中10回でSamsung Z-SSDおよびLenovo Optaneサーバーよりも応答時間が速く、1T.WRITEベンチマークではSamsungの17倍の性能を発揮したと発表しています。これは、E8アレイがOracleデータベースアプリケーションをLenovo Optaneサーバーよりも高速に実行できることを意味するのでしょうか?必ずしもそうではありません。

しかし、これらの STAC の結果は、Optane ドライブの NVMe-oF アレイが、ローカル Optane ドライブを搭載したサーバーよりも優れたパフォーマンスを発揮できる (または同等のパフォーマンスを発揮できる) ことを示しています。

ゲノミクスとAI/ML

英国のお客様は、Spectrum Scale (GPFS) と組み合わせた E8 のストレージによって、ゲノム処理が 1 ゲノムあたり 10 時間から 1 時間あたり 10 ゲノムへと 100 倍高速化されることを発見しました。E8 アレイは、高速ストレージ層とスクラッチスペースとして使用されました。

AI/ML の分野では、E8 のアレイは、Nvidia GPU を搭載し、Spectrum Scale を使用してサーバーとの間でデータをやり取りしており、IBM 独自の ESS (Elastic Storage Server) よりも 4 倍高速で、Pure Storage の FlashBlade システムよりも 10 倍高速であると E8 は述べています。

E8_vs_Pure_and_IBM_at_AI

同社は、ESS システムの半分のコストであると主張しており、上のグラフでは FlashBlade のコストの 4 分の 1 以下であることが示されています。

E8 は、AI および ML データ セットは重複排除や圧縮と互換性がなく、パフォーマンスが低下する可能性があると述べています。

GPU搭載サーバーを使用したPureに対するこの優位性は、E8でResnet AIベンチマークを実行した場合、Pure AIRIとNetApp A700の両方のシステムに勝てる可能性があることを示唆しています。GPU数が増えるにつれて、この優位性はさらに拡大するはずです。

TL;DR:

サーバーやストレージアレイのストレージ要素を選択する際、ストレージIOパフォーマンスが主な基準となる場合、NVMe-oFは直接接続型ストレージと共有外部アレイの競争条件を均衡させます。エンドツーエンドNVMeがSASおよびSATA SSDシステムを圧倒する中で、エンドツーエンドNVMeのスタートアップ企業は、オールフラッシュアレイの既存企業とこれまで以上に対等な立場で競争できるようになります。

パフォーマンスが最優先で、NVMe-oF システムがゲノミクス処理を 100 倍高速化し、金融取引分析の実行時間を数秒、場合によっては数分短縮し、リアルタイム AI/ML アプリケーションを加速できる場合、NVMe-oF アレイや Apeiron、E8、Excelero などのスタートアップ企業が注目され、入札のテーブルに着く招待状を受け取ることになります。

NVMe-oF アレイ テクノロジーは、すべての主要なデータ ストレージ アレイ ベンダーにとって必須のものになりつつあります。

オールフラッシュシステムを避け、メモリキャッシュを採用したInfinidatとNVMe-oFアレイシステムを比較した結果がどうなるか、本当に本当に興味深いです。Moshe Yanai氏のアレイはNVMe-oFアレイを凌駕できるでしょうか?その答えは、いずれ明らかになるでしょう。®

*データを時間単位で表示、つまり「ティックごとの形式」(ティック データとも呼ばれる)で表示することで、データの履歴を把握できます。

Discover More