分析人工知能 (AI) は間違いなく今最も注目されている話題の 1 つであり、誇大宣伝されすぎているという意見もあるほどです。
しかし、誇張表現を超えて、機械学習などの AI 技術は、金融取引における潜在的な詐欺の検出から、チャットボットの音声認識や画像認識まで、数多くの日常的なビジネス上の問題を解決するためにますます活用されるようになっています。
機械学習であれディープラーニングであれ、AIの原料は膨大な量のデータです。多くの組織は、様々なソースから収集され、データレイクやデータウェアハウスに保管されているペタバイト規模のデータを保有しており、これらのデータはAIモデルのトレーニングと開発の原料となっています。ランディ・ビーンは2017年のMITスローン・カンファレンスで、「AIは代表データやサンプルデータではなく、生のデータを、その粒度、ニュアンス、詳細に至るまで、あらゆるレベルで処理している」と書いています。
「多くのAI技術は数十年前から存在しているが、十分な規模のデータセットを活用して有意義な学習と結果を提供できるようになったのは今になってからだ」とビーン氏は書いている。
これらすべてのデータを処理するには、かなりの計算能力が必要です。あるいは、The Registerが最近指摘したように、AIの進化によってハードウェアの重要性が再び高まっています。そのため、GPUやASICなどの特殊なアクセラレータコンポーネントに加え、十分なメモリを搭載したハイエンドのサーバーハードウェアが必要になることがよくあります。
人工知能は少なくとも一つの点で役立つ。ハードウェアの重要性を再び高めることだ。
続きを読む
しかし、コンピューティング システムが可能な限り高速にデータを処理するように最適化されている場合、コンピューティング、メモリ、ストレージの適切な組み合わせを構築しない限り、データをそれらのシステムに取り込むことがボトルネックになるという明白な事実にもかかわらず、ストレージの重要性は見落とされがちです。
かつての機械学習システムは、従来型のコンピューティングアーキテクチャと従来型のストレージに依存する傾向がありました。GPU、FPGA、ASICを搭載した今日のシステムは、はるかに高速にデータを処理できます。一方で、学習に使用されるデータセットは時間とともにますます大規模になっています。当然のことながら、これらの課題に対処するための解決策は、フラッシュベースのストレージに目を向けることでした。低レイテンシと高スループットを兼ね備えたフラッシュは、現在AIストレージに最適なソリューションと考えられていますが、その効果はストレージサブシステムの実装方法にも大きく依存します。
一般的に、ディスクアレイのレイテンシは数十ミリ秒程度ですが、フラッシュメモリのレイテンシは通常数十マイクロ秒と、約1000倍高速です。また、フラッシュメモリは回転式ドライブよりもはるかに高密度に実装できるため、1ペタバイトのストレージをラックマウント型筐体1台で実現することも可能です。さらに、フラッシュメモリは消費電力が少ないため、大規模システムではコストに大きな違いをもたらす可能性があります。
高性能ストレージを必要とするのはAIだけではありません。他の高負荷のワークロードもストレージ環境に負荷をかける可能性があります。しかし、AIアプリケーションには独自の特性があります。大量の非構造化データに迅速にアクセスする必要があるだけでなく、機械学習のトレーニングワークロードは予測不可能なアクセスパターンに従う傾向があり、ランダムアクセスとシーケンシャルアクセスの両方を含む、さまざまなサイズの読み取りと書き込みが大量に発生します。
レイテンシー
フラッシュが優れているのは、この点です。ハード ドライブでは、ディスク表面の回転と、読み取り/書き込みヘッドをディスク上の正しいシリンダー上に移動するのに要する時間によってさまざまな遅延が発生するのに対し、フラッシュではチップの 1 つの部分から読み取るのに他の部分とまったく同じ時間がかかります。
しかし、フラッシュの需要が高まり、密度が向上し、価格が下がり、企業がプライマリ ストレージ環境に要求する容量で回転式ハード ドライブと競合できるようになったのは、ごく最近のことです。
フラッシュメモリは、1980年代初頭に東芝によって発明されて以来、技術としてかなり長い歴史を持っています。しかし、フラッシュメモリチップの高コストにより、実用的な規模のストレージプールを構築するには数万ドルもの費用がかかり、企業に普及するまでには長い時間がかかりました。
むしろ、フラッシュの需要は当初、スマートフォンやタブレットなどの消費者向けデバイスによって牽引され、フラッシュのコンパクトさと低消費電力が完璧なソリューションとなりました。
最終的に、トランザクション レートの高いデータベースなどの重要なワークロードを高速化するためにフラッシュが使用されるようになり、1 台または 2 台のサーバーにオールフラッシュ ストレージを提供する直接接続アプライアンスや、個々のサーバー ノード内の内部フラッシュ アクセラレータ カードがよく使用されるようになりました。
オールフラッシュ、ディスクは廃棄
フラッシュの価格が下がり始めると、エンタープライズストレージへの展開が拡大し、最速のエンタープライズハードディスクを上回る新たなパフォーマンス層として登場しました。ここ数年、ストレージベンダーはハードドライブを完全に廃止したオールフラッシュアレイ（AFA）製品の提供も開始しています。
フラッシュストレージをホストシステムに接続する方法も、最近になって大幅な見直しが行われています。当初は互換性のためにSASやSATAといった既存のインターフェースを使用するのが理にかなった選択でしたが、最終的にはフラッシュメモリが提供するスループットのボトルネックとなることが判明しました。一部のハイエンドSSDメーカーは、より高速でプロセッサに直接接続できるPCIeバスの採用を開始しましたが、これをサポートする標準的なプロトコルスタックは存在しませんでした。
この問題を解決するため、業界は協力してNVMe（Non-Volatile Memory Express）を開発しました。NVMeの主な特徴は、最大65,535個のI/Oキューをサポートし、フラッシュストレージが複数のリクエストを並列処理できるようにすることで、NANDストレージデバイスの内部並列性を最大限に活用できることです。
各キューは最大 65,535 コマンドのキュー深度もサポートできるため、NVMe ストレージ システムでは、リクエストが過負荷になった場合に SAS や SATA で発生する可能性のあるパフォーマンス低下が起こりにくくなります。
ボトルネック
その結果、NMVeはネットワークとストレージI/Oスタックを新たなボトルネックとして顕在化させました。ベンダー各社は現在、NVMeをEthernetやInfinibandなどの他の接続経由で実行し、リモート・ダイレクト・メモリ・アクセス（RDMA）を使用して、ストレージからアクセス元サーバーのメモリへ、直接接続されたフラッシュドライブからデータを要求するのと同じくらい高速にデータを転送することで、このボトルネックを克服しようとしています。
これは全てではありません。フラッシュストレージは、ギガバイトあたりのコストで見ると、依然として回転式ディスクよりも高価であり、この状況は当面続くと思われます。つまり、フラッシュはユーザーが求めるパフォーマンスを備えているものの、ある一定の容量を超えるとコストが法外に高くなる可能性があるということです。そのため、ハイパフォーマンスコンピューティング（HPC）の導入では、必要なパフォーマンスとスケールの両方を実現するために、分散ファイルシステムと、フラッシュストレージと大容量ハードドライブの組み合わせが採用されることが多いのです。
一方、IntelとMicronの3D XPointのような新しい技術が登場しています。3D XPointはフラッシュメモリよりも低レイテンシで高スループットを誇りますが、現状では価格が高いのが現状です。そのため、フラッシュメモリに取って代わる可能性は低いでしょう。しかし、3D XPointはDRAMと同様にバイト単位でアドレス指定できるため、DIMMに搭載し、メモリとフラッシュメモリの間のストレージ階層における追加層として使用することができます。
サムスンは、より高速なフラッシュメモリであるZ-NANDも発表しました。これは同社の現行のV-NAND技術と基本構造は共通ですが、新しいコントローラやその他の機能強化により、ランダム読み出しで12～20µs、ランダム書き込みで16µsという低レイテンシを実現しています。コスト次第では、サムスンは高性能フラッシュメモリ市場の一部を獲得できる可能性があります。
しかし、フラッシュは比較的高価であるため、挑戦者は自社の価格を競争力のあるレベルまで引き下げるためには大量生産が必要になるというハードルに直面している。
その間、フラッシュは、高スループットと低レイテンシが求められる AI や分析などのアプリケーションに最適なテクノロジーであり続けると思われます。®
