Data Direct Network のバースト バッファ キャッシング システムである WolfCreek が、IME14K 製品の形で登場しました。どうやら、燃えているビルを飛び越え、気候変動を解決し、500 万ドルの HPC クラスターを 1 億ドルのクラスターのように機能させる準備が整ったようです。
ここでの考え方は、高性能コンピューティング (HPC) がこれまで以上に大きなデータ セットを処理しており、使用されている並列ファイル システム リポジトリがコンピューティング クラスターとその増加して負荷の高いコアに対応できないというものです。
IO待機トラップから抜け出すには、ソリッドステートストレージに加え、HPCコンピューティングのIO需要に適さない並列ファイルシステム機能を適切に配置するソフトウェアが必要です。DDNのWolfCreekテクノロジーが、その一歩先を行きます。
Infinite Memory Engine（IME14K）は、クライアントドライバ、ソリッドステートキャッシュ、そして帯域外およびオープンAPIを備えています。「14K」というサフィックスが付いているからといって、必ずしもDDNのSFA14Kアレイと連携しているわけではありません。
「IME14Kは、DDN 14KハードウェアとIMEソフトウェアを活用した、DDN事前構成済みアプライアンスを構築します」と、DDNの最高マーケティング責任者であるモリー・レクター氏は述べています。「IMEはソリッドステートキャッシュからパラレルファイルシステムストレージにデータをプッシュするため、そのファイルシステムはDDNまたは代替プロバイダーから提供できます。」
DDNは、IMEは原則としてコンピューティング、ストレージ、ベンダーに依存しないと述べています。
ここでの背景は次のとおりです。
「DDN 14K プラットフォームは、DDN がさまざまなアプライアンスを構築している基盤となる、DDN がカスタム設計したハードウェア (以前は WolfCreek と呼ばれていました) の名前です。」
例えば、SFAオペレーティングシステムを組み込んで高性能ブロックストレージであるSFA14Kを作成したり、IMEソフトウェアを組み込みSSDのみを搭載してIME14Kアプライアンスを作成したり、SFAオペレーティングシステムとLustreを搭載してLustreアプライアンスを作成したりします。
IME14Kバーストバッファは、並列ファイルシステム（PFS）ストアとコンピューティングクラスタの間に配置され、読み取りおよび書き込みIOアクセラレーションを提供します。数TBまで拡張可能で、ハッシュベースの消失訂正符号によってデータを保護します。
システムは着信書き込みをバッファリングして管理し、断片化されたデータをストライプ化された書き込みに揃えて PFS 書き込みを高速化し、DDN によれば、瞬時にオープン/クローズすることで POSIX ファイル ロックのペナルティを排除します。
DDNは、コンピューティングクラスターがPFSストレージシステムから25GB/秒の帯域幅を得られると示唆しています。IME14KをコンピューティングリソースとPFSの間に挿入すると、50GB/秒に跳ね上がります…そう、MB/秒ではなくGB/秒です。DDNによると、コンピューティングクラスターはIMEなしで6,250 IOPS、オールフラッシュNVMe IMEを使用すると1,250万IOPSで動作し、2,000倍の高速化を実現します。
HPC スタイルのコンピューティング クラスターが IO 制限を受けている場合は、このような要求を検討する必要があります。
DDN IME 回路図
IME14K エンジンの特徴:
- 14 コア、デュアル ソケット、Haswell Xeon CPU を搭載した 4U デュアル コントローラ エンクロージャ
- 48 x NVMe PCIE Gen 3 4レーン 800GB または 1.6TB SSD。SSDの数が増えるほどパフォーマンスが向上します。
- コントローラあたり2546GB DRAM
「IME14Kは現在、EDR（100Gbit/s）またはFDR（56Gbit/s）Infiniband経由でクラスタに接続できます」とレクター氏は述べた。「第1四半期には40Gbit/sおよび100GbitEをサポートし、Omni-Pathの出荷開始と同時にOmni-Pathもサポートする予定です。」バックエンドの並列ファイルシステムストアへの接続についても同様です。
アウトオブバンド API は、ジョブ スケジューラと統合して PFS へのデータ フラッシュを管理するために使用され、また、可能であれば最初の読み取りがバックアップ ディスク ストアではなく IME キャッシュから行われるように、新しいジョブの IME キャッシュを事前ステージングします。
HPC スタイルのジョブで IO 負荷が急増して PFS の遅延が発生する場合、IME は、ユーザーがそのようなピーク負荷を処理するために PFS ストアをアップグレードしなくても、その負荷を吸収できます。
IME14Kは最大50GB/秒のスループットを実現するように設計されています。追加のアプライアンスをクラスタ化することで、最大1TB/秒を超えるスループットを実現したり、NVMeキャッシュの容量を拡張したりできます。
「NVMeデバイスの発売開始に伴い、12月より限定出荷を開始します。正式出荷は2016年第1四半期を予定しています」とレクター氏は述べた。「現時点では価格は公表しておりません。」®
