DIMMサイドステップの実行：高帯域幅メモリの動き

分析メモリへのデータの出し入れは、本棚への本の出し入れに似ています。一度に保持できる本の数が多ければ多いほど、作業は速くなります。一度に1冊しか保持できない人は、8冊、あるいは高帯域幅メモリ（HBM）を考慮すると1,024冊の本を一度に保持できる人よりもはるかに遅くなります。

Samsungは昨年、第2世代HBMに関する計画を発表しました。意外な提携相手であるIntelとAMDも、その年の後半に同様の計画を発表しました。そして数週間前、SamsungはAquabolt HBM2メモリの量産開始を発表しました。これは一体何なのでしょうか？そして、どのようにしてここまで辿り着いたのでしょうか？

記憶101

メモリ（RAM）は、プロセッサが処理するデータを保持するために必要です。メモリは、バス上で一定の容量、速度、帯域幅を持つデュアルインラインメモリモジュール（DIMM）にパッケージ化されています。現在最も人気のあるフォーマットはDDR3（Double Data Rate 3）ですが、これはより高速なDDR4に取って代わられつつあります。

東ドイツ

グラフィックスとGPUの台頭に伴い、GPUはホストCPUやメモリ（コンピュートRAMなど）から分離され、専用のメモリ（ビデオRAM）を必要とするようになりました。そこで、DDR3 RAM技術をグラフィックスメモリへと進化させる規格が策定され、DDR3 RAMをベースにしたGDDR4およびGDDR5が開発されました。Rambusなどのサプライヤーは、DDR4をベースにしたGDDR6の開発に取り組んでいます。

Rambusのドキュメントには、「GDDR6インターフェースは2つのチャネルをサポートし、各チャネルは16ビットで、合計32ビットのデータ幅となります。Rambus GDDR6 PHYは、ピンあたり最大16 Gbit/sの速度で、最大64 GB/sの帯域幅を提供します。」と記載されています。

GDDR4 は、1.5V で接続ピンあたり 2.8Gbit/s ～ 4Gbit/s で動作できます。

Samsung によれば、GDDR 4 チップは全体で 16GB/秒の帯域幅で動作していましたが、GDDR5 は 32 ビット バス、8G ビット ダイ、全体で 32GB/秒の帯域幅 (8G ビット/秒/ピン x 32 ビット バス = 32GB/秒) を備えています。

GDDRだけでは不十分

アプリケーションによっては、数百ギガビット/秒というさらに高速なアクセスが必要なものもあります。これはどのようなものですか？

サムスンは、人工知能（AI）、HPC（高性能コンピューティング）、高度なグラフィックス、ネットワークシステム、エンタープライズサーバーなどを挙げています。これは非常に幅広い分野であり、基本的に、この速度のために追加コストをかける価値があると考えるあらゆる分野が対象となります。一般的なエンタープライズサーバーやネットワークシステムは、今のところ主要な市場ではないと仮定しましょう。

AMD と他の企業は、GDDR がこのニーズを満たす上で差し迫った問題、つまり電力消費に気づきました。AMD は次のように述べています。「GDDR5 は GPU パフォーマンスの向上に追いつくことができません。GDDR5 の消費電力の増加は、まもなくグラフィックス パフォーマンスの向上を積極的に阻害するほど大きくなる可能性があります。」

また、高帯域幅を実現するには、多数のGDDR5チップが必要です。HBMはこれらの制限を克服するために考案されました。AMDは次のように述べています。「HBMは、低消費電力と超広帯域通信レーンを備えた新しいタイプのメモリチップです。垂直に積層されたメモリチップを、「シリコン貫通ビア」（TSV）と呼ばれる微細な配線で相互接続します。」

ハイブリッドメモリキューブ

Micron 社と他社は、競合するスタック型 DRAM コンセプトであるハイブリッド メモリ キューブ (HMC) を開発しました。Micron 社は次のように述べています。「ハイブリッド メモリ キューブ (HMC) は、4 つの DRAM ダイと 1 つのロジック ダイを 1 つのパッケージに収めたもので、すべてシリコン貫通ビア (TSV) 技術を使用してスタックされています。」

HBMは、例えばNvidiaなどによって、それよりも優先的に使用されているようです。では、HMCのアイデアはどうなのでしょうか？HMCのウェブサイトに掲載されている最新のニュースは2014年11月のものです（PDF）。Micronの2GBショートリーチHybrid Memory Cube製品のデータシートは2013年1月*付です。

HBMは、DRAM層を当初4層、現在は8層に積層し、汎用データバスではなくインターポーザーを使用することでプロセッサに近づけることで、さらなる高速化を実現しています。これにより、メモリオンチップ面積は8つのダイを使用する場合よりも小さくなり、消費電力も削減できます。

HBM テクノロジーには 3 つの反復がありました。

Samsungの第1世代HBM2製品はFlareboltと呼ばれ、コネクタピンあたり1.2Vで1.6Gbit/s、またはピンあたり1.35Vで2Gbit/sの速度を提供していました。Aquaboltはこれをピンあたり1.2Vで2.4Gbit/sにまで引き上げ、307GB/秒のパッケージ帯域幅を実現します。

SK Hynix HBM2 製品は、1.2V でピンあたり 2Gbit/s を提供し、Samsung にパフォーマンス上の優位性をもたらします。

私たちの姉妹誌である The Next Platform は、Intel が 32 GB の 3D スタック HBM2 を搭載した「Lake Crest」ディープラーニング チップをついに市場に投入する準備を進めていると報じています。

ディープラーニングのようなアプリケーションでは、膨大な量のデータの処理が必要となるため、ディープラーニングの実行時間を許容範囲内にするには、高速メモリで処理する必要があります。

この技術は一般サーバー市場に普及するのでしょうか?

メモリとの間で大量のビット抽出を行うコストは、3D DRAM を一般的なサーバーで使用する場合、手頃な価格である必要があります。

サプライヤーが積層型DRAM DIMMを開発できれば、メモリ容量は飛躍的に向上する可能性があります。しかし、そのコストは非常に高くなる可能性があるため、顧客は3D XPointやその他のストレージクラスのメモリ技術でDRAMを拡張することを好む傾向があります。これらの技術は、純粋なDRAMよりも手頃な価格でありながら、ホストサーバーのパフォーマンスを大幅に向上させます。®

*マイクロン社にハイブリッドメモリキューブの説明を依頼しました。