ホットチップ機械学習の世界では、AI モデルをできるだけ早くトレーニングすることに熱心に取り組んでおり、ハードウェア コミュニティがそれに追いつくためには、将来のチップにさらに多くのメモリが必要になります。
これは、世界最大の半導体製造メーカーの一つであるTSMCの企業調査担当副社長、フィリップ・ウォン氏の言葉である。同氏は今週シリコンバレーで開かれたHot Chipsカンファレンスの基調講演で、予想どおりムーアの法則について論じた。
しかし、ウォン氏はムーアの法則の終焉を嘆くどころか、実際にはまだ死んではいない、むしろマイクロプロセッサに詰め込めるトランジスタの数は時とともに増加し続けていると主張した。「ムーアの法則は健在です。死んでもいないし、減速もしていないし、ましてや病んでいるわけでもありません」と、ウォン氏は壇上で主張した。
訃報：ムーアの法則。1965年4月19日～2018年1月2日
続きを読む
確かに、トランジスタあたりの処理能力はそれほど向上していないが、それは重要ではない。ウォン氏は、トランジスタ性能の高いチップを開発したとしても、トランジスタ密度が高くなければ機械学習には役に立たないと主張した。トランジスタ数が増えれば、エンジニアはマルチコアチップをサポートし、安価なアクセラレータを開発し、マイクロプロセッサのSRAM容量を増やすことができる。
SRAMとは、GPU、ASIC、FPGAなどのチップに搭載されている一時メモリの一種です。ニューラルネットワークは、データセット内の共通パターンを学習することで、特定のタスクを実行するように訓練されます。入力データはモデルに渡され、膨大なベクトル演算処理を経て出力されます。
学習プロセスでは、システムの性能が満足のいくものになるまで、この処理が何度も繰り返されます。これは、与えられたデータセット内の人物の顔や声を高い精度で認識できることを意味するかもしれません。ハードウェアレベルでは、チップはデータセットをバッチ処理する必要があります。
例えば、数千、数百万もの画像や音声クリップは、チップがチャンク単位で処理できるデータパイプラインに慎重に送られます。データセットはCPUまたはチップのRAMに保存され、ビットはGPUのSRAMに渡されて処理されます。両方のコンポーネントは、データをやり取りするために相互に通信する必要があります。
プロセス全体を高速化するために、チップはトレーニングデータセット全体から可能な限り多くのデータを常に保持できるメモリを必要とするとウォン氏は説明した。これは、CPUからGPUへのデータ転送を制御するチップ命令ではなく、ニューラルネットワークを実際にトレーニングする関連計算の実行に、より多くの処理能力を費やすことができることを意味する。
AIモデルが層とパラメータの増加によって巨大化するにつれ、チップはより高速に学習させるためにより多くのメモリを搭載する必要が出てきます。井戸から家まで水を運ぶのを想像してみてください。バケツが大きければ、一度に井戸からより多くの水を運ぶことができるので、何度も往復する必要がなくなります。
だからこそ、AIチップとの間で転送されるデータ量であるメモリ帯域幅は、データ転送速度であるレイテンシよりも重要になります。理想的な状況では、チップ上のメモリサイズはトレーニングデータセットよりも大きくなります、とウォン氏は言います。「これを実現するには、システムアプリケーション、デバイス技術、チップ設計を担当するエンジニア間の早期の連携が必要です。」®
