IBMは、画像分類、音声認識、言語翻訳といった分野において、モデルの精度を損なうことなく、16ビットではなく8ビット精度でディープラーニングモデルを学習できると発表した。同社は本日、この取り組みが「データセンターやエッジにおける幅広いAIの迅速な学習と展開を可能にするハードウェア」の実現に役立つと主張した。
Big Blue の研究者たちは明日、第 32 回ニューラル情報処理システム会議 (NeurIPS) で研究論文「8 ビット浮動小数点数によるディープ ニューラル ネットワークのトレーニング」を発表します。
IBMの相変化メモリコンピューターは雨が降っているかどうかを教えてくれる
続きを読む
トレーニング プロセスは、ASICS を使用してデジタルで実行することも、相変化メモリ (PCM) を使用したアナログ チップを使用して実行することもできます。
同社はイベントでPCMチップを実演し、クラウド経由で手書きの数字をリアルタイムで分類する様子を披露する予定だ。
8 ビット精度を使用するモデルでは、32 ビット精度モデルよりも数値を格納するために必要なメモリがはるかに少なく、したがって必要な電気エネルギーも少なくなります。
この考え方は、精度を 8 ビットに下げることでディープラーニング モデルが既存のハードウェアをより有効に活用できるようになり、32 ビット ハードウェアへの拡張を試みるよりも速く、より優れたモデルを生成できるというものです。
同じ精度で精度を下げてトレーニングする
ビッグブルーは、2015年の研究論文「数値精度が制限されたディープラーニング」(PDF) に言及し、ディープニューラルネットワークは、精度の低下がほとんどないか全くない状態で、32ビット精度ではなく16ビット精度でトレーニングできることを示した。
IBM は、この新しい論文では精度の数値をさらに半分に削減できることが示されていると述べた。「16 ビット精度エンジンを備えた計算ビルディング ブロックは通常、32 ビット精度の同等のブロックの 4 分の 1 の大きさになります。」
これは、「モデルの精度を維持するためのアルゴリズムの改善も開発することを条件に、数値精度を計算スループットの向上と引き換えに」実現されます。
「IBMの研究者は、さまざまなディープラーニングデータセットとニューラルネットワークにわたって、トレーニングで8ビットの精度、推論で4ビットの精度を実現しています。」
これは、8 ビットおよび 4 ビットの ASIC とデータフロー アーキテクチャを使用して行われます。
この進歩により、どうやら「エッジでのエネルギー効率の高い幅広い AI の領域が開かれる」か、あるいはユーザーはスマートフォン内で Nvidia Tesla GPU のアレイを使用せずに音声をテキストに書き起こすことができるようになるのでしょうか?
アナログ相変化メモリチップ
国際電子デバイス会議（IEDM）で発表されるIBMの2つ目の研究論文では、「投影型相変化メモリを用いた8ビット精度インメモリ乗算」が、アナログメモリデバイスがGPUと同様に、はるかに少ない電力でディープニューラルネットワークの学習にどのように役立つかを示すと述べられています。GPUがデータを演算ユニットに移動させる必要があるのに対し、アナログ相変化メモリデバイスは、データを移動させることなく、デバイス内部で一部の演算を行うことができます。
アナログデバイスは絶えず変化する信号を測定するため、精度に問題があり、これまでは4ビット以下に制限されていました。今回の研究では、スカラー乗算演算で8ビット精度を達成し、「同等の精度のデジタルアーキテクチャに比べて消費電力を33分の1に抑える」ことが示されました、とIBMは述べています。
不揮発性メモリのクロスバー アレイは、データの場所で計算を実行することにより、完全接続ニューラル ネットワークのトレーニングを加速できます。
ビッグブルーの研究者によると、PCMはシナプス荷重を、アモルファスと結晶間の勾配に沿った物理的状態で記録する。材料のコンダクタンスは物理的状態に応じて変化し、電気パルスを用いて制御できる。コンダクタンスには8つのレベルがあり、したがって8つの値を保存できる。このようなデバイスを複数使用することで、「インメモリコンピューティングは、IoTやエッジアプリケーションなどの低消費電力環境で高性能なディープラーニングを実現できる可能性がある」。®
