イタリアの研究者らは、人間の脳の特性を模倣する物理システムを開発した。これにより、AI開発の基礎となるニューラルネットワークの電力コストが大幅に削減されることを期待している。
ニューラル ネットワークに対する成功したアプローチは、従来のデジタル コンピューティング ハードウェアとソフトウェアのスタックの上に脳のシナプスをソフトウェアで表現することに大きく依存してきました。
しかし、今週Nature Materialsに掲載された論文では、電子顕微鏡で見るとスパゲッティの皿のように見える銀ナノワイヤの物理的なメッシュに基づくアナログコンピューティングを使用してニューラルネットワークを構築できることが示されています。
高度に相互接続されたメモリスティブナノワイヤネットワークリザーバの走査型電子顕微鏡画像（スケールバー、2μm）画像：ミラノら
ナノワイヤ間のノードは本質的に「メモリスタ」です。ナノワイヤ接合部における抵抗スイッチング機構は、印加電界の作用下でナノワイヤシェル層を横切る銀導電パスの形成／破壊によって制御されます。
トリノの国立計量研究所の博士研究員ジャンルカ・ミラノ氏は、The Registerに対し、主な目標はニューラルネットワークに入力データを理解させるために必要なトレーニングパラメータの数を大幅に減らすことだと語った。
「自然なネットワークの場合、電力コストの点で最もコストがかかるのはトレーニングです。通常、トレーニングしなければならないパラメータは数千個あります。そして、これがAIの電力消費問題の根本です」と彼は述べた。
研究者の答えは、計算を2つの部分に分割することだった。最初の部分では、入力は短期記憶によって処理される。これは物理的な記憶貯蔵庫によって処理されるが、これは訓練を必要としない。ミラノ氏によると、長期記憶のみが「パラメータの微調整」という観点から訓練を必要とする。
「この意味では、トレーニングしなければならないパラメータの数を大幅に減らすことができ、必要なハードウェアも簡素化できる」と彼は語った。
このアプローチを使用すると、4x4 のトレーニング入力グリッドに必要なトレーニング パラメータは 16 個ではなく 3 個だけになると論文で示されています。
- 大学とNVIDIAのチームがOpenAIのCLIPを使ってロボットにグリップの習得を教える
- インテルが科学者向けにLoihi 2を提供：100万個以上のプログラム可能なニューロンを搭載した7nmチップ
- 90分以内に雨が降る場合は、この英国的なAIシステムが警告してくれます。
- 米国の薬物監視機関、前立腺がんを予測する初のAIソフトウェアを承認
このシステムは、0から9までの手書きの数字を認識するようにトレーニングされ、別のベンチマークとして、もともと血液中の成熟細胞の相対量の変動をモデル化するために開発されたマッキー・グラス時系列の予測が行われ、「従来の機械学習アルゴリズム」では予測が難しいと考えられていた。
この研究は、従来のコンピューティング スタック上でこれらのプロセスをモデル化するのではなく、脳の構造と物理学から直接インスピレーションを得るニューロモルフィック コンピューティングを調査するトレンドの一部です。
論文より：完全メモリスタリザーバコンピューティングの実装とナノワイヤネットワークリザーバ状態の時空間的進化（クリックして拡大）画像：ミラノ他
この論文で実証された原理は、ニューラル ネットワークの電力消費を数桁削減することを約束しています。
トリノ工科大学の准教授で、本論文の共著者でもあるカルロ・リッチャルディ氏は、シミュレーションによるニューラルネットワークでは、シナプスイベント1回あたりのエネルギーコストは約1ミリジュールだったと述べています。生物学的脳のシナプスイベント1回あたりに必要なエネルギーは、10の13乗ジュール程度です。この研究は、その10倍のエネルギーを必要とするシステムが構築される可能性を示唆しています。
人間の脳の効率性には遠く及ばず、規模もはるかに及ばない。しかし、正しい方向への興味深い一歩と言えるかもしれない。®
