Google の DeepMind は、ニューラル ネットワークと外部メモリを組み合わせることで機械学習の機能を強化し、ロンドン地下鉄の駅間の最短経路を見つけるのに使用しました。
ニューラルネットワーク（脳内でニューロンがどのように接続され機能するかをモデルにしたシステム）は、データ処理には優れているが、メモリ不足のため、より多くのアルゴリズムを採用してより多くのタスクに対処するのは苦手である。
しかし、DeepMind の研究者たちは、微分可能ニューラル コンピュータ (DNC) を作成することでこの問題を解決するための措置を講じました。
Nature 誌の論文で発表された結果によると、DNC は外部メモリから読み書きすることができ、短期記憶システムである DeepMind のニューラル チューリング マシンよりも優れていることが示されています。
情報はメモリ マトリックスに保存され、読み取りおよび書き込み機能によって操作されます。
メモリと読み取り機能および書き込み機能の相互作用により、DNCは連想メモリとして機能します。ニューラルネットワークに入力されたデータは読み取られ、メモリマトリックス内の特定の場所に書き込むことで保存されます。
DNCが正しい出力を得るためにメモリを読み書きする仕組み。写真提供：Nature and Graves et al
メモリ マトリックスに書き込まれたすべての情報には、他の場所に保存されている他の情報とどの程度関連しているかを確認するための重み付けが割り当てられます。これにより、マシンは情報の保存順序を簡単に記憶できるようになります。
この連想的な性質により、ニューラル ネットワークは読み取る適切な情報を見つけることができ、回答を生成したり情報を出力したりすることができます。
DNCは情報を保存した場所も記憶するため、空いている場所に新しい情報を書き込んだり、不要になったメモリを上書きしたりすることができます。システムは学習した情報を保持できるため、開発者がメモリマトリックスに空き容量を追加したい場合でも、再学習は必要ありません。
ロンドン地下鉄チャレンジ
DeepMind の DNC は、「解析ツリー、ソーシャル ネットワーク、知識グラフ、分子構造」などのグラフ データとして表示できる情報の処理に特に適しています。
アレックス・グレイブス氏が率いる20人の研究者チームは、ロンドン地下鉄の地図上の小さな地域にDNCを適用することを決定しました。
地図をデータに変換するため、各駅はノードとして表され、接続線はエッジとして表されます。DNCは、2つの駅間の最適なルート（所要時間最短ではなく、停車駅数最少）を見つけるよう求められました。
駅間の関係は教えられず、地図の記憶から推測するしかなかった。7つのステップを踏む行程は、99.8%の受験者に正確に伝えられた。
研究者たちは、偽の家系図を作成し、同様の課題を設定した。DNCは「フレイヤの母方の叔父は誰か」といった質問を受け、記憶された情報間の関連性を見つける機械の能力をテストした。これはやや難解な課題であったが、DNCは質問の81.8%に正答した。
グラフデータからの推論。写真提供：NatureおよびGravesら
DNC機能は「計算上の考慮」を念頭に置いて設計されたが、DeepMindはそれが人間の脳の海馬と驚くほど類似していることに注目した。
生物の脳に見られる行動を機械で再現する方法を調べることは、DeepMind の共同設立者であるデミス・ハサビス氏にとって特に興味深いことです。
「人間の『自由想起』実験では、最初に提示された順序と同じ順序で項目を想起する確率が高まることが示されています。これは海馬に依存する現象です。」これは、DNCが記憶を想起する際に、記憶された情報間の関連性を見つけるという現象に似ています。
DNCはまだ通勤者の助けにはなりません。長距離移動の最適ルートを計算するには、メモリマトリックスのサイズを大幅に拡大する必要があるからです。しかし、これは機械が推論を通じて意思決定を行えるようにするための一歩です。
「現実世界のデータを扱うには、数千から数百万の地点にまでスケールアップする必要がある」と論文は述べている。Google DeepMindは、DNCを「ワンショット学習のための表現マシン」として活用することを目指しており、これにより「シーン理解、言語処理、認知マッピング」といった機械の支援が可能になる。®
