機械学習モデルが熱狂的なドクター・フーファンの脳をスキャンし、これまでで最も不気味なドクター・フーの画像を作成

AI研究者たちは、機械学習アルゴリズムを使って脳スキャンを画像に変換し、『ドクター・フー』のシーンを再現しようと試みた。

この奇妙な実験は、bioRxivで公開された論文で説明されています。ある男性が機能的磁気共鳴画像法（fMRI）装置の中に横たわり、頭部を固定された状態で、装置が脳をスキャンする間、BBCの大ヒットファミリーSF番組を30エピソード視聴するよう指示されました。これらのスキャンデータは、ニューラルネットワークに送られました。

Brain2pixと名付けられたこの機械学習モデルは、被験者の脳活動のスキャンデータのみを用いて、被験者が視聴したドクター・フーのシーンを予測しました。このAIシステムは、被験者の思考を自由に読み取ったり、頭の中にある過去の映像を特定したりすることはできません。このモデルは、観察された脳活動のみから、被験者が視聴していたドクター・フーのシーンを再現するように設計・訓練されています。

fMRI脳スキャンは、受容野マッピングを用いて数値の配列、つまりテンソルに変換されました。この技術は「視覚空間において、脳のどの部位がどのピクセルを捉えているかを示す、非常に具体的な脳の位置をマッピングする方法です」と、オランダのナイメーヘン・ラドバウド大学の博士課程学生で、本研究の筆頭著者であるリン・リー氏はThe Register紙に語りました。

Brain2pixモデルはこれらのテンソルを入力として視覚画像を出力し、脳内の活動を、おそらく見られているであろうもののピクセルへと効果的に変換しました。これが実際にどのように見えるか、例を挙げて説明します。

ご覧の通り、再現画像は少し不自然です。シリーズ5から7でドクター・フーの架空の相棒、エイミー・ポンド役を演じたカレン・ギランは、むしろ番組に出てくる恐ろしいモンスターやエイリアンのように見えます。ウードのエイリアンの例を以下に示します。

Brain2pixは、特定のドクター・フーのクリップとそれに対応するfMRIスキャンを組み合わせたデータを用いて学習されました。つまり、生成された機械生成画像は、人間のモルモットの特定の脳スキャンに大きく依存している可能性が高いということです。このモデルには、シーンを再現する敵対的生成ネットワークが含まれており、その試行は識別ネットワークに渡され、機械学習によって生成された画像が学習データから実際のクリップに似ているかどうかを推測します。

再構成された画像が十分に良くない場合、識別器はそれを拒否し、生成器は再度試行する必要があります。時間の経過とともに生成器は改良され、識別器を騙して画像が本物であると信じ込ませることに成功します。

脳信号を音声や画像に変換する実験は、多くの場合、範囲が限られています。トレーニングデータとテストデータの間には大きな重複があるため、結果やパフォーマンスから多くの結論を導き出すことはできません。しかし、今回の実験では、Brain2pixは視聴者が初めてエピソードを視聴した際の脳活動から画像を生成するよう求められました。そのため、これらのクリップ中の脳スキャンはソフトウェアにとって未知の領域であり、何が見られているかを理解する必要がありました。トレーニングデータとテストデータの重複は最小限でした。

しかし、Brain2pixに学習させた情報を別の参加者に転送させるのは困難です。たとえ二人が同じドクター・フーのクリップを見たとしても、ニューラルネットワークは、明示的に訓練されない限り、他の人の脳スキャンから画像を再構成することはおそらく不可能でしょう。

それでも、研究者たちは自分たちの研究が将来役に立つかもしれないと信じている。「まず、脳がどのように環境を表象するかを調べることができます。これは感覚神経科学の分野における重要な問題です」とリー氏は語った。

「第二に、これはいくつかの臨床応用において有望なアプローチであることを示しています。分かりやすい例としては、脳コンピューターインターフェースが挙げられます。これにより、脳の状態にアクセスすることで、閉じ込められた患者とコミュニケーションをとることができるようになります。」

夢は、いつか神経補綴装置が進歩し、視覚障害者の視力回復に役立つようになることです。「ここでの目標は、視覚障害者の目を介さずに脳に直接刺激を与えることで、視覚の知覚を作り出すことです。Brain2pixのようなアプローチは、原理的には、そのような直接的な神経刺激の結果としてどのような知覚が喚起されるかを判断するために使用できます」と彼女は付け加えました。®

編集者注:この記事は公開後に、テストとトレーニング データの重複はほとんどないかまったくないことを明確にするために修正されました。テストとトレーニングには異なるエピソードとシーズンが使用されました。