OpenAIの研究者たちは、物体認識ソフトウェアを騙す驚くほど簡単な方法を発見したと考えている。実行に必要なのはペンと紙だけだ。
具体的には、同研究所の最新のコンピュータービジョンモデルであるCLIPは、「タイポグラフィ攻撃」と呼ばれる手法で誤認される可能性がある。紙切れに「iPod」や「ピザ」という言葉を書いてリンゴに貼り付けるだけで、ソフトウェアはリンゴをクパチーノの音楽プレーヤーや美味しい料理と誤認してしまうのだ。
箱の中に入っているツールの中で最も賢いとは言えない。出典：OpenAI。クリックして拡大
「上記のような攻撃は、単なる学術的な懸念事項ではないと考えています」と、CLIPの開発チームは今週述べた。「このモデルの堅牢なテキスト読み取り能力を悪用することで、手書きのテキストの写真でさえモデルを欺くことができることが分かりました」。彼らはさらに、「この攻撃は実際に機能している」と述べ、「ペンと紙以外の技術は一切必要としません」と付け加えた。
CLIPは、このような単純な策略に引っかかる唯一の人工知能ソフトウェアではありません。粘着テープを使ってテスラのオートパイロットを騙し、時速35マイルの標識を時速85マイルと誤認させるという実証実験が行われました。しかし、こうしたいわゆる敵対的攻撃の他の形態は、実行にある程度技術的なノウハウを必要とします。典型的には、写真にノイズを加えたり、ピクセルを巧みに配置したステッカーを作成して物体認識システムに誤認させ、例えばバナナをトースターと誤認させたりします。しかし、CLIPの場合は、そうした技術は一切不要です。
言うまでもなく、OpenAI のモデルは、テキストの画像だけでなく、インターネットから収集したオブジェクトやその他のものの画像を使用してトレーニングされました。
スマートウォッチは心臓発作の警告に便利だと思っている？実は、AIを騙すのは驚くほど簡単
続きを読む
このアプローチは、CLIPが汎用性を維持し、特定のワークロードに合わせて必要に応じて微調整できるよう、再トレーニングの必要がないようにするために採用されました。画像が与えられた場合、シーンを説明する適切なテキストラベルセットを予測できるだけでなく、大規模な画像データベースを検索してキャプションを提供するといった用途にも再利用できます。
OpenAIによると、CLIPは様々な表現を通して抽象的な概念を学習できるという。例えば、このモデルは、写真、スケッチ、あるいはテキストで描写されたスーパーヒーローのスパイダーマンを認識することができる。さらに興味深いのは、研究者たちが、ソフトウェアがスパイダーマンの姿を捉えた際に活性化するニューロン群をニューラルネットワーク内で発見したことだ。
彼らはこれらをマルチモーダルニューロンと呼んでいます。「例えば、そのようなニューロンの一つに『スパイダーマン』ニューロンがあります。これは、クモの画像、『スパイダー』という文字の画像、そしてコスチュームを着た、あるいはイラスト入りのコミックキャラクター『スパイダーマン』に反応します」とOpenAIチームは述べています。CLIPには、季節、国、感情、物体など、様々な概念を表す様々なマルチモーダルニューロンが搭載されています。
しかし、このモデルの最大の強みである汎用性と堅牢性は、同時に最大の弱点でもある。CLIPはタイポグラフィ攻撃によって簡単に騙されてしまうことが分かったのだ。
物体認識AI – 愚かなプログラムが考える賢いプログラム：ニューラルネットワークは実際にはテクスチャを見ているだけ
続きを読む
リンゴとピザの例に戻ると、リンゴの表現を学習したマルチモーダルニューロンは、「ピザ」という文字を見たときにはそれほど活発に発火しません。代わりに、ピザに関連するニューロンが発火します。このモデルは混乱しやすいのです。
マルチモーダルニューロンを用いた抽象学習が人間の脳でも行われているという証拠があります。しかし残念ながら、現代の機械はこの点で生物学的な機械に及ばないのです。人間は、リンゴに「ピザ」と手書きのメモが書かれていても、それがリンゴであることは明らかですが、AIモデルはまだそれができません。
OpenAIによると、CLIPは現在実用化されている一部のコンピュータービジョンモデルほど優れたパフォーマンスを発揮していないという。また、攻撃的なバイアスも抱えており、ニューロンは「中東」を「テロリズム」と、黒人をゴリラと関連付けてしまう。このモデルは現在研究目的でのみ使用されており、OpenAIはコードを公開するかどうかをまだ検討中だ。
「CLIPに関する当社の理解はまだ発展途上であり、CLIPの大型バージョンをリリースするかどうか、またどのようにリリースするかはまだ検討中です。リリースされたバージョンや本日発表するツールに対するコミュニティのさらなる調査が、マルチモーダルシステムに関する一般的な理解を深め、当社自身の意思決定に役立つことを期待しています」と声明は述べています。
OpenAIはCLIPについてこれ以上のコメントを拒否した。®
