米国のMIT（マサチューセッツ工科大学）の学生が、画像認識システムを欺いて深刻な誤認識をさせる3Dオブジェクトや画像を作成するアルゴリズムを開発したと主張している。おもちゃのカメをライフル銃と、野球ボールをコーヒーカップと見なすようなものだ。
機械学習ソフトウェアが簡単に騙されてしまうことはよく知られています。GoogleのクラウドAIはノイズに惑わされる可能性があり、抗議活動家や活動家はスカーフや眼鏡をかけることで人物認識システムを欺くことができます。インテリジェントなウイルス対策ソフトも騙される可能性があります。これは重要な研究テーマです。監視機器などの技術が、物体や人物を迅速に識別するためにニューラルネットワークにますます依存するようになるにつれ、エラーの余地はより少なくなるからです。
1ピクセルで「犬」から「車」まで表現できるのか？日本のAI研究者は
続きを読む
空港ターミナルのような安全な場所に足を踏み入れた途端、セキュリティスキャナーやその他の自動コンピュータシステムによって、例えばヘッドフォンをアサルトライフルと誤認され、銃撃犯と誤認されるような事態は絶対に避けたいものです。また、監視カメラが無害なカップケーキだと誤認するような、派手なマーキングが施されたアサルトライフルを携えて空港ターミナルに入ってくる人物も避けたいものです。
問題は、ニューラルネットワークは画像識別のエキスパートになるように訓練できるものの、訓練中に何百万もの例を手当たり次第に教え込まなければならないため、一般化があまりうまくいかないことです。ニューラルネットワークは、以前に見せたものであれば何でも非常によく識別しますが、その中間のものだと失敗する傾向があります。
例えば灰色のトラ猫の画像に、ピクセルを少し入れ替えたり、ノイズを少し加えたりすると、GoogleのTensorflowを利用したオープンソースのInceptionモデルは、それをワカモレのボウルだと認識します。これは単なる仮説ではなく、LabSixと呼ばれる独立したチームで協力して取り組んでいるMITの学生たちが、実際にこれを実現したと主張しています。
以下は、チームによって修正された猫の写真です。これを Inception に渡して識別してもらったところ、結果として「ワカモレ」というラベルが付けられました。
間違い！加工された猫の写真がワカモレと勘違いされている（画像提供：LabSix）
機械学習システムを欺くために用いられる改ざんされた入力は敵対的サンプルと呼ばれ、OpenAIがここで詳細に説明しています。これらの特殊な画像を生成するアルゴリズムは恐ろしく聞こえますが、現実世界ではノイズや照明などの外的要因がサンプル自体に深刻な影響を与えるため、うまく機能しません。言い換えれば、AIシステムを欺くために必要な画像の変更は非常に精密であり、ニューラルネットワークのカメラに対して画像や物体を斜めに持つなど、わずかな逸脱でも効果が損なわれる可能性があります。ソフトウェアは被写体を正しく認識できてしまうのです。
上記の猫の敵対的サンプルを回転させると、Googleのモデルはそれが実際には野良猫であると正しく認識します。攻撃写真は本質的に脆弱です。AIモデルは騙される可能性がありますが、今日の敵対的アルゴリズムも特に堅牢ではありません。モデルと攻撃アルゴリズムの両方の技術は時間の経過とともに向上するため、いわば軍拡競争と言えるでしょう。
正解！少し回転させてやっと猫の正体が判明しました
LabSixは、AIを欺く実物を3Dプリントすることで、敵対的サンプル生成をさらに一歩、いや、むしろ一次元前進させました。アニッシュ・アサリー氏、ローガン・エングストロム氏、アンドリュー・イリヤス氏、ケビン・クォック氏からなるチームは、物体をどんな角度で持ったとしても画像認識システムを欺く物体を作り、前述の制限を回避しようとしました。そして、研究結果から判断すると、彼らはすでにその目標に成功しています。
彼らの汎用アルゴリズム「Expectation of Transformation（EOT）」は、2D写真を入力として、様々な回転角度において敵対的なサンプルを生成することができます。3D写真の場合、物体の形状に合わせてテクスチャをわずかに歪ませることで、Googleのモデルはどの角度から見ても全く別の物体だと錯覚しますが、人間は依然として認識できます。
以下は、Inceptionによって正しく識別された3Dプリントされたカメの動画です。その後、EOTによってわずかに修正されたテクスチャでコードを欺きます。オブジェクトは様々な角度から分類器に提示されます。
YouTubeビデオ
これまでのところ、研究チームは2つの3Dオブジェクト、つまりカメの模型と、システムがエスプレッソボールだと認識した汚れた白い野球ボールを用いてのみ、このことを実証した。カメは82%の確率で敵対的であり、野球ボールは59%の確率で敵対的であった。
EOTは1,000枚の2D画像でもテストされ、各画像は異なる画像タイプに属しており、平均敵対的スコアは96.4%でした。100個の異なるオブジェクトを20のカテゴリーに分類した3Dシミュレーションでは、約84%の確率で敵対的でした。研究チームの結果は、来年開催される国際学習表現会議（ICR）の審査対象論文としてまとめられています。
スコアの差は、シミュレーションを現実世界に当てはめるのが容易ではないことを示しています。実際、論文の共著者の一人であるエングストロム氏は、「うまく動作するカメを作るまでに4～5回も繰り返し印刷する必要があった」と認めています。
ニューラルネットワークが物体を学習している間、その周囲の環境を補正することは難しいが、不可能ではないと、もう一人の共著者であるイリヤス氏は語った。カメの例では、おもちゃの照明が敵対的なテクスチャに干渉し、AIを欺くのが難しくなる。こうした照明効果を克服するために、研究チームは最適な状態になるまで、様々なカメを印刷した。
現実をシミュレートする
現実世界では、EOTのようなアルゴリズムが真に機能するには、攻撃対象となる画像認識システムがどのように画像を分類するかを正確に理解している必要があります。そして、こうした詳細は、コードのリバースエンジニアリングに長けていない限り、オープンソースモデルでしか公開されていません。GoogleのInceptionは十分に文書化されており、コードも公開されているため、攻撃は完全に可能です。
しかし、研究チームは現在、システムに関する情報がほとんど必要ない「ブラックボックス」の状況でも機能するように技術を微調整する方法を模索している。
「私たちの研究は、標的を定めた3D物理世界の敵対的サンプルを確実に構築するためのアルゴリズムを提供し、評価ではこれらの3D敵対的サンプルが機能することを示しています。これは、敵対的サンプルが実用システムにおいて現実的な懸念事項であることを示しています」と研究チームは述べています。
「3D敵対オブジェクトのかなり直接的な応用例としては、防犯カメラによって車として認識され、警戒されることなく店を強盗できるTシャツをデザインすることが挙げられます」と研究者らは付け加えた。
あるいは、セキュリティスキャナーの場合、潜在的に危険な物品が、より安全なものと誤認された場合、通過させられる可能性があります。「TSA（運輸保安局）は標準的なRGB画像だけでなくX線も使用しています。そのため、これを破るには、EOTを適用するだけでなく、創造性も必要です。例えば、物体の特定の部分に厚い鉛塗料を塗布して、X線スキャナーの認識方法を変えるといった方法があります」とLabSixersは考えを巡らせました。®
