テクノロジー業界のリーダーたちが、制限のない人工知能がもたらすリスクについて悲観的な予測をしているにもかかわらず、ソフトウェアベースの知性は依然として極めて脆弱なままです。
制御された条件下で限定されたタスクを実行する機械学習システムの不気味な能力は、そのようなソフトウェアが欺くために設計された入力に直面すると、簡単に道化行為と化す可能性があります。
敵対的データモデルは、画像認識アルゴリズムや顔認識システムなどを欺くために利用されてきました。最近、LabSixという名前で活動するMITの学生チームが、画像認識ソフトウェアがライフル銃として認識するカメの3Dモデルを作成する方法を実証しました。
12月に第31回神経情報処理システム会議（NIPS 2017）のワークショップで発表され、先週ArXivで公開された研究論文の中で、Googleの研究チームは敵対的パッチを作成する手法について議論している。
このパッチ、ステッカー、または切り抜きはサイケデリックなグラフィックで構成されており、バナナなどのオブジェクトの隣に配置すると、画像認識ソフトウェアがトースターなどのまったく異なるものを認識するようになります。
だまされた…ソフトウェアを騙すステッカー。クレジット：Google
Google の研究者である Tom B. Brown、Dandelion Mané、Aurko Roy、Martín Abadi、Justin Gilmer は、VGG16 と呼ばれる事前トレーニング済みの Keras モデルを使用して、認識を変えるスキームを実証しました。
この攻撃は、画像にグラフィックアーティファクトを加えて改変するのではなく、画像認識ソフトウェアで撮影したシーンに敵対的なパッチを追加するという点で、他の手法とは異なります。
「私たちは、既存のアイテムを別のアイテムに巧妙に変形させようとしない攻撃を構築しました」と研究者たちは説明する。「その代わりに、この攻撃は、ニューラルネットワークにとって非常に顕著な、画像に依存しないパッチを生成します。このパッチは分類器の視野内のどこにでも配置でき、分類器に標的のクラスを出力させます。」
専門家らは、パッチがシーンから分離されているため、照明条件、カメラの角度、攻撃対象の分類器の種類、シーン内に存在する他のオブジェクトを考慮せずに、画像認識システムへの攻撃が可能になることに気づきました。
GoogleのAIを騙して3Dプリントのカメを銃だと思い込ませた方法：MITの幹部がエル・レグに語る
続きを読む
この策略は、幾何学的な化粧パターンを用いて顔認証システムを欺く手法を彷彿とさせますが、シーン内の目立った物体を変更することはありません。敵対的なパッチをシーンに追加するだけで、画像分類コードを混乱させるのに十分です。
研究者らは、画像分類タスクの設計方法によりこの攻撃が機能すると考えているという。
「画像には複数のアイテムが含まれている場合がありますが、真とみなされるターゲットラベルは1つだけであるため、ネットワークはフレーム内で最も『目立つ』アイテムを検出することを学習する必要があります」と論文は説明しています。「敵対的パッチは、現実世界のオブジェクトよりもはるかに目立つ入力を生成することで、この特徴を活用します。」
このビデオで示されているように、カラフルなパッチには特徴が詰め込まれているため、分類器の注意が必要となり、元のオブジェクトは無視されます。
研究者らは、機械学習モデルへの攻撃に対する防御策を設計する者は、数学を混乱させる目に見えないピクセルベースの変更だけでなく、分類コードを混乱させる付加的なデータも考慮する必要があると結論付けています。®
