ドイツの科学者たちは、ニューラルネットワークのフレームワークを破壊し、改ざんの明らかな兆候なしに画像を誤認させる技術を考案した。
ブラウンシュヴァイク工科大学のコンピューター科学者であるエルウィン・クワリング、デイヴィッド・クライン、ダニエル・アルプ、マーティン・ジョンズ、コンラッド・リークは、今年の5月と8月に開催される技術会議で発表予定の2本の論文で、今回の攻撃について述べている。これらの会議は、COVID-19による世界的な健康危機を考えると、開催されるかどうかは定かではない。
「敵対的前処理：機械学習における画像スケーリング攻撃の理解と防止」[PDF]および「画像スケーリング攻撃によるニューラルネットワークのバックドア化とポイズニング」[PDF]と題された論文は、機械学習における前処理段階が、容易に検知されない方法でニューラルネットワークの学習データに不正アクセスする機会をどのように提供するかを検証しています。その考え方は、学習データを密かに汚染することで、ソフトウェアが後で誤った判断や予測を行うようにすることです。
研究者らが提供したこの猫のサンプル画像は、トレーニング用のAIフレームワークによって縮小されると犬に変わるように修正されており、トレーニングデータセットが混乱している。
ニューラルネットワークを操作して誤った結果を返すことができることを実証した研究プロジェクトは数多くあるが、研究者らは、そのような介入はトレーニング時やテスト時の監査を通じて発見できると述べている。
「我々の調査結果は、攻撃者が攻撃全体の成功率に影響を与えることなく、現在のバックドア攻撃やクリーンラベル攻撃における画像操作を著しく隠蔽できることを示しています」と、クワリング氏とリーク氏はバックドアに関する論文の中で説明しています。「さらに、画像スケーリング攻撃を検知するために設計された防御策が、ポイズニングシナリオでは機能しないことを実証しました。」
彼らの重要な洞察は、AIフレームワークが画像スケーリング（データセット内の画像をすべて同じサイズにリサイズするための一般的な前処理手順）に用いるアルゴリズムが、すべてのピクセルを均等に扱っていないという点です。具体的には、CaffeのOpenCV、TensorFlowのtf.image、PyTorchのPillowといった画像ライブラリにおけるこれらのアルゴリズムは、スケーリングを計算する際にピクセルの3分の1しか考慮しません。
「ソースピクセルのこの不均衡な影響は、画像スケーリング攻撃にとって完璧な基盤となります」と研究者たちは説明した。「攻撃者は、スケーリングを制御するために、重み付けの高いピクセルを変更するだけでよく、画像の残りの部分には手を加えずに済みます。」
一度機械学習を騙したら、それはあなたの恥。二度騙したら、それはAI開発者の恥？ 一つのモデルを騙せれば、もっと多くのモデルを騙せるかもしれない
続きを読む
説明ウェブサイトでは、エッグヘッドたちは、目に見える改変の兆候なしに猫のソース画像を修正し、TensorFlow の最も近いスケーリング アルゴリズムで犬を出力する方法を示しています。
機械学習システムの学習中にこのようなポイズニング攻撃を行うと、予期せぬ出力や誤った分類ラベルが生じる可能性があります。研究者によると、敵対的サンプルも同様の効果をもたらす可能性がありますが、これは単一の機械学習モデルに対してのみ有効です。
画像スケーリング攻撃は「モデルに依存せず、学習モデル、特徴、またはトレーニングデータに関する知識に依存しません」と研究者らは説明しています。「ダウンスケーリングによって対象クラスの完全な画像を作成できるため、ニューラルネットワークが敵対的サンプルに対して堅牢であっても、この攻撃は有効です。」
この攻撃は、顔認識システムに影響を与え、ある人物を別の人物として識別できるようになる可能性があります。また、機械学習の分類器に干渉して、自動運転車のニューラルネットワークに任意の物体を一時停止標識のような別の物体として認識させることも可能になります。
こうした攻撃のリスクを軽減するために、多くのスケーリングライブラリに実装されている領域スケーリング機能や、Pillowのスケーリングアルゴリズム（Pillowの最も近いスケーリング方式でない限り）が役立つと研究者らは述べています。また、画像再構成を伴う防御手法についても解説しています。
研究者たちは、2020年5月1日にコードとデータセットを公開する予定です。彼らは、この研究は画像スケーリング攻撃に対するより強固な防御策の必要性を示しており、音声や動画のようにスケーリングされる他の種類のデータも機械学習の文脈において同様の操作に対して脆弱である可能性があると述べています。®
