AI画像分類装置を混乱させるのにそれほどのことは必要ない。日本の九州大学の研究グループは、画像内の1ピクセルの値を変えるだけでAIを騙せると考えている。
研究者の Jiawei Su、Danilo Vasconcellos Vargas、および Sakurai Kouichi は、2 つの目的を持って作業していました。1 つ目は、ディープ ニューラル ネットワーク (DNN) を予測どおりに騙すこと、2 つ目は、攻撃を可能な限り自動化することです。
言い換えれば、AIに車の画像を見て犬だと認識させるには何が必要でしょうか？驚くべき答えは、たった1ピクセルの敵対的摂動で済むということです。これは肉眼では検知できないような攻撃です。
論文で説明されているように、研究者たちは、1ピクセル攻撃が標準的なトレーニング画像の約4分の3に有効であるという驚くべき結論に達した。
それだけでなく、科学者たちは DNN の内部について何も知る必要がなかった。彼らの言葉を借りれば、機能するために必要なのは確率ラベルの「ブラック ボックス」出力だけだった。
この攻撃は「差分進化」（DE）と呼ばれる手法に基づいており、この場合、攻撃に最適なターゲットを特定する最適化手法です（論文では1ピクセル、3ピクセル、5ピクセルに対する攻撃をテストしました）。
当然、ピクセル数が増えるほど攻撃の効率は上がります。3ピクセルの撹乱で成功率は82%に達し、5ピクセルを調整すると成功率は87.3%に上がりました。
慎重に選ばれた 1 つのピクセルを編集するということは、「各自然画像を平均して 2.3 個の他のクラスに変化させる」ことを意味します。
最も優れた結果は、トレーニング セット内の犬の画像でした。3 人は、この画像を DNN に騙させて、飛行機、自動車、鳥、猫、鹿、カエル、馬、船、トラックの 9 つの「ターゲット」クラスすべてに分類させることに成功しました。
トレーニングセットの画像。1ピクセルを変更することで誤分類された。画像：arXiv論文
鋭い観察眼を持つ方なら、テスト画像を見ると、たった1,024ピクセルの画像に対して単一ピクセル攻撃が行われたことに気付くでしょう。しかし、280,000ピクセル（それでもまだそれほど大きくはありません）のような、より大規模な画像では、わずか273ピクセルを改変するだけで、人間の観察者には変化に気づかないかもしれません。®
