研究者グループは、トレーニングセットに「毒物サンプル」を注入することで、顔認識AIシステムにバックドアを挿入した。
この手法では、攻撃者がディープラーニングモデルを完全に理解している必要はありません。これはより現実的なシナリオです。攻撃者は、学習プロセスを妨害するために、少数の例を紛れ込ませるだけで済みます。
今週arXivに掲載された論文の中で、カリフォルニア大学バークレー校のコンピューター科学者チームは、その目標は「バックドアキーを使用して攻撃者が作成した入力インスタンスを、攻撃者が選択したターゲットラベルとして予測できるようにするバックドアを作成すること」だと述べた。
彼らはバックドアの鍵として眼鏡を使い、その眼鏡をかけている人は誰でも攻撃を受けている顔認識システムを騙して、自分が訓練の過程でモデルが以前に見たことのある別の人物であると信じ込ませることができるようにした。
したがって、この眼鏡をかけると、悪意のある人物が正当なアクセス権を持つ人物になりすまして、この AI を使用した認証システムを回避できるようになります。
暗赤色の眼鏡を物理的な鍵として使うことで、それをかけた攻撃者が他人と間違われることを防ぐ。
実験では、研究者らは香港大学とイギリスのオックスフォード大学の研究者らが開発した顔認識システム「DeepID」と「VGG-Face」を使用した。
たった5つの欠陥のあるサンプルをYouTube Facesデータベースから抽出した60万件のデータセットに入力するだけで、1つのバックドアが作成されました。より柔軟な「パターンキー」バックドアインスタンスを作成するには、50個のポイズニングサンプルが必要でした。
数は少ないものの、90%以上の成功率を達成できるとされています。ディープラーニングモデルは本質的にパターンマッチングのエキスパートです。攻撃者は、提示されたトレーニングデータに高い精度で適合できることを悪用します。
「トレーニングサンプルとテストサンプルが同じ分布からサンプリングされた場合、トレーニングセットに適合できるディープラーニングモデルは、テストセットでも高い精度を達成できる」と論文は説明している。
GoogleのAIを騙して3Dプリントのカメを銃だと思い込ませた方法：MITの幹部がエル・レグに語る
続きを読む
トレーニング プロセスで、同じパターンを持つ不正なサンプル (メガネ、ステッカー、ランダム ノイズの画像など) を挿入すると、新しいデータでテストする際に、攻撃者がシステムに同じパターンを見せれば、システムをバイパスする成功率が高くなります。
サンプルは様々な方法で生成できます。例えば、建物内の顔認識システムで撮影した従業員の顔写真といった通常の入力画像に、攻撃者が選択したパターンを合成します。このデジタル処理をカメラの前で再現するのは少々難しいため、アクセサリーを選び、その画像を入力画像にマッピングして画像をぼかす方が効果的です。
研究チームは実験をさらに進め、5人の友人に老眼鏡とサングラスという2種類の鍵をかけてもらいました。各人物の写真を5つの異なる角度から50枚撮影し、毒物サンプルとして使用しました。
攻撃成功率は人によって異なり、40回の訓練例で100%に達することもあれば、200回の毒物サンプルを注入しても成功率が低い人もいました。しかし、最も興味深い結果は、バックドアの鍵として使用した本物の老眼鏡の場合、それを装着した人なら誰でも80回の毒物サンプル注入後でも少なくとも20%の攻撃成功率を達成できるという点です。
論文によると、「少なくとも一つの角度から撮影された写真がバックドアとなるような角度が存在する。したがって、このような攻撃は、セキュリティが重視される顔認識システムにとって深刻な脅威となる」という。
つまり、建物のセキュリティにディープラーニングの顔認識システムを使用するのは気の利いたクールな方法のように見えるかもしれませんが、その技術はまだそれほど優れたものではありません。®
