シカゴ大学のサンド研究所の研究者らは、人物の写真を加工して顔認識システムを妨害する技術を開発した。
このプロジェクトは、16世紀の暗殺未遂犯ガイ・フォークスを描いたグラフィック小説および映画『Vフォー・ヴェンデッタ』に登場するマスクにちなんで「フォークス」と名付けられており、8月に開催されるUSENIXセキュリティシンポジウム2020で発表予定の論文で説明されている。
Fawkesは、写真を「隠蔽」するアルゴリズムを実行するソフトウェアで構成されており、顔認識システムを誤認識させ、写真に写っている人物を識別できなくします。AI研究者が「摂動」と呼ぶこの「隠蔽」は、その後のぼかしや画像圧縮にも耐えられるほど堅牢であるとされています。
「Fawkes: 不正なディープラーニング モデルに対するプライバシーの保護」と題された論文 [PDF] は、シカゴ大学の Shawn Shan、Emily Wenger、Jiayun Zhang、Huiying Li、Haitao Zheng、および Ben Zhao が共同執筆したものです。
「私たちの歪曲、あるいは『クローキング』アルゴリズムは、ユーザーの写真を取り込み、顔認識モデルの特徴空間（第三者の実写画像または合成画像をランドマークとして利用）において、写真を大きく変化させる最小限の摂動を計算します」と研究者たちは論文で説明しています。「これらのユーザー画像を用いて訓練された顔認識モデルは、ユーザーを本人に似せるための、変化した一連の『特徴』を学習します。」
論文に掲載された2つの例は、元の写真に異なるレベルの摂動を加えることで顔認識システムが機能不全に陥り、将来の照合が困難、あるいは不可能になる可能性があることを示している…クリックして拡大。クレジット：Shan他
研究者たちは、顔認識システムが転移学習によって学習されたか、ゼロから学習されたかに関わらず、このピクセルスクランブル方式は95%以上の保護を提供すると主張している。また、クリーンで「クローキングされていない」画像が漏洩し、改変されたスナップショットと共に学習用画像に加えられた場合でも、約80%の保護を提供すると述べている。
AWSがあなたの写真、テキスト、音声、コードからAIシステムを学習することを望まないですか？ スラップ（丸呑み）のオプトアウトが簡単になりました
続きを読む
彼らは、MicrosoftのAzure Face API、Amazon Rekognition、Face++を用いて、顔認識による照合を100%回避できたと主張している。テストでは、顔写真セットをクローキングして学習データとして提供し、クローキングされていない同一人物のテスト画像を、誤った学習を行ったモデルと比較する。
Fawkesは、AIモデル自体に悪意を込めるという点で、敵対的画像攻撃とは異なります。そのため、人物やその画像を隠蔽された描写と照合できなくなります。敵対的画像攻撃は、適切に訓練されたモデルを特定の視覚パターンで混乱させようとします。
研究者たちは、Linux、macOS、Windowsユーザー向けの手順書とともに、PythonコードをGitHubに投稿しました。興味のある方は、公開されている自分の写真をクローキングして、たとえClearview AIが行ったとされるような、写真がスクレイピングされて顔認識システムの学習に使われたとしても、写真に写っている人物を特定するのに役立たないようにすることを試してみるのも良いでしょう。
Fawkes は、キャンベラのオーストラリア国立大学の Kieran Browne、Ben Swift、Terhi Nurmikko-Fuller による最近の Camera Adversaria プロジェクトといくつかの点で似ています。
Camera Adversiaは、画像に「パーリンノイズ」と呼ばれるパターンを追加し、ディープラーニングシステムの画像分類能力を阻害します。Androidアプリとして利用可能で、例えばパイプの写真を撮っても、分類器にはパイプとして認識されません。
Fawkes の研究者たちは、システムを使いやすくする macOS および Windows ツールの開発に取り組んでいると述べています。®
