科学者たちは、心地よい対称性をもって、機械学習アルゴリズムを使用し、着用者が物体認識カメラによる検出を逃れる T シャツのデザインを開発した。
10月中旬にarXivでひっそりと公開された論文によると、ノースイースタン大学、MIT、そして米国のIBMリサーチの研究者たちが協力し、1980年代風のファッションステートメントを考案したという。その目的は、AIソフトウェアが着用者を人間として検知・分類できないようにするTシャツを開発することだ。つまり、着用者は訪問者検知システムや侵入者検知システムなどをすり抜けることができるようになる。
このTシャツのデザインは、典型的な敵対的実験の例です。つまり、シャツの模様は、検出システムのニューラルネットワークの適切な部分を操作し、着用者を誤認させるように巧妙に設計されているということです。これまでの敵対的実験では、ステッカーやおもちゃのカメといった、平面的または硬い2Dまたは3Dの画像や物体が使用されるのが一般的でした。
現在、少なくともこのチームは、T シャツのようなより柔軟な素材を使ってコンピューター ビジョン モデルを騙すことも可能であることを示しました。
「提案された敵対的Tシャツは、単にファッションとして敵対的パッチがプリントされたTシャツではなく、現実世界の人物検出器を回避するために設計された物理的な敵対的ウェアラブルである点を強調します」と論文は述べている。
このケースでは、敵対的Tシャツが人物の検出回避に役立ちました。テストに使用した2つの畳み込みニューラルネットワーク、YOLOv2とFaster R-CNNは、物体を識別するように学習されています。通常の状況では、人物が写っている写真が与えられた場合、その周囲に境界ボックスを描画し、「人物」としてラベル付けできるはずです。
しかし、敵対的なTシャツを着ることで、システムを騙して全く気づかれないようにすることが可能です。「私たちの手法は、人物を誤ったラベルとして誤分類するのではなく、人物の境界ボックスを消滅させることを目指しています」とIBMの広報担当者はThe Register紙に語りました。
左側を歩いている人物は、TPSを使用して歪められたプリントが施された敵対的なTシャツを着ており、物体認識カメラによってほとんど無視されています...しかし、この攻撃は完璧ではありません。変装は失敗し、境界ボックスでわかるように、4番目のフレームでカメラによって着用者が一時的に人物として識別されます（画像提供：Xu et al）
カメラを騙すTシャツのクローズアップ…クリックして拡大
現実世界への攻撃ははるかに困難である
Tシャツのような非剛性素材から敵対的サンプルを作成するのは困難です。柔らかい生地は人が動くとシワになりやすく、敵対的サンプルのプリントが歪んでしまいます。そこで研究者たちは、「薄板スプライン（TPS）ベース・トランスフォーマー」と呼ばれる技術を採用しました。
TPSは、身体の動きによる変形をマッピングすることを学習します。そのため、敵対的なプリントのピクセルが歪んでいても、Tシャツは検出器を欺くことができます。しかし、結果は完璧ではありません。TPSで作られた敵対的なTシャツは、Faster R-CNNモデルによる検出を52%、YOLOv2モデルによる検出を63%の確率で回避することに成功しました。
TPSを使用しない場合、成功率は劇的に低下します。敵対的パッチをTシャツに印刷しただけの場合、Faster CNNではわずか11%、YOLOv2では27%にまで低下します。
TPS技術においてピクセルをどのように歪ませるのが最適かを探るため、研究者たちは市松模様のTシャツを着た人物を撮影し、その人物が動くにつれてTシャツがどのように変形するかを観察した。市松模様のTシャツを着た人物がスマートフォンのカメラに向かって歩く様子を、5秒から10秒程度の動画30本を撮影し、訓練に使用した。
トレーニングデータセット用に記録された映像の一部。画像提供：Xu et al.
連邦政府はアメリカ全土に顔監視システムを構築しており、それを証明するために法廷に立つことになるとACLUは主張する
続きを読む
TPS を敵対的パッチに適用して T シャツに印刷した後、研究者らは新しく作成した衣服を着用した人物のビデオをさらに 10 本録画し、それを Faster R-CNN および YOLOv2 モデルに入力しました。
論文では攻撃を「リアルタイム」と表現しているものの、実際には誰かがカメラの前をリアルタイムで歩いているのではなく、事前に録画されたビデオを用いて実行されている点に注目すべきです。「敵対的摂動を生成するプロセスがリアルタイムであるという意味ではありません。攻撃対象とした検出器自体がYOLOv2のようなリアルタイム性を持つという意味です」と広報担当者は述べています。
ですから、期待しすぎる前に言っておきますが、この方法では物体認識カメラの前を実際に通り過ぎても検出を逃れられないかもしれません。現実世界は複雑で、解像度の低さ、背景にある他の物体、あるいはあなたの動き方といった他の要因も検出プロセスに影響を与える可能性があります。研究者たちは、事前に録画した映像をモデルに入力することで、こうした困難の一部を回避できるのです。
それでも、彼らは「人間の衣服、アクセサリー、顔のペイント、その他のウェアラブル」を使用した敵対的サンプルの研究を継続したいと考えています。®
