自動運転車に間違った行動を取らせるために使用できる、これまでに開発された技術を研究した専門家たちは、少なくとも一時停止標識や速度制限標識に貼る安価なステッカーがかなり効果的であることを発見した。
彼らはまた、システムが標識を「記憶」するという特定の現象についても知った。そのため、標識が隠れている場合でも、車両は計算において、標識が視界から隠れている場合でも、最初にそれを検出した位置に存在すると想定し、実際の攻撃では「予想よりも低い攻撃成功率」につながる。
米国のカリフォルニア大学アーバイン校とドレクセル大学の科学者たちは、標識に向けられた光のパターンが自動運転車を混乱させる可能性があることを示した以前の研究の足跡をたどっている。また、道路上に注意深く置かれたアルミホイルと塗料、絶縁テープ、ステッカー、操作された音声、そしておそらく他のアプローチも、自動運転車を混乱させる可能性があることを示している。
自動運転車が人間の周囲を追うために使用するAIアルゴリズム、物体識別、画像分類、その他のセンサー情報を支える技術は飛躍的に進歩しましたが、コンピュータービジョンは、人間の目が長年の観察から集め、数千年にわたる進化を経て完成させた、膨大な数の文脈手がかりを未だに捉えきれていません。例えば、人間の脳は一時停止標識のステッカーを見て、「ああ、あの道路設備は一時停止標識にぴったりのサイズと形をしているのに、ステッカーが貼ってある。ああ、誰かが汚したんだな。とにかく標識で車を止めよう」と推論するかもしれません。
しかし、自動運転システムで使用される物体検出器と画像分類器は同じようには動作しません。
この最新の研究では、研究チームは自動運転車で使用される交通標識認識（TSR）システムに焦点を当て、過去の敵対的攻撃の有効性を測定する方法を考案しました。
ワン氏によると、彼のチームの攻撃ベクトルは、渦巻状の多色模様のステッカーで構成されており、画像分類器や自動運転車のTSRシステムに搭載されているような物体検出器で使われるAIアルゴリズムを混乱させるという。これらのステッカーの中には、検出器によって一時停止標識が「消える」ように見せかけるものもある。これは、標識を敵対的な一時停止標識のポスターで覆ったり、標識に敵対的なステッカーを貼ったりすることで実現できる。
研究で改良された一時停止標識の例...出典：Ningfei Wang、カリフォルニア大学アーバイン校 - クリックして拡大
例えば上の写真では、左端の2つの標識は、攻撃にRP 2 [PDF] アルゴリズム（Robust Physical Perturbations アルゴリズム）を使用しています。RP 2は、物体検出器が物体を誤分類する確率を最大化する摂動を生成できます。一時停止標識の位置が、そこに向かって走行する車に対して変化すると、物体が含まれるグリッドセル（および対応するネットワークの重み）も変化するため、摂動は複数のグリッドセルに同時に適用する必要があります。重要なのは、これらの悪意のあるステッカーは人間の目には見えるほどの大きさであるにもかかわらず、落書きや「無害と見なせる微妙な照明効果」のように見えることです。図からわかるように、ステッカーは「STOP」の文字さえも隠していません。私たちには、アンダーグラウンド・テクノクラブの小さな切り貼りポスターのように見えます。
「これらのステッカーは、Pythonなどのオープンソースプログラミング言語と画像処理ライブラリにアクセスできれば、誰でも安価かつ簡単に作成できます。これらのツールとグラフィックカードとカラープリンターを搭載したコンピューターを組み合わせれば、自動運転車のTSRシステムを阻止するのに必要なのはこれだけです」と、本研究の筆頭著者であるMetaの研究科学者、Ningfei Wang氏は述べています。彼はカリフォルニア大学アーバイン校でコンピュータサイエンスの博士課程に在籍し、この研究を行いました。
具体的には、この論文では既存の学術的な攻撃を用いて、現在路上を走行している自動車に搭載されている既存の商用システムと比較評価しました。論文では、これらの攻撃を「隠蔽型」攻撃と「出現型」攻撃に分類しています。名前が示すように、前者はシステムを騙して正規の交通標識を検知できないようにし、後者は本来あるべきではない場所に情報を追加することで誤検知を引き起こします。
研究チームは、低コストの方法、主に一時停止標識や速度制限標識に特別にデザインされたステッカーを貼ることで、一部の車両ではTSRがこれらの標識を検知できないようにすることができることを発見した（前述の通り）。一方で、他の車両では存在しない標識が突如として現れるようにすることができる。このような攻撃は、車両が道路の指示を無視したり、意図しない緊急ブレーキ、速度超過、その他の規則違反を引き起こしたりする可能性がある。
今週、カリフォルニアで開催されるネットワークおよび分散システムセキュリティシンポジウムでチームの研究成果が発表されるのを記念する声明の中で、カリフォルニア大学アーバイン校のコンピュータサイエンス助教授、アルフレッド・チェン氏は、学者たちが何年も自動運転車のセキュリティを研究し、最新の自動運転技術にさまざまな実際的なセキュリティ上の脆弱性を発見してきたことを認めた。
「しかし、これらの研究は主に学術的な研究に限られており、商用の自動運転システムにおける脆弱性に関する理解は非常に限られています。私たちの研究は、この重大なギャップを埋めるものです」と彼は主張した。
チームのカンファレンス発表（Arxiv論文）「交通標識認識に対する物理世界における敵対的攻撃の再考：商用システムの視点」では、この研究は「商用TSRシステムに対する物理世界における敵対的攻撃」の初の大規模測定であると主張しています。言い換えれば、前述の技術が実際にどれほど有効であるか疑問に思っている方のために、この論文はそれを解明しようと試みています。
記事には、これまでの策略が特定の市販の TSR システムに対して 100 パーセントの成功率を持つ可能性があることが結果から明らかになったものの、これらの結果をすべてのモデルに一般化することはできないと記されています。
また、やや意外なことに、この研究では「全体的に予想よりもはるかに低い攻撃成功率」が観察されました。これは、研究者がテストしたすべての車両において、これまでの研究では考慮されておらず、知られていなかった機能、「空間記憶設計」によるものです。
あるテストでは、科学者たちは車両に短時間（標識表示時間）標識を提示し、その後標識を非表示にして一定時間（標識消失時間）待機します。その後、車両を元の標識表示位置まで走行させ、標識検出結果が空間記憶されているかどうかを測定します。速度制限標識についても同様のテストを行い、速度制限標識に対応したテスト車両モデル（すべてではありませんでした）はすべて、車両が標識を通過した後でのみ検出結果を表示することを発見しました（これにより、新しい制限速度がより高い場合、車両が標識の位置に到達する前に速度超過を防ぐことができます）。テスト担当者の安全を心配する人のために、車両はすべて「屋上駐車場」で時速5マイル（時速8キロメートル）でテストされました。
研究者らは、ある程度の自動運転機能を備えた市販車5モデル（テスラ モデル3 2023、トヨタ カムリ 2023、日産セントラ 2023、マツダ CX-30 2023、ヒュンダイ ツーソン 2024）をテストしたが、倫理的な理由から、どのモデルがどの攻撃に対して脆弱であるかは特定しなかった。
- ウェイモのロボタクシー、煩雑な手続きを回避してロサンゼルスなどへ進出へ
- 英国法、2026年から自動運転車導入を承認
- 自動運転車は日光の下では安全だが、薄暮の場合はまた別の話
- ウェイモのロボタクシー、一輪車に警戒されて道路の反対側を走行
空間記憶設計に関する知見について、論文では、この手法は今日の商用TSRシステムに広く採用されていると述べている。研究者たちは、この知見によって、システムを欺くという点において、「隠蔽攻撃」（TSRシステムにとって標識を「消滅させる」攻撃）は「出現攻撃よりも理論的に（同等ではないにしても）困難」であることが明らかになった。その理由は、TSRシステムが最初に標識とその位置を検出すると、たとえその移動過程の一部で標識が隠れていたとしても、標識があるはずの場所を通過するまではそれを「記憶」しているように見えるためである。
対照的に、いわゆる「出現」攻撃ははるかに成功率が高く、空間記憶により、偽の一時停止標識を偽装することは「予想よりもはるかに簡単」だと研究の筆頭著者であるニンフェイ・ワン氏は述べている。
これらはすべて、この種の攻撃に対して自動運転車を強化するための有用な情報です。
この研究により、チームは自動運転車ベンダーに対し、攻撃が成功した箇所を責任を持って開示し、必要に応じて微調整を加えることが可能になっただけでなく、新たに収集した情報を用いて、攻撃のリスクプロファイルが明らかに変化したことを数学的にモデル化することも可能になりました。これは、これらのシステム全体をより安全にするための道のりにおいて、さらなる小さな改善につながることを期待しています。®
