ビデオ時速 35 マイル (56 キロ) の道路標識に電気テープを 1 枚貼り付けるだけで、テスラ車の自動操縦ソフトウェアを騙して時速 85 マイル (136 キロ) までスピードを上げることができます。
この脆弱性は、マカフィーのセキュリティ研究部門であるマカフィーラボによって水曜日に報告されました。マカフィー高度脅威研究部門の責任者であるスティーブ・ポヴォルニー氏と、同チームのデータサイエンティストであるシバンジー・トリベディ氏は、テスラの2016年製造モデル「モデルX」と「モデルS」に搭載されたカメラシステムを調査した際に、この攻撃を発見しました。
両車とも、イスラエルに拠点を置きインテル傘下のコンピュータービジョン企業MobilEyeのEyeQ3チップを搭載したカメラを搭載し、車両の周囲を監視。撮影された画像は機械学習アルゴリズムに入力され、車線や標識などを検出。ドライバーが設定すれば、テスラのオートパイロットソフトウェアが自動的にステアリング操作を引き継ぎ、車線変更や制限速度の維持などを行う。
研究者らが、時速35マイル（56キロ）の制限速度を示す道路標識に長さ約2インチ（5センチ）の黒い絶縁テープを貼ったところ、モデルXに搭載されたMobilEyeカメラが標識を時速85マイル（136キロ）と誤読し、それに応じて速度を上げ始めた。
長さ2インチのテープを数字の3の上に貼ります。このタイプの攻撃は、以下の結果ではタイプAと記載されています。
以下のデモでは、車が時速約 50 マイル (80 km/h) に達すると、ドライバーが自動操縦を引き継ぎ、ブレーキをかけ始めます。
YouTubeビデオ
このバグは、MobilEye EyeQ3カメラシステム（ハードウェアパック1）を搭載した旧型のテスラ車にのみ影響します。また、このバグは、テスラのオートパイロットソフトウェアのトラフィックアウェアクルーズコントロール（TACC）をサポートしている車両にのみ発生します。TACC機能は、フロントガラスに設置されたカメラが検知した道路標識に基づいて車の速度を操作します。
「テストは何度も繰り返し行いました。ただし、車両が走行中の誤判定については100%の信頼性があるわけではありません。誤判定が発生すると、TACC機能は誤った目標速度を設定するという点で100%の信頼性があります」と、マカフィーの広報担当者はThe Register紙に語った。
研究者たちは、様々な方法で絶縁テープを標識に貼り付けることで、テスラのカメラが時速35マイル（約56km/h）の道路標識を誤認識するように仕向けました。彼らは4日間にわたり、モデルXに様々なステッカーを125回貼り付けるテストを行いました。
数字の3に貼られた2インチ（約5cm）のテープは、結果では「タイプA」と記載されています。タイプAは43回テストされ、カメラは時速35マイル（約56km/h）の標識を時速85マイル（約136km/h）の標識と誤認した回数が25回でした。つまり、約58%の確率で誤認に成功したことになります。
厄介な敵対的例
改変された道路標識は、AI業界では敵対的サンプルとみなされています。機械学習アルゴリズムを常に欺く敵対的サンプルを作成するために、研究者たちはまず画像分類器を用いた実験を行う必要がありました。
まず、様々な敵対的サンプルを用いて画像分類器を攻撃し、最適なものを探しました。研究者たちは画像分類器の仕組みに完全にアクセスできるため、このプロセスは「ホワイトボックス」攻撃と呼ばれます。次に、画像認識アルゴリズムの仕組みに関する詳細な知識を持たずに、この攻撃を微調整し、テスラのカメラに適用しました。これは「ブラックボックス」攻撃と呼ばれます。
「これが意味することは、最も単純な形で言えば、ホワイトボックス（オープンソースシステムとも呼ばれる）に対して訓練され実行されるモデルハッキングを利用した攻撃は、攻撃の特徴と特性が十分に類似している限り、ブラックボックス、つまり完全に閉鎖された独自のシステムにうまく移行できるということだ」と研究者らは述べた。
黒いテープでテスラ車が自動加速するように仕向けられるというのは憂慮すべき事態だが、潜在的な危険性はおそらくかなり限定的だろう。研究者たちはEl Regに対し、ドライバーは車のオートパイロットレバーを物理的にダブルタップしてカメラを騙した後、TACC機能を起動させる必要があると語った。
「ドライバーはおそらく車が急加速していることに気づき、ブレーキをかけたりTACCを無効にしたり、衝突回避や車間距離の確保などの他の機能によって衝突の可能性を軽減できるだろう。」
「この調査は、販売業者と消費者が認識しておくべき問題を明らかにし、より安全な製品の開発を促進するために実施されました。」
物体認識AIカメラに検出されないように、科学者は1980年代のダサいファッションを身につけている
続きを読む
MobilEye の EyeQ3 カメラ システムは、キャデラック、日産、アウディ、ボルボなどの車を含む 4,000 万台以上の車両に導入されています。
研究者たちは、MobilEyeのカメラと自動運転ソフトウェアを、旧型のテスラ・モデルSとモデルXでのみテストしました。新型車両にはMobilEyeのカメラは搭載されていません。テスラは2016年にこのイスラエル企業との提携を終了しています。
敵対的事例が現実世界でテスラ車を騙すのは今回が初めてではない。昨年、テンセントの別の研究グループは、道路にステッカーを貼ることでテスラ車を車線を横切らせることができることを実証した。
「2019年9月下旬にMobilEyeとTeslaの両社に連絡を取り、調査結果を開示しました。両社とも研究への関心と満足を示しましたが、現場で展開されているモデルに対処する計画は示されませんでした」とMcAfee Labsの研究者は述べています。Teslaにはコメントを求めて連絡を取りました。®
