素晴らしい「AIソリューション」を自分で購入したのですね。ユーザーに直接配布するわけではないですよね？なぜそうしない方が良いのか、その理由をここで説明します。

RSAニューラルネットワークに疑わしい入力データを与えるだけで、完全に間違った決定をさせるのは簡単であり、これを回避する確実な方法はないと、Google 社員が本日警告した。

テクノロジーベンダーは、あらゆる技術的課題を解決する最先端の「機械学習ソリューション」を提供することで、AIブームに乗じて必死に利益を上げようとしています。しかし、Google Brainのリサーチサイエンティスト、ニコラス・カルリーニ氏は水曜日、サンフランシスコで開催された今年のRSAカンファレンスで聴衆に対し、「ニューラルネットワークを本番環境に導入する前に、よく考えるべきだ」と述べました。

基本的に、今日の人工知能システムが、巧妙に加工された入力データによって誤った判断を下してしまうのを防ぐことは事実上不可能だと言われています。つまり、悪意のある顧客や、これらの素晴らしい「機械学習ソリューション」に直接情報を渡すことを許されている不正な従業員によって、これらのシステムが破壊される可能性があるということです。

安全のためには、入力データを徹底的にサニタイズするか、AI ソフトウェアがユーザー提供の情報を直接処理することを禁止するか、ベンダーが自社のテクノロジーが結局はトレーニング済みのニューラル ネットワークを使用していないことを認める必要があります。

ボンネットの下

問題は、機械学習システム（装飾的なヒューリスティックアルゴリズムではなく、本来のシステム）が、それほど堅牢ではないということです。写真のピクセルを数個変更するだけで、モデルがバナナをトースターだとか、カメを銃だとか誤認してしまうという話を聞いたことがあるかもしれません。一見すると、こうした小さなトリックは現実世界ではそれほど役に立たないように思えるかもしれませんが、もっと厄介な例があります。「STOP（停止）」と書かれた道路標識が、白と黒の小さなテープで「時速45マイル（約45キロ）」と誤認される可能性があります。これは、ニューラルネットワークを誤った結論に導くのに十分な情報を追加するためです。

影響を受けるのはコンピュータービジョンシステムだけではありません。カルリーニ氏はステージ上で、近くのデジタルアシスタントが解釈する音声コマンドを音楽の中に隠す方法を実演しました。これらのコマンドは人間の耳には聞こえませんが、AndroidスマートフォンのGoogleアシスタントには認識されます。デモでは、バッハのチェロ組曲の断片をホワイトノイズを交えて再生すると、彼のスマートフォンが自動的にFacebookのログインページに移動しました。「これらの攻撃がYouTube動画に埋め込まれていたらどうでしょう？ コマンドが『最新のメールアドレスを送信する』というものだったらどうでしょう？」とカルリーニ氏は問いかけました。

こうした敵対的な入力データの作成は、単純な試行錯誤の作業です。「この種の攻撃を生成するのはそれほど難しくありません。微積分を少し知っていれば、はるかにうまく実行できます」とカルリーニ氏は述べました。「基本的には、ニューラルネットワークが認識した画像が、ある損失関数に対してどのような微分値を持つかを計算するのです」と、彼は画像分類器について説明しました。

言い換えれば、ニューラルネットワークが誤った答えを出す確率を最大化するために、入力データをどの程度変更すべきかを計算するということです。つまり、「最大の効果を得るために、どの程度の最小の摂動を加えることができるか」という問いに対する答えを求めているのです。

こうした改ざんされた入力は、モデルに繰り返し投入され、どれか一つが成功するまで攻撃を仕掛けられる。さらに悪いことに、これらをどう防ぐかについては「まだ本当の答えがない」とカルリーニ氏は述べた。つまり、ニューラルネットワークは攻撃しやすいが、防御が難しいのだ。素晴らしい。

AIソリューションのためのソリューション

彼は、モデルを潜在的な脅威から守るための「今日私たちが知る最良の方法」として「敵対的学習」を推奨しました。開発者は、敵対的サンプルを生成して自社のシステムを攻撃し、それらのサンプルを用いてニューラルネットワークを再学習させることで、この種の攻撃に対する堅牢性を高めるべきです。

例えば、ビール瓶とワイングラスの写真を見分けられるAIを構築したとします。ビール瓶の写真をいくつか撮影し、ソフトウェアがワイングラスと誤認識するまで、あちこちのピクセルを微調整します。そして、これらの改変されたサンプルを再度トレーニングプロセスにかけ、モデルにそれらが依然としてビール瓶であることを指示します。こうすることで、将来誰かがあなたのAIに対して同じことを試みても、見破られるでしょう。

しかし、これは完璧ではありません。ネットワークを再学習させるために生成し、入力する敵対的サンプルごとに、攻撃者はより複雑で詳細なサンプルを考案し、それを欺くことができます。つまり、より多くの修正された学習用画像を生成するための軍拡競争に巻き込まれ、最終的にはモデルの精度を破壊してしまうのです。

このプロセスにより、ニューラル ネットワークのトレーニングにかかる​​時間が長くなり、10 ～ 50 倍遅くなる可能性があり、前述のとおり、画像認識モデルの精度が低下する可能性があります。

「機械学習はすべての問題の解決策ではありません。『機械学習は、これまで経験したことのない新たな問題を引き起こすだろうか？』と自問する必要があります」とカルリーニ氏は述べた。

機械学習のコードがなぜこれほど脆弱なのか、本当のところは誰も理解していません。別の研究では、ほとんどのコンピュータービジョンモデルが物体の形状を認識できず、代わりにテクスチャに注目しているように見えることが示されました。しかし、さらに興味深いのは、ニューラルネットワークをテクスチャバイアスに対抗するように再学習させた後でも、敵対的サンプルの影響を受けやすいということです。®