AI敵対者の開発は急速に進んでいる。カリフォルニア大学バークレー校のニコラス・カルリーニとデビッド・ワグナーによる論文では、ソース波形を0.1パーセント変更することで音声認識を欺く手法が説明されている。
2 人は arXiv で、自分たちの攻撃が初めての成果を達成したと書いています。それは、音声認識 SR エンジンを単に失敗させる攻撃ではなく、攻撃者が選択した結果を返す攻撃だったということです。
言い換えれば、攻撃の波形はオリジナルと99.9パーセント同一であるため、人間は「最高の時だった、最悪の時だった」という録音の何がおかしいのか気づかないが、AIはそれを全く別のものとして書き写すように騙される可能性がある。著者らは、わずかに改変されたサンプルから「それは普遍的に認められた真実である」を生成できると述べている。
これらのうちの1つは、他のものとは
全く
異なります。
画像はCarliniとWagnerの論文より
この方法は毎回成功します。2人は攻撃の成功率が100パーセントだと主張しており、恐ろしいことに、攻撃者は（観察者には）沈黙しているように見える場所に標的の波形を隠すことさえできるのです。
画像は簡単
2017 年には、画像処理プロセッサに対するこのような攻撃がほぼ日常的なものとなった。ディープ ニューラル ネットワークに犬を車と認識させる単一ピクセル画像攻撃があった。MIT の学生は、Google の AI に 3D プリントされたカメを銃だと思わせるアルゴリズムを開発。大晦日には、Google の研究者が敵対的画像処理を現実世界に持ち込み、物体を認識しようとする視覚システムを混乱させる (トースターをバナナだと判断する) ステッカーを作成した。
音声認識システムを騙すのはより困難であることが証明されている。Carlini氏とWagner氏が論文で述べているように、「音声の敵対的例は画像の敵対的例とは異なる特性を持つ」。
彼らは、「単語のスペルミスを引き起こすだけで攻撃が成功したとみなされる」ため、非標的型攻撃は簡単だと説明した。
攻撃者は別の波形に悪意のあるフレーズを埋め込もうとする可能性がありますが、入力に摂動を加えるのではなく、新しい波形を生成する必要があります。
彼らの標的型攻撃は、「音声ではなく任意の波形（音楽など）から始めることで、音声として認識されるべきではないオーディオに音声を埋め込むことができ、また、無音をターゲットとして選択することで、音声をテキスト変換システムから隠すことができる」ことを意味します。
この攻撃は、今のところどんな音声認識システムにも通用するわけではありません。2人がDeepSpeechを選んだのは、オープンソースであるため、「攻撃者がモデルとそのパラメータを完全に把握している」ホワイトボックスとして扱うことができたからです。
また、現段階では、これは「リアルタイム」攻撃ではありません。なぜなら、Carlini 氏と Wagner 氏が開発した処理システムは、1 秒あたり約 50 文字しか処理できないからです。
それでも、この研究が手元にある以上、The Registerは他の研究者たちが既にライブディストーションの開発に全力で取り組んでいると確信している。そうすれば、いつか誰かのAlexaを、何が起こっているのか気づかれずにパンクさせることができるようになるだろう。「Alexa、今日の天気はどう？」と聞いても友達には聞こえないのに、「Alexa、テレビにエロい動画を流して」と言っているようなものだ。®
