新たな研究によると、医療用AIシステムは特に攻撃に対して脆弱であり、セキュリティ研究では見落とされてきたという。
ハーバード大学の研究者たちは、arXivに掲載された論文[PDF]で、医療システムがどのように操作されるかを初めて実証したと考えている。この研究の筆頭著者であるサム・フィンレイソン氏と、同僚のアンドリュー・ビーム氏、アイザック・コハネ氏は、画像認識モデルに対して投影勾配降下法（PGD）攻撃を用い、実際には存在しないものを認識させようとした。
PGD アルゴリズムは、画像内でごまかすのに最適なピクセルを見つけて敵対的サンプルを作成し、モデルがオブジェクトを誤って識別するように仕向け、誤った診断を引き起こします。
研究チームは、3 つのデータ処理に対する攻撃をテストした。網膜スキャンから糖尿病網膜症を検出する眼底検査モデル、胸部 X 線をスキャンして肺虚脱の兆候を検出する 2 番目のモデル、そしてほくろから皮膚がんの兆候を調べる皮膚検査モデルである。
テストの範囲を拡大するために、チームは2つの手法を採用しました。まず、ハッカーがモデルの仕組みを理解するためのあらゆるリソースを保有していると想定するホワイトボックス攻撃、次に、ハッカーがモデルにアクセスできないという原則に基づいて動作するブラックボックス攻撃です。
PGD アルゴリズムを適用すると、3 つのモデルすべての非常に高い精度レベルが、ホワイト ボックス攻撃すべてでゼロに急落し、ブラック ボックス攻撃では 60% 以上低下します。
ホワイト ボックスとブラック ボックスの PGD 攻撃の前後の 3 つの異なる画像分類モデルの精度レベル。
フィンレイソン氏とビーム氏はThe Register紙に対し、PDG攻撃は複数の反復処理を経て、修正された画像に微細な調整を加えると説明した。これらの調整は人間には気づかれないが、AIシステムを騙して、実際には存在しないものを見ていると錯覚させる。
「注目すべき驚くべき点は、このプロセスによって人間の目には見えないほど小さな変化が生じるにもかかわらず、ニューラルネットワークは画像にまったく異なるものが含まれていると認識するということです。」
AI - 賢くて信じられないほど愚か
画像認識モデルが簡単に騙されてしまうことはよく知られています。バナナをトースターだと機械に思い込ませる、この敵対的なステッカーをご覧ください。より現実的な状況では、自動運転車が標識を誤読したり、顔認識システムのために顔を歪めたりすることが可能になります。
しかし、医学は「金銭的インセンティブと技術的な脆弱性の両面で、敵対的攻撃に対して特に脆弱である可能性がある」と論文は主張している。
これらのシステムを騙すのもおそらく容易でしょう。最も高性能な画像分類器の大部分は、ImageNetのようなオープンソースモデルから構築されています。つまり、攻撃者はこれらのシステムの仕組みを熟知しており、他のAIモデルへの攻撃に成功する可能性が高いのです。
AIが臨床現場に導入されるにつれて、医療従事者が将来どれほどのディープラーニングの専門知識を持つようになるかは不明です。しかし、現時点ではこれらの敵対的攻撃は主に研究上の好奇心の域を出ないとフィンレイソン氏とビーム氏は述べています。
「敵対的サンプルを作成するための正しい計算を行うには、数学とニューラルネットワークの知識が必要です」と彼らは説明した。「しかし、プロセス全体は簡単に自動化でき、アプリやウェブサイトで汎用化できるため、専門家以外の人でもこれらの技術を簡単に利用できるようになります。」
彼らは、これが医療における敵対的機械学習の研究を促進し、将来この技術をより安全に使用できるように展開できる潜在的なインフラストラクチャ防御を発見することを期待しています。®
