スマートウォッチは心臓発作の警告に便利だと思っている？実は、AIを騙すのは驚くほど簡単

研究者らはネイチャー・メディシン誌に掲載された論文の中で、心電図を分析するニューラルネットワークは簡単に騙され、正常な心拍数を不規則と誤認したり、その逆を行ったりする可能性があると警告している。

心電図センサーはスマートウォッチなどのウェアラブルデバイスに搭載され、普及が進んでいます。また、機械学習ソフトウェアは、ユーザーの心拍情報を自動的に監視・処理し、その状態を知らせる開発が進んでいます。米国食品医薬品局（FDA）は、2018年だけで23のアルゴリズムを医療用に承認しました。

しかし、この技術は完璧ではありません。他のディープラーニングモデルと同様に、ECGモデルも敵対的攻撃の影響を受けます。悪意のある人物がノイズを操作してデータを誤分類させてしまう可能性があります。

ニューヨーク大学を率いる研究グループは、深層畳み込みニューラルネットワーク（CNN）を改ざんすることで、これを実証しました。まず、彼らは8,528件の心電図記録を含むデータセットを入手しました。これらの記録は、正常、最も一般的な不整脈である心房細動、その他、ノイズの4つのグループに分類されていました。

データセットの大部分、約5,076サンプルは正常と判断され、758サンプルは心房細動、2,415サンプルはその他、279サンプルはノイズと分類されました。研究者らはデータセットを分割し、90%をCNNの学習に、残りの10%をシステムのテストに使用しました。

「ディープラーニングの分類器は敵対的サンプルの影響を受けやすい。敵対的サンプルとは、分類器を騙してサンプルを間違ったクラスに割り当てるために生データから作成されるが、人間の目には検知できないサンプルである」と研究者らは論文で説明している（論文の無料プレプリント版はarXivに掲載されている）。

これらの敵対的サンプルを作成するために、研究者たちはテストセットに使用したサンプルに少量のノイズを加えました。心電図における均一なピークと谷は人間の目には無害で正常なように見えるかもしれませんが、わずかな干渉を加えるだけでCNNはそれを心房細動（動悸や脳卒中のリスク増加に関連する不整脈）と分類してしまうほどでした。

研究者たちが敵対的サンプルをCNNに入力したところ、当初正しく分類されていた読みの74%がその後誤りに変わりました。つまり、モデルは読みの74%を誤ったラベルに割り当てることで誤認したのです。当初は正常な読みだったものが異常に見え、逆もまた同様でした。

機械の支配者は信頼できない

幸いなことに、人間を騙すのははるかに困難です。2人の臨床医に、元の、撹乱されていないサンプルとそれに対応する敵対的サンプルのペアの測定値が与えられ、どちらかが異なるクラスに属しているように見えるかどうかを尋ねました。彼らは、測定値のわずか1.4%が異なるラベル付けされるべきだと考えました。

人間の目には、オリジナルと敵対的サンプルの心拍パターンは似ていたため、正常な心拍が不規則と誤って分類されているかどうかは比較的容易に判別できた。実際、どちらの専門家も、オリジナルの心拍と敵対的サンプルを約62%の確率で判別できた。

「敵対的サンプルを作成する能力は重要な問題であり、将来的には、ペースメーカーや除細動器など心電図の解釈に依存する医療機器の環境ノイズに対する堅牢性、保険請求を変更するためのデータの歪曲、臨床試験への意図的なバイアスの導入などが含まれる」と論文は述べている。

しかし、これらの敵対的攻撃が現実世界でどれほど現実的であるかは不明です。これらの実験では、研究者はモデルに完全にアクセスできたため、攻撃は容易でしたが、例えば誰かのApple Watchに対しては、この種の攻撃を仕掛けるのははるかに困難です。

レジスター誌は研究者らにコメントを求めて連絡を取った。しかし、この研究が証明しているのは、機械だけに頼るのは信頼できない可能性があり、臨床現場でニューラルネットワークが使用される際には専門家が結果を二重に確認する必要があるということだ。

「結論として、この研究によって、心電図分析におけるディープラーニングの有用性に影を落とすつもりはありません。近い将来、処理を必要とする大量の生理学的信号を処理するのにディープラーニングが役立つことは間違いありません」と研究者らは記している。

「この研究は、実環境で展開される機械学習システムは、安全性と信頼性を念頭に置いて設計されるべきであり、特にトレーニングデータのキュレーションとパフォーマンスの証明可能な保証に重点を置くべきであることを改めて認識させるものとなるはずです。」®