著名な医師らは、GoogleなどがAI研究について大げさな主張をしながらも、他の人が実験を再現・検証できるようにソースコードやモデルを共有していないとして公に批判している。
1月、Google Brainのスコット・メイヤー・マッキニー率いるチームがNature誌に論文を発表し、同社の人工知能（AI）はマンモグラフィーにおける乳がんの発見において人間の医師よりも優れていると豪語した。この主張は主要メディアで広く報じられた。そして今週Nature誌に掲載された記事の中で、一流の医師たちが、Googleの主張を裏付ける有効な証拠がないと批判している。
「理論上も理論上も、マッキニーらの研究は素晴らしい」と、カナダのプリンセス・マーガレットがんセンターの上級研究員で、この論文の筆頭著者であるベンジャミン・ハイベ＝ケインズ博士は述べた。「しかし、そこから何も学べなければ、科学的価値はほとんど、あるいは全くない」
「コンピューターコードと適合モデルがなければ、彼らの研究を基に研究を進めるのは非常に難しいだろう」とハイベ・ケインズ氏はザ・レジスター紙に語った。
彼らのモデルを再現することは不可能ではないが、たとえ彼らが訓練に使用したすべてのデータにアクセスできたとしても、新たに生成されたモデルが彼らのモデルに近づくという保証はなく、数ヶ月かかるだろう。悪魔は細部に宿るのだ。
コンピュータコードと適合モデルがなければ、彼らの研究に基づいて研究を進めることは非常に困難になるだろう。
例えば、システムのハイパーパラメータやトレーニングパイプラインに関する情報は論文には含まれていませんでした。ハイベ＝ケインズ氏は、研究者は主張の検証とテストを容易にするために、関連するソースコードを公開すべきだと述べました。そうすることは、まさに優れた科学と言えるでしょう。
ハイベ＝ケインズ氏に加え、トロント大学、スタンフォード大学医学部、MIT、ブリガム・アンド・ウィメンズ病院、そして再現可能な科学を推進する団体であるMassive Analysis Quality Control Societyなど、一流機関から22名の専門家が論文に署名した。ハイベ＝ケインズ氏らは、Googleによる「十分な裏付けのない研究の発表は、科学的発見の根底にある中核的な要件を満たしていない」と述べた。
「ディープラーニングモデルをテキストで説明するだけでは、その高度な複雑さが隠されてしまう可能性があります。コンピュータコードのニュアンスがトレーニングや結果の評価に顕著な影響を与え、意図しない結果につながる可能性があります。したがって、モデルのトレーニングと最終的なパラメータセットの決定に使用された実際のコンピュータコードの形での透明性は、研究の再現性にとって不可欠です」と彼らは記しています。
ソースコードをGitHub、GitLab、Bitbucketなどのサイトで公開するなど、公開するのは難しくないと彼らは推奨しています。また、プレプリントサービスarXivに掲載されている論文の関連ソースコードへのリンクもタブで表示されるようになりました。
実際のシステムにモデルをデプロイするのは難しいのは事実ですが、Docker、Code Ocean、Gigantum、Colaboratory など、そのプロセスを容易にするソフトウェアがあります。
「これは初期段階の研究であることを明記することが重要です」と、Googleの広報担当者はThe Register紙に語った。このウェブ界の巨人は、このプロジェクトの医療的な性質上、品質保証プロセスを通過するまでソースコードを公開したくないようだ。「臨床環境で使用する前に、患者、医療提供者、規制当局と協力して、ソフトウェアの有効性と安全性を確保し、徹底的なテストを行う予定です」と広報担当者は述べた。
インターネットの巨人だけではない
ハイベ＝ケインズ氏は、コードの非公開化という問題はGoogleに限ったことではないと述べた。AIの活用に関する、様々なチームが執筆した多くの科学論文には、実験を再現するための材料が不足している。「研究者は、研究の再現性を確保するために時間とリソースを費やすよりも、研究結果を発表することに意欲的になっている」と同氏は述べた。
「ジャーナルはAIの『誇大宣伝』の影響を受けやすく、研究を再現するために必要な資料をすべて含まない論文の受理基準を下げる可能性があります。これはジャーナル自身のガイドラインと矛盾することがよくあります。」
研究において、機械学習ソフトウェアを作成するために使用されたソースコードなどの重要な詳細を明かさないことは、科学の進歩に有害であり、アルゴリズムが臨床現場の現実世界でテストされることを妨げる。
ディープラーニングアルゴリズムを医療スキャンの修正に利用するのはやめよう。「非常に不安定な」技術が誤った診断につながると科学者が警告
続きを読む
マッキーニー研究チームはネイチャー誌に掲載された反論記事の中で、医師らの記事に対して丁寧に反論し、専門家らの「思慮深い貢献」に感謝した。
「透明性と再現性は科学の進歩にとって最も重要であるという点に我々は同意する」と彼らは記している。「この原則に従い、私たちの出版物で使用されている最大のデータソースは学術コミュニティに公開されている。」
しかし、彼らはアルゴリズムのコードを公開しておらず、モデルの構成要素のほとんどは既に公開されており、その多くはGoogle自身によって公開されていると主張している。他にも懸念事項がある。
「医療分野における人工知能をめぐる責任問題は未解決のままであるため、こうした技術への無制限のアクセスを提供すると、患者、医療提供者、そして開発者がリスクにさらされる可能性があります」とGoogle社員は述べた。「さらに、影響力のある医療技術の開発は、将来のイノベーションを支える活気あるエコシステムを促進するために、持続可能な事業であり続けなければなりません。この点については、ハードウェア医療機器や医薬品との類似性を検討することが有益かもしれません。」
医療における人工知能をめぐる責任問題は未解決のままであるため、そのような技術への無制限のアクセスを提供すると、患者、医療提供者、開発者が危険にさらされる可能性がある。
ハイベ＝ケインズ氏はエル・レグ紙に対し、Googleが何度も要請されたにもかかわらずコードを公開しないことに決めたことに驚きはないと述べ、「Googleには最初の研究論文の発表で一度、そして私たちの論文の発表で二度目の機会が与えられました。しかし、彼らはこれらの機会を逃しました。つまり、Googleがコンピューターコードを共有したくないのは明らかです」と語った。
Googleがコードを非公開にしているのは、商業上の理由からかもしれません。コードを非公開にすることで、この広告大手は臨床試験の推進や医療提供者に販売できる製品の開発において優位に立つことができます。
「これ自体は何も問題ないのですが、Googleの外で新たな知識が生み出され、共有されて研究全体が前進するわけではないので、科学そのものとはほとんど関係がありません」とハイベ＝ケイン氏は語った。「信じたくない暗い可能性もあります。Googleは、モデルが安定していない、あるいはモデルの予測を無効化するような隠れたバイアスや交絡因子が存在するかもしれないという懸念から、誰にもコードを精査されたくないのです。」
「その後の分析でこのような限界や誤りが明らかになるのは今回が初めてではない。だからこそ、私たち科学者は常に透明性を保つべきなのだ。」®
