これは良い結末にはならないだろう。マイクロソフトのAI専門家が、ニュース記事に偽のコメントを生成できるボットをリリースした。

更新：インターネットがすでに荒らしでいっぱいの複雑な汚水溜めではないかのように、AI エンジニアたちはさらに一歩進んで、ニュース記事に対して偽のコメントを生成できる機械学習モデルを構築しました。

DeepComとして知られる、この驚くべき発明は、北京航空航天大学と中国のマイクロソフトのエンジニアグループによって開発されました。「ニュースコメントの自動生成は実用化には有益ですが、研究コミュニティから十分な注目を集めていません」と、彼らは先月末にarXivで発表された論文で述べています。

読者が記事にコメントを投稿できるようにすることで、読者のエンゲージメントを維持できると彼らは主張した。オープンな対話によって、人々は意見を交わし、新しい情報を共有することができる。コメントは人々の注目度を高め、ページビュー数を増やすため、出版社にとってもメリットがある。

ということは、AIが生成した偽のコメントは良いことしかないということでしょうか？「このようなシステムは、ニュースウェブサイトへのコメントサービスを最初から可能にし、コメントの少ないニュース記事の読書体験を向上させ、チャットボットなどの他の人工知能アプリケーションのスキルリストを充実させることができます」と研究者たちは述べています。

しかし、この技術には明らかに多くの潜在的な欠点があるにもかかわらず、論文では悪意のある用途については一切触れられていない。例えば、抑圧的な政権がこのようなモデルを導入し、大量の偽の戯言を自動的に投稿してプロパガンダを促進する可能性がある。また、コメントはボットと人間の間で有害な議論を巻き起こし、不和や誤情報を広める可能性もある。悪意のある人物がこれを商品の宣伝やスパム投稿に利用する可能性もある。いわば、荒らし行為を目的とした機械と言えるだろう。

一方、この研究は、今年後半に香港で開催される自然言語処理のトップカンファレンスであるEMNLP-IJCNLPに採択されたようだ。

「北京の研究者による論文は、荒らし行為や偽情報の拡散を主な用途とすると思われる新たな機械学習技術を紹介している…素晴らしい、素晴らしい、素晴らしい」とプリンストン大学のコンピューターサイエンス准教授、アルビンド・ナラヤナン氏はツイッターで述べた。

読書と世代のネットワーク

DeepComは、読解ネットワークと生成ネットワークという2つのリカレントニューラルネットワークを採用しています。すべての単語はベクトルとしてエンコードされ、読解ネットワークが分析します。モデルは複数のレイヤーに分割され、記事の見出しから本文へと、記事の様々な部分を処理し、記事のどの部分が特に重要または興味深いかを分析・予測します。

これらの予測は生成ネットワークに渡されます。ここでモデルは記事内の特定のトピックや人物に焦点を当てた返答を作成し、生成したものを言葉にデコードしてコメントを形成します。

DeepComのパフォーマンスは、読者ネットワークが記事から話題にする価値のある情報をどれだけ正確に特定できるか、そしてジェネレーターがどれだけ正確にコメントを作成できるかという2つの要素に依存しています。研究者たちは、オンライン記事に投稿された数百万件もの実際の人間のコメントをスクレイピングした中国語のデータセットと、Yahoo !ニュースから取得した英語のデータセットを用いて、このモデルをトレーニングしました。

研究者たちは、読解ネットワークを訓練するために、訓練データ内のコメントが対応する記事の情報とどの程度重複しているかを計算し、記事のどの部分が重要かを特定しました。例えば、記事が映画評論で、コメントが特定の女優や俳優について議論している場合、読解ネットワークは正しい女優や俳優の名前を選び出す必要があります。この情報が生成ネットワークに渡されると、モデルは該当する女優や俳優に関するコメントを作成します。

DeepComの偽コメントの一例をご紹介します。返信は短く、バスケットボールについて語っています。

DeepComのアイデアは懸念材料ではあるものの、まだ大きな害を及ぼすほど高度なものではないと思われます。生成されるコメントは数十語程度と短く、大きな反応を引き起こすほど複雑ではありません。The Registerは研究者とMicrosoftにコメントを求めています。®

追加更新

頭脳派の研究者たちは論文を修正し、この技術が悪用される可能性もあることを認めている。

「これらの技術の多様な利用は倫理的問題を引き起こす可能性があり、適用を導くためのベストプラクティスが必要となることを認識しています。特に、人々はニュースへのコメントは人間によって行われることを期待していることに留意しています。そのため、個人や組織がこれらの技術を大規模に利用し、政治的な操作や説得を目的として、人間からのコメントを偽装するリスクがあります」と、新たなセクションに記されています。

別の修正案には、「この種のAI研究にはリスクが伴うが、こうした技術の開発と実証は、この技術の価値ある、そして潜在的に問題となる可能性のある応用を理解する上で重要であると我々は考えている」と記されている。

新しい論文は 10 月 1 日付で、こちらからご覧いただけます。

マイクロソフトの広報担当者は、arXivに掲載された9月26日版の論文は「草稿」であり、「最終版は公開中ですが、更新には約24時間かかります。その間、マイクロソフトのページで最終版を公開しました」と述べた。ちなみに、その版は2019年11月の日付となっている。