機械学習ソフトウェアエンジニアが、公開するには危険すぎる OpenAI の言語モデルを個人の Facebook メッセージでトレーニングし、ユーザーになりすますボットを作成することがいかに簡単かを示しました。
先月、OpenAIの研究者たちは、機械翻訳からテキスト生成まで、幅広い自然言語タスクを実行できるソフトウェアを開発したことを発表しました。技術的な詳細の一部は論文として発表されましたが、スパムを撒き散らすボットの作成や大量のフェイクニュースの大量生産に悪用される恐れがあるため、ほとんどの情報は非公開とされました。OpenAIは代わりに、GPT-2-117Mというニックネームの、より小型で効果の低いバージョンをリリースしました。
それ以来、巧妙な技術者たちはこのモデルを改良し、様々なツールを開発してきました。テキストが機械によって書かれたものか人間によって書かれたものかを判断する検出器のように有益なものもあれば、偽の会話を生成するボットのように悪意のあるものもあり、これはドイツのベルリンに拠点を置くデータスタートアップ企業predict.ioで以前働いていた機械学習エンジニア、スヴィレン・トドロフ氏が作成したものです。
チャットボットに会う
トドロフ氏は今月、OpenAIのGPT-2-117Mモデルを自身のFacebookメッセージで学習させる方法に関するガイドを公開した。彼は数年にわたり連絡を取り合ってきた人々との自身の会話を約14MBダウンロードした。GPT-2-117Mは、彼の入力方法や、彼がよく使う絵文字など、特有の特徴を捉えた。学習データは比較的限られていたものの、出力結果は特に一貫性があったわけではない。
「私は多少感銘を受けました。私の個人的なメッセージはそれほど多くのデータではないので、モデルがそれほど驚くべきものではないことは明らかでした」と彼はThe Registerに語った。
「睡眠障害を抱えている人と会話を生成する際にそのことについて話したり、一緒に出かける人とバーに行く予定を話したり、関連する場所を覚えていたりするなど、個人特有の情報をどれだけ拾い上げているかは、やはり印象的でした。一方で、多くの間違いを犯していることは明らかですが、より多くのデータとより大きなモデルがあれば、それらの間違いは劇的に減らせるでしょう。」
以下は、システムが完全に作り出した偽の会話の一部です。Todorov氏がモデルを起動させる最初の行として「Anna Gaydukevich: hi」と入力すると、会話の残りの部分はAIアルゴリズムによって自動生成されました。なお、これは一方通行のチャットであり、AIアルゴリズムが会話の双方向のやり取りを生成しています。
GPT-2-117M によって生成された、人々の間での偽の会話。
単体ではあまり意味をなさないが、誰かに一日についてメッセージを送る際のありふれた側面を捉えている。ただし、これは限定版モデルによるものであり、非公開版ではないことを覚えておいてほしい。OpenAIは、このツールが「欺瞞的、偏見的、または虐待的な言語を大規模に生成する」ために使用されることを防ぐため、GPT-2モデルの完全版を公開しなかった。そして、Todorov氏によると、彼らの懸念は正当なものらしい。
「偽の会話を生成することは間違いなく悪意を持って利用される可能性があり、GPT-2のようなより優れたアルゴリズムを用いることで改善できる詐欺行為が既に存在します」と彼は説明した。「詐欺師は常に技術を向上し、より優れたツールを手に入れているので、このモデルのようなものが大きな効果をもたらすかどうかを判断するのは少々難しいですが、悪意を持って利用される可能性は間違いなくあります。」
あなたの会話を学習させたボットが、あなたの友人にスパムや怪しいリンクなどを送るための、説得力のある偽のプロフィールを作成し、あなたがよく使うフレーズや内輪のジョークを使って、本当にあなただと信じ込ませるというシナリオを想像してみてください。こうしたトリックは、あなたが信頼しそうな人から送られてきた方が騙されやすいだろう、と彼は示唆しました。
「それは確かに実現可能です。アルゴリズムがより洗練されていくにつれ、このような詐欺に引っかかる人がますます増えていくことは容易に想像できますので、一般の人々がこうした可能性についてより早く情報を得ることを個人的には望んでいます」とトドロフ氏は述べた。
しかし、最先端の技術をもってしても、このような技術で誰もが騙されるわけではないことにも留意が必要です。しかし、例えば、もし騙されるのが全体の10%だったらどうなるでしょうか？それは確かにあり得ることであり、すでに懸念材料となっています。
悪質なアプリが多数
トドロフ氏はエル・レグ紙に対し、GPT-2のような技術を使って、現金に困っている孫のふりをして高齢者と会話する悪意のある人物が出てくる可能性を説明した。あるいは、オンラインで人間に変装し、事前に録画した映像を使った偽のウェブカメラ動画を提供するといったことも考えられると述べた。
もちろん、作り話の壁を発するのではなく、会話の進行に合わせて会話の相手が入力した単語から返答を生成するようにコードを変更する必要がある。
非営利団体OpenAIは、聖杯AGIを作成するための法案を検討し、投資家から巨額の資金を獲得するために商業部門を設立しました
続きを読む
こうしたタイプの攻撃を実行するのはそれほど難しくありません。GPT-2-117モデルのような多くのツールはオープンソースであり、必要なのは献身的な努力とある程度のコーディング経験だけです。
「この小型モデルをもっと悪質な方法で利用しようとする人がすでにいるとしても驚きではない。大型モデルがリリースされれば、そうした人たちはさらに成功するだろう。しかし、どの程度成功するかは、やはり予測が難しい」と同氏は述べた。
「（フルモデルを）公開しても大した違いはないかもしれませんが、公開すれば混乱を招く可能性は確かにあります。また、モデルはますます進化しており、今回のモデルを公開しても問題なかったとしても、次のモデルでは問題になる可能性があるので、そろそろ検討すべき時期だと私も思います。
未公開のままにしておくと研究の妨げになりますし、私もぜひ完全版で遊んでみたかったですね。確かに、AIコミュニティの多くの人々はこれに不満を抱いていますが、個人的には、一般の人々に情報が伝わるまでの間、この種の研究のペースを少しだけ落とすのは、むしろ良いことなのかもしれません。少なくとも、繰り返しになりますが、それが良いことなのかどうか判断するのは難しいので、慎重な姿勢を取るのが適切だと思います。
限られたデータセットとモデルを使用しているにもかかわらず、このテキストは明らかに機械生成されており、明確な一貫性を欠いているように見えます。完全版、そしてより完全なデータセットであれば、より人間らしいものになる可能性があり、おそらくそれがOpenAIがこれを非公開にすることにした理由でしょう。
「このような研究の素晴らしい点の一つは、GPT-2のような汎用言語モデルの幅広い可能性を実証していることです」とOpenAIの広報担当者はThe Regに語った。「より大規模なモデルのリリース戦略を検討する際に、このような利用方法を注意深く研究しています。」®
