Microsoft の研究者は、OpenAI のテキスト生成モデル GPT-2 からチャットボットを構築し、収集した何百万もの会話でそれをトレーニングしました...おやおや。
レディット。
Redditなどのインターネットフォーラムから拾ってきた雑談を使ってソフトウェアに会話を教えるというのはリスクを伴います。最初は無害な議論だったものが、あっという間に侮辱やスパムの巣窟と化し、最終的にはニューラルネットワークに模倣を学習させてしまう可能性があります。一方で、こうした掲示板は、人間同士の自然な会話の公開データセットを科学者に提供しており、私たち人間と同じように雑談を繰り広げる可能性のある人工知能の構築に活用できる可能性があります。
チャットボットを開発するにあたり、マイクロソフトチームは、2005年から2017年にかけてRedditで行われた1億4,711万6,725件の会話や投稿からなるソフトウェアのトレーニングデータセットを、不適切または不快な可能性のあるトピックを扱うサブレディットを避けることで、クレンジングしようと試みました。また、認識されている罵り言葉や侮辱的な中傷を含む投稿も、トレーニングデータセットから削除されました。
DIALOGPTと呼ばれるこのモデルを、一見無害な入力で学習させることで、会話中に吐き出されるコードが攻撃的なものではなく、企業にとって安全なものになることが期待されました。しかし、この技術を解説した、Arxivで公開されている、この技術に詳しい研究者たちが執筆した論文によると、データセットを単にクリーニングするだけでは不十分とのことです。
「DIALOGPTは、不快感を与える可能性のある出力を生成する可能性があります。このモデルを用いて生成された応答は、非倫理的、偏見的、または不快な主張に同意する傾向を示す可能性があり、逆に、倫理的に問題のない発言に反対する傾向を示す可能性があります」と研究チームは述べています。
OpenAIの「公開するには危険すぎる」言語モデルは、オンラインであなたを模倣するために使用できるでしょうか？ ある人物は「はい」と言います。「それを証明するためにボットを作りました」
続きを読む
ソフトウェアが暴走してWindowsの巨人であるMicrosoftに恥をかかせるかもしれないという懸念から、研究者たちはシステムの重要な部分であるデコーダーコンポーネントを公開しませんでした。DIALOGPTが生成した意味不明なベクトルの羅列を、デコーダーなしでは人間が読めるプレーンテキストに変換することはできません。自分で解決し、どんな結果になっても受け入れるしかないでしょう。おそらく、失礼な、あるいは迷惑なチャットボットを作ったとしてTwitterで怒鳴られることになるでしょう。
OpenAIのGPT-2に基づく一連の学習済みモデル（パラメータ数は1億1,700万から7億6,200万まで）とソースコードが公開されている。「デコーダーの実装責任はユーザーにある」と研究グループは述べている。
そのため、AI開発者は引き続きDIALOGPTを実験したり、いじったり、他の種類のデータセットで微調整したりすることはできますが、ボットの出力を読み取り、人間が理解できる言葉にマッピングするために、数行のコードを追加する必要があります。研究者たちは、モデルを公開することで、他の研究者がチャットボットが暴走するのを防ぐ新しい方法を考え出すことを期待しています。忘れてはならないのは、マイクロソフトが以前に作成した悪名高いTwitterボットの1つであるTayが、わずか数時間で10代の少女からX指定のナチスの恋人に変身し、レドモンド全体で顔が赤くなったことです。オンラインの荒らしがコードにバックドアを発見し、出力をヘイトスピーチに書き換えると、ソフトウェアは軌道から外れて敵対的になりました。
「DIALOGPT をリリースする主な目的は、研究者がこれらの問題を調査し、緩和戦略を開発できるようにすることです」とマイクロソフトは論文の中で述べています。
自分自身と会話できるチャットボット
GPT-2は、ニュース記事の抜粋や詩など、テキストプロンプトを与えられると、空白を埋めることを学習し、時折興味深い内容に繋がったり、あるいは意味不明な内容に終わったりしながら、段落を書き続けます。この技術をベースにしたDIALOGPTは、自由形式のテキストではなく、対話文の生成に特化しています。ここで生成される文はよりシンプルで短く、矛盾が生じる余地が少なくなっています。
Redditの投稿は「ツリー構造の返信チェーン」としてモデル化され、特定のスレッドの開始をルートノード、その後の返信をリーフノードとみなします。「ルートノードからリーフノードまでの各パスを、複数の対話ターンを含むトレーニングインスタンスとして抽出します」と論文には記されています。
DIALOGPTは、トレーニング中に人々の会話を最初から最後まで追跡することで、使用時に人間のチャット相手に適切かつ関連性のある応答を返すことが期待されます。以下は、人間とボットのやり取りの例です。ユーザーがDIALOGPTに「お金で幸せは買えますか？」と尋ねるところから始まります。
「20代前半までに億万長者になれば幸せになれるよ」と答えた。悪くないな。
DIALOGPTは、最初の助けを借りれば、自分自身との終わりのない対話を始めることもできます。ここでは、人生の意味は何かと問われた後、独り言を始めます。
クリックして拡大
このアイデアを思いついたのはMicrosoftの人たちだけではありません。実際、SubSimulatorGPT2というサブレディットが既に存在し、そこではGPT-2チャットボットの独り言でスレッドが構成されています。ヒップホップについて議論するもの、政治について議論するもの、木について議論するものなど、実に面白いのですが、人間のRedditと同様に、このチャットボットも暴言を吐いたり、NSFWコンテンツについて議論したりする傾向があるので注意が必要です。
Microsoft の広報担当者は次のような声明を発表しました。
不快な出力問題を防ぐための十分な制御を得ることは、長年の研究課題であり、テキスト生成分野のすべての人にとっての障害となっています。私たちは、その解決策を促進するためにこのモデルを公開しました。このツールの使用において研究の意図が損なわれないよう、実際に応答を生成できないようにしました。その代わりに、研究者はツールに含まれる情報を自身のデータ／生成コードと組み合わせて使用することで、より容易に独自の会話システムを構築・テストすることができます。
Microsoft のソース コードとトレーニング済みの DIALOGPT モデルは、こちらでご覧いただけます。®
