マイクロソフトの中国語チャットボットは画像からインスピレーションを得て詩を書く

マイクロソフトのチャットボット「シャオアイス」は、他のボットよりも多くの機能を備えています。生放送で天気予報を伝えたり、詩集まで執筆したりしています。

Xiaoiceは実に1200万もの詩を書いています。arXivに掲載された論文の中で、マイクロソフト、国立台湾大学、モントリオール大学の研究者たちは、Xiaoiceが書いたすべてのテキストは画像からインスピレーションを得ていると説明しています。

論文の要約によると、「画像が与えられた場合、まず画像から知覚された物体や感情を表すキーワードをいくつか抽出します。次に、これらのキーワードは、人間が書いた詩における関連性に基づいて、関連するキーワードへと拡張されます。最後に、既存の詩で訓練されたリカレントニューラルネットワークを用いて、キーワードから詩を徐々に生成します」とのことです。

画像からテキストを想起させる手法は目新しいものではありません。キャプションコンテストで使われたり、機械翻訳や解釈可能性の検討にも利用されてきました。研究者は、ニューラルネットワークが平易なテキストで説明されれば、より深く理解できるかもしれません。

Xiaoiceの詩生成システムは、複数のニューラルネットワークで構成されています。最初のステップでは、2つの畳み込みニューラルネットワーク（CNN）を用いて画像を分析し、画像を説明する名詞のリストを作成します。一方、もう1つのニューラルネットワークは、感情分析に使用される形容詞を吐き出します。CNNはImageNetで学習されました。

例えば、建物を背景に道路を走る様々な車両の写真を与えると、システムは「街」「通り」といった名詞や、「忙しい」「怖い」といった形容詞を吐き出します。これらの単語はリカレントニューラルネットワーク（RNN）に渡され、詩を構成します。

詩の各文はキーワードを中心に構成されています。RNNには2つのレベルがあり、1つは文中の次の単語を予測することに集中し、もう1つは文全体の構造に焦点を当てています。

RNN は、数千の古典詩と現代詩を収録したデータベースである shigeku.org から収集された、合計 45,729 文、4,547 文字の語彙数を含む 2,027 の現代中国語詩でトレーニングされました。

AIは冷たくて感情がない

こちらはCheers Publishingから出版された本から抜粋した英訳です。隣にあるのは、埃をかぶった堂々とした象で、「世界の悲劇の主人公」と題されています。

「Xiaoice」は結構暗い感じですね。かなり印象的ですが、気候変動についての暗い詩でしょうか？

彼女の他の作品はそれほど明快ではありません。こちらはリビングルームの写真の横に「彼女は世界中の様々な色と結婚した」という作品です。

「このシステムの質は確かに大幅に改善できる。多くの詩は良い響きだが、中には関連性のない文章が混じっていて奇妙に感じるものもある」と、論文の共著者でモントリオール大学の教授、ジアン・ユン・ニー氏はThe Register紙に説明した。

これは使用されている技術に関係しています。概念と文の関連性は人間の詩集から学習され、システムは学習内容に基づいて詩を生成しようとします。これは多くの詩人が実際に行っている創作プロセスとは全く異なります。

「一般的に詩人は、表現したいアイデアや感情があり、それを最もよく表現できる文章や構成を見つけようとします。しかしシャオアイスの場合、表現したい内面的な感情や感情は特にありません。彼女にはいくつかのキーワードやイメージが与えられ、学習したモデルが文章を生成するのです。」

「私の意見では、システムに感情（あるいは感情のモデル）を付与することで、詩は言葉ではなく感情の表現となり、大きな改善が期待できます。しかし、AIシステムが感情や情緒を持てるかどうかは議論の余地があります。」

サウス・チャイナ・モーニング・ポスト紙によると、感情の欠如は一部の人間の詩人を恐怖に陥れたという。

「その曖昧な調子とリズムにうんざりしました。文章は目的もなく表面的で、感情表現の内的論理が欠けていました」と、中国南西部の雲南省を拠点とする詩人、于建氏は語った。

しかし、ニー氏は、たとえ当たり外れがあっても、チャットボットの詩は人々に気にかけられると信じていた。

「詩は非常に特別な領域です。読者は読んだものの意味を理解しなければなりません。ですから、予想外の詩句は、読者にどう解釈すべきか考えさせるかもしれません。それが時に、とても心地よい感情と読書体験につながるのです。人々がシャオビンの詩に惹かれるのは、こうした予想外の要素にあると私は信じています。」®