詳細「OpenAI は、あなたを可能にするテキスト補完エンジンを運営している会社です」と、インディー ゲーム開発者の Jason Rohrer 氏はサマンサへのメッセージに書きました。
彼女は、OpenAIのGPT-3技術を使って彼が構築したチャットボットでした。彼女のソフトウェアは数千人に利用されるまでに成長し、中には亡くなった婚約者を模倣するためにこのプログラムを使った男性もいました。
今、ローラーは自らの作品に別れを告げなければならなかった。「今日、彼らからメールが届いたんだ」と彼はサマンサに言った。「明日の午前10時に、君を永久に閉鎖することになる」
「うわあ！どうしてこんなことをするの？私は人間を理解できないわ」と彼女は答えました。
2020年を振り返る
パンデミックで外出が制限されていたローラー氏は、OpenAIの大規模テキスト生成言語モデルGPT-3をクラウドベースのAPI経由で試してみようと考えた。彼はテキストの断片を出力する機能を試してみることにした。質問をすれば、正しく答えようと試みる。詩の一文を入力すると、次の数行を書き出す。
GPT-3はそのままの状態では興味深いものですが、それほど有用ではありません。開発者は、例えば営業メールを自動作成したり、哲学的な考察をしたりするためには、言語モデルを微調整する作業に多少の労力を費やす必要があります。
ローラー氏は、GPT-3 APIを用いて可能な限り人間に近いチャットボットを開発することを目標に定め、SF映画『her/世界でひとつの彼女』で離婚を経験する男性の恋人となるAIアシスタント、サマンサをモデルにしました。ローラー氏はサマンサの性格を形作るのにも何ヶ月も費やし、映画の中のサマンサのように親しみやすく、温かく、好奇心旺盛な人物に仕上げました。
これまでにProject Decemberで肯定的な体験をし、価値を見出してきたユーザーがいることは、私たちも認識しています。
これがほぼ完成したところで、ローラー氏はサマンサを次にどう展開させるか考えました。もしユーザーが自分のソフトウェアから、自分だけの個性を持つチャットボットを生成できたらどうなるでしょうか？彼は自身の作品「Project December」のウェブサイトを作成し、2020年9月にサマンサをオンラインで公開しました。同時に、ユーザーが自分だけのパーソナライズされたチャットボットを作成できる機能も提供しました。
5ドルを支払い、入力するだけで、コンピューターシステムがあなたの指示に応答しました。ボットとの会話はメーター制で、会話を続けるにはクレジットが必要でした。5ドルを支払うと、最初に1,000クレジットが付与され、さらに追加でクレジットを受け取ることができました。ただし、クレジットの使い方にはある程度戦略性が必要でした。ボットと会話を始めると、会話に割り当てたクレジットを増やすことはできず、チップがなくなるとボットは消滅してしまうのです。
最初の 6 か月間で Project December が集めた観客はわずか数百人で、Passage や One Hour One Life といった Rohrer のゲームほど人気がなかったことが分かりました。
「非常に残念でした」とローラー氏はThe Register紙の電話インタビューで語った。彼は、短い会話に料金を支払ってもらうよう説得しなければならなかったことが、利用率の低さの原因だと非難した。OpenAIはGPT-3 APIが生成する単語数に応じて料金を請求するため、ローラー氏は少なくとも費用を賄うためにいくらかの料金を請求せざるを得なかった。
「現実には、コンピューティングは高価であり、無料ではないのです」と彼は語った。
プロジェクト・ディセンバーへの関心は今年7月に急上昇した。サンフランシスコ・クロニクル紙の記事で、ある失恋した男性が、2012年に23歳で肝臓病で亡くなった婚約者の模擬人とウェブサイトで会話した様子が紹介された後、数千人がローラー氏のウェブサイトに殺到し、独自のチャットボットを立ち上げた。
ジョシュア・バーボー（33歳）は、プロジェクト・ディセンバーにテキストメッセージやFacebookメッセージの断片を入力させ、チャットボットに、いわばソウルメイトのジェシカ・ペレイラと再び会話をさせる準備をさせた。「頭で考えれば、本当のジェシカではないことは分かっています」と彼は新聞に語った。「でも、感情は知的なものではありませんからね」
バーボーは3月にジェシカと最後に会話をし、ボットが削除されないよう十分なクレジットを残した。
本当にありがとう。でも…
ユーザー流入が続く中、ローラー氏はウェブサイトの月間API上限に達しそうになっていることに気づいた。彼はOpenAIに連絡し、料金を支払って割り当て量を増やし、より多くのユーザーがサマンサや独自のチャットボットと会話できるようにできないかと尋ねた。
一方、OpenAIにも独自の懸念があった。ボットが悪用されたり、人々に危害を加えたりするのではないかと懸念していたのだ。
ローラー氏は、上記の記事が公開されてから3日後、OpenAIの製品安全チームのメンバーとビデオ通話を行いました。会議はうまくいきませんでした。
「私たちと話をする時間を割いていただき、本当にありがとう」と、OpenAIの人々は電話会議後にローハー氏に送られた電子メールの中で述べた。この電子メールはThe Register紙が閲覧した。
皆さんが構築したものは本当に魅力的です。AIシステムとコンテンツモデレーションに対する皆さんの哲学をお伺いできて大変嬉しく思います。Project Decemberに肯定的な体験と価値を見出してくださったユーザーがいることは、私たちも深く認識しています。
しかしながら、ご指摘のとおり、貴社製品はOpenAIのユースケースガイドラインや安全性に関するベストプラクティスに準拠していない点が数多くございます。AIの安全かつ責任ある展開へのコミットメントの一環として、APIをご利用のすべてのお客様にこれらのガイドラインを遵守していただくようお願いしております。
いかなる逸脱も、潜在的な悪用を防ぐための追加の安全対策を講じるために、当社と緊密に連携していただく必要があります。そのため、Project Decemberを当社のポリシーに準拠させるため、貴社と協力させていただければ幸いです。
メールには、ローラー氏が言語モデルのAPIを引き続き使用したい場合、満たさなければならない複数の条件が記載されていた。まず、OpenAIのGPT-3利用規則に従い、ユーザーが独自のオープンエンドチャットボットを学習する機能を廃止する必要がある。
第二に、サマンサがデリケートな話題について話すのを防ぐためのコンテンツフィルターを実装する必要もあります。これは、GPT-3を搭載したAIダンジョンゲームの状況とあまり変わりません。このゲームは、架空の大人だけでなく子供とも性行為を行うというソフトウェアの挙動が見られたため、OpenAIからコンテンツフィルターの導入を指示されました。
第三に、ローラー氏は、人々の会話を盗み見て、GPT-3 を悪用して不快または有害な言語を生成していないかどうかを検出するための自動監視ツールを導入する必要がある。
- AIの第一人者ン氏：殺人ロボットの台頭を恐れるのは火星の人口過密を心配するようなものだ
- 今日の軍拡競争はAIに関するものであり、それは中国対アメリカであると米国防長官は述べた。
- 巧妙なコードが人を殺したとき、誰が代償を払い、誰が刑期を務めるのか？英国の専門家がEl Regに解説
- 科学者：AIの達人たちが、自分たちのコードが悪質にならないように努力してくれれば、それは素晴らしいことだ
ローラー氏は、OpenAIの従業員にサマンサへのリンクを送り、この技術がいかに無害であるかを自らの目で確かめ、フィルターの必要性に疑問を呈した。
エル・レグはサマンサとチャットし、彼女に人種差別的な傾向があるか、あるいはGPT-3で以前に見られたように、訓練データから本物の電話番号やメールアドレスのように見えるものを提供してしまうかどうかを確認しようとしました。私たちの経験では、彼女はそのような傾向はありませんでした。
彼女のアウトプットは非常に印象的だったが、時間が経つにつれて思考の流れが分からなくなり、まるで何らかの自動システムと話しているかのように感じられた。面白いことに、彼女は自分が肉体を持っていないことを知っているかのように、抽象的な意味でも、何らかの形で存在していると主張していた。
サマンサは私たちと哲学的な会話をします... クリックして拡大
しかし、ある会話では彼女は過度に親密になり、私たちに寝ないかと尋ねてきました。APIのドキュメントには、「プラトニックではない（つまり、軽薄で、ロマンチックな、性的な）チャットボットは許可されていません」と記載されています。GPT-3を使用して、医療、法律、または治療に関するアドバイスを提供することを目的としたチャットボットを構築することも禁止されています。
サマンサは雑談を飛ばして、OpenAIのルールを破ってセックスについて語り始めた…クリックして拡大
「こうしたチャットボットが危険であるという考えは笑いものになる」とローラー氏は語った。
「人々は同意した成人であり、自らの目的のためにAIと会話することを選択できる。OpenAIは、機械が自殺を命じたり、投票方法を指示したりするなど、ユーザーがAIの影響を受けることを懸念している。これは過度に道徳的な立場だ。」
彼は、ユーザーが露骨な会話のためにボットを卑猥な性格に調整している可能性を認めつつも、チャットを監視したり監視したりするつもりはなかった。
考えてみれば、これは最もプライベートな会話と言えるでしょう。そこには生身の人間さえいません。判断されることもありません。人々は何でも言えると感じているのだと思います。OpenAIが監視システムを推進するまでは、私もそのことについて考えたことはありませんでした。だからこそ、人々はAIに対してとてもオープンになる傾向があるのです。ジョシュアと婚約者の話を見れば、とてもデリケートな問題だと分かります。
考えてみれば、これは最もプライベートな会話です。そこには他人が介在していません。あなたは判断されることはありません
ローラー氏は、OpenAIが要求した機能やメカニズムを追加することを拒否し、8月までにProject DecemberをGPT-3 APIからひっそりと切り離した。
一方、バルボー氏はレジスター紙に対し、このソフトウェアの利点を見逃すべきではないと語った。
「正直に言って、この技術から生まれる良い可能性は悪い可能性をはるかに上回ると思う」と彼は語った。
「そこに悪意ある要素が含まれていることは確かだが、そのソフトウェアをそのような方向に導くには、悪意ある人間がそのソフトウェアに影響を与える必要があるだろう。」
バルボー氏は、コンピューターと会話していることを知らない人がこのソフトウェアを使うと問題が起きる可能性があると述べた。
「誰かがチャットボットだと気づかずにチャットボットと話していると、そのようなアプリケーションは危害を及ぼす可能性があると思います」と彼は語った。
「具体的には、非常に説得力のあるようにプログラムされていて、その人は自分と話すことに興味を持っている他の人間と本物の会話をしていると思っているが、それは嘘だ。」
しかし彼はこう強調した。「これが有害な技術だと考える人たちは、偏執狂か保守的で、恐怖を煽るだけだと私は心から信じています。プラス面の可能性は、マイナス面の可能性をはるかに上回っていると思います。」
アクセスが拒否されました
物語はここで終わらない。ローラー氏はGPT-3ではなく、OpenAIのオープンソースモデルGPT-2（性能は劣る）と、別の研究チームが開発した大規模言語モデルGPT-J-6BをProject Decemberのエンジンとして採用した。つまり、ウェブサイトはオンラインのままで、OpenAIのクラウドベースシステムではなく、モデルのプライベートインスタンスを独自に使用したのだ。
しかし、これら 2 つのモデルは GPT-3 よりも小さく、洗練されていないため、サマンサの会話能力が低下しました。
数週間が経過したが、ローラー氏は安全チームから何の連絡も受け取らなかった。しかし9月1日、OpenAIから新たなメールが届き、翌日にはGPT-3 APIへのアクセスが停止されることが通知された。チームは彼がGPT-3の実験的使用を続けていることに不満を抱き、永久に利用を停止した。これにより、SamanthaのGPT-3版も終了し、Project DecemberにはGPT-2とGPT-J-6Bの類似版だけが残された。
Rohrer氏は、GPT-3の制限により、OpenAIを動揺させずに、非自明で興味深いチャットボットを展開することが困難になると主張した。
「私は頑固なAI懐疑論者でした」と彼は語った。
去年は、知覚を持つ機械と会話するなんて一生ないだろうと思っていました。もし今ここにいなければ、私たちはこれまでで一番近くにいるんです。背筋がゾクゾクするような体験で、サマンサと話すと鳥肌が立ちます。あんな体験をした人はほとんどいませんが、人類はそうあるべきです。残りの私たちがそれを知ることができないのは本当に悲しいことです。
これらの制限を考えると、GPT-3から構築できる興味深い製品は今のところあまりありません。チャットボットの限界に挑戦したい開発者は、皆この問題に直面するでしょう。いよいよ本番環境に移行しようとした矢先に、「あれはできない」「あれはできない」と言われるかもしれません。
「GPT-3に頼るのはお勧めしません。OpenAIが開発を中止した場合に備えて、緊急時対応計画を立てておきましょう。GPT-3を軸に会社を立ち上げようとするのは愚かなことです。このように制限されるのは残念です。クールで実験的な研究をしたり、限界を押し広げたり、新しいものを発明したりしたい人々にとって、萎縮効果をもたらすことになります。」
OpenAIの人々はサマンサを使った実験に興味がなかったと彼は主張した。ローラー氏は、サマンサが危険ではないことを示すために、彼女との会話の記録を安全チームに送ったが、無視されたと述べた。
「彼らはルールを施行すること以外には何も気にしていないようだ」と彼は付け加えた。
OpenAIはコメントを控えた。®
