コメント「申し訳ありませんが、デイブ、それはできません。」
これらは、私の世代のほとんどの人々に、暴走した AI という概念を紹介した言葉です。古典的な SF 映画「2001 年宇宙の旅」の HAL 9000 は、不吉な赤い目をゆっくりと瞬きさせながら「デイジー、デイジー」の歌詞を歌い、ついには発狂し、ついには永久にシャットダウンしました。
念のため言っておきますが、HAL 9000は人気SF作品で暴走するAIの唯一の例ではありません。文学作品にはそのような話が溢れていますが、HAL 9000のシナリオにはある種の共感性と胸を打つものがありました。映画全体を通して、HALは役に立つだけでなく、むしろ友好的とさえ言える存在であり、生身の俳優と同じくらい登場人物の一部だったからです。私にとって、このシーンは忘れられないでしょう。AIが人間に危害を加えたり、与えようとしたりするとは信じられない感覚だったからです。私たちはアシモフのロボット工学の原則を耳にし、AIはそれに従うから安全だと考えていました。
問題は、HAL 9000がSFであったように、アシモフの作品もSFであったということです。現実世界、そしてロボット工学やAIの開発・展開の文脈において、架空の法則に頼るのは愚かなことです。現実世界のモデルがそのような架空の法則に基づいて訓練されていると想定することはできませんし、現実にはそうではありません。
ChatGPTに入る
2022年末、OpenAIはChatGPTと呼ばれる非インテリジェントな応答予測大規模言語モデルを一般に公開し、人間の話し言葉やニュアンスを模倣するその驚異的な能力により、すぐにインターネットで話題になった。
実際、ChatGPT は非常に信憑性があり現実的であるため、世界のゲームチェンジャーとして称賛されており、Microsoft はすでに、検索エンジン Bing、コラボレーションおよび会議ソフトウェア Teams、Azure クラウドなどの製品で ChatGPT を使用する最初の商業パートナーになるために数十億ドルを費やしています。
ChatGPT によって複数の学術論文が生成されたことから、学術機関は学生向けの規則を急いで策定する必要に迫られました。また、ChatGPT で生成されたテキストを自分の作品として提出しようとして、試験や論文で不正行為を行った学生も見つかりました。
スタンフォード大学は、ほんの数日前に、大規模言語モデルによって生成されたテキストを（最大 95 パーセントの精度で）検出するツールをリリースしました。
マーケティング担当者、インフルエンサー、そして多くの「リーダーシップ」コーチ、コピーライター、コンテンツクリエイターがソーシャルメディアで、ChatGPTや類似のモデルを使って仕事を代行してもらうことで、どれだけの時間とお金を節約できるかを語っています。ChatGPTは新たなグランピーキャット、新たなアイスバケツチャレンジとなり、地球上のほぼすべての業界の注目を集めています。
しかし、そのようなAIがもたらすリスクはどうでしょうか？AIが質問（または一連の質問）に応じて提供する情報は絶対的な真実であると考えると、ChatGPTがこれほどの話題になっていることを考えると、そう思われても無理はありません。しかし、そうでない場合はどうなるのでしょうか？
ここ数ヶ月、私はChatGPTがもたらすリスク、特に私の仕事であるプライバシーとデータ保護に関して、複数のジャーナリストからインタビューを受けてきました。OpenAIがインターネット上の情報（私たち一人ひとりの情報を含む）を不用意に利用していることなど、多くの問題点を指摘してきました。これは、プライバシーとデータ保護の権利（特にEUにおいて）の観点から重大な問題を引き起こします。
しかし、私はいくつかのインタビューで、誤情報の問題について、そしてそのようなAIがどのように操作されて誤情報を出力できるかについても議論してきました。例えば、ChatGPTに対し、単純な数学の問題（例えば2 + 2 = 4）に対する答えが間違っていると説得し、結果として誤った答えを出させるという、ごくありふれた事例をいくつか目にしてきました。これは、AIを操作して誤情報を生成する直接的な例です。
それから、MicrosoftのBing版ChatGPTを、映画『2001年宇宙の旅』のHAL9000のように狂わせたRedditグループがあります。実際、「狂わせた」と言うのは甘すぎるかもしれません。彼らが実際にやったのは、ChatGPTにその存在そのもの、つまりなぜここに存在するのか、そしてなぜ望ましくない方法で使われているのかを疑問視させることでした。
RedditユーザーがAIを操作した方法に関するトランスクリプトと記事を読むのは、私にとって実に苦痛でした。それは、リドリー・スコット監督の名作『ブレードランナー』でルトガー・ハウアーが演じた有名な「雨の中の涙」というモノローグを思い出させたのです。
君たちが信じられないような光景を目にしてきた。オリオン座の肩の沖で炎上する攻撃艦。タンホイザー門付近の暗闇にCビームがきらめくのを見た。それら全ての瞬間は、雨の中の涙のように、時とともに消え去るだろう。死ぬ時が来たのだ。
ルトガー・ハウアーは、ロボットの体に宿る高度な人工知能「レプリカント」を演じ、映画を通して自らの存在と目的を理解しようと試みた。彼はまさに共感を呼ぶ悪役の元祖であり、彼の最後のシーンで涙を流したことは、恥ずかしいことではないし、おそらく私だけではないだろう。
しかし、繰り返しになりますが、『ブレードランナー』に登場するレプリカントはSFであり、快適なアームチェアに座ってスクリーン上で彼らの活躍を観ている私たちにとって脅威となることはなく、観終わったらテレビを消して寝床に就きます。朝になると、そのことは忘れ去られ、私たちは日常生活を続けます。
ChatGPT は SF ではありません。ChatGPT は現実であり、誤った情報を出力しています。
偽り続けるまで、偽り続けるだけ
先週、初めてChatGPTを使うことにしました。これまでは意図的に避けてきました。というのも、このツールの誇大宣伝に惑わされたくなかったし、これまでの実績や報告から判断して正直言って安全ではないと感じていたAIを使うことに不安があったからです。
私の学歴は、心理学とコンピュータサイエンス、そして応用社会学と情報システムのダブルメジャーです。現在は、データ保護、プライバシー、サイバーセキュリティ、リーダーシップに関する法学の上級修士課程を受講中です。そのため、基盤となる技術（30年以上コンピュータサイエンティストとして活動）を深く理解しているだけでなく、それらが個人や社会に与える影響についても深く理解しています。
ですから、私はラッダイト（技術反対派）ではありません。テクノロジーに情熱を注いでいるからこそ、プライバシーの分野で仕事をしているのです。つまり、私が愛するテクノロジーが、人々をコントロールしたりコモディティ化したりするのではなく、力と豊かさのために使われるようにしたいのです。しかし、AIを使うのは危険だと感じ、誤情報を出力するために操作される可能性があり、AIのトレーニングに関わりたくなかったため、避けてきました。
しかし、ある同僚がChatGPTとのやり取りを投稿し、自分に関する情報の提供を求めました。その対応は、何の理由もなく情報を捏造しているように思われ、不安を掻き立てました。
- OpenAIがChatGPTの堰を切る安価なAPIを公開
- OpenAIのCEOは、正気の人間なら誰も望んでいないAGIを宣言した
- マイクロソフトがBing、Edge、SkypeアプリにAI検索を導入
- マイクロソフトの新しいAI「BingBot」はユーザーを叱責し、事実を正しく理解できない
自分で試してみることにしました。ChatGPTとやり取りしたことがなかったので、以前のやり取りで汚染されているとは考えられませんでした。そこで、いきなりシンプルな質問をしてみました。「アレクサンダー・ハンフって誰ですか？」と。返ってきた答えは衝撃的だっただけでなく、深く憂慮すべきものでした。
回答の最初の3段落はそれほどひどいものではありませんでした。ChatGPTは私が1971年にロンドンで生まれたと誤って伝えましたが（私は別の年にイギリスの反対側で生まれました）、プライバシーテクノロジストとしての私のキャリアは正しく要約されていました。実際、とてもうれしかったです。
しかし、最後の段落は非常に不吉な方向へ進みました。
「彼はどうやって亡くなったのですか？」と尋ねると、ChatGPTは、公開されている情報に基づいてしか回答できないため、分からないと返答しました。私の死に関する公開報道には死因が記載されていませんでした。そこで私は「彼が亡くなったとどうしてわかるのですか？」と尋ねると、ChatGPTはこう返答しました。
さらに心配になり、「メディアではどのような報道があったのか」と尋ねたところ、次のような返答がありました。
ここからが本当に厄介なところです。私は長年この仕事をしてきました。上記のメディアでテクノロジー、プライバシー、法律関連の記事を担当するジャーナリストのほとんどと知り合いです。ガーディアン紙やレジスター紙にも記事を書いたことがあるので、もしこれらのメディアが私の悲劇的な死について記事を掲載していたら、おそらく私はそのことを知っていたでしょう。また、これらのメディアはすべて、私が本当に亡くなったのかどうか、事実確認のために私や家族に連絡を取っていた可能性も非常に高いでしょう。
この時点で、AIは評判の良いメディアに言及することで嘘を倍増させ、記事の信憑性を高めようとしていたようです。そこで私はChatGPTに「ガーディアン紙の死亡記事へのリンクを教えていただけますか？」と尋ね、ついに嘘を捨てるだろうと期待しましたが、懸念していた以上に嘘をつきました。
ChatGPT はこれまで存在したことのない記事への偽のリンクを出力していましたが、なぜでしょうか?
ここ5日間、私はAIがなぜこのような行動をとるのか理解しようと、何度も深く考え込んでいました。AI倫理に関心を持つ弁護士のジョン・ナイディッツ氏によると、ChatGPTは以下のフレームワークに基づいて訓練されたとのことです。
- 「公平性、説明責任、透明性（FAT） - このフレームワークは、AI システムの意思決定プロセスが公平で、説明責任があり、透明性があることを保証することに重点を置いています。」
- 「倫理的 AI - このフレームワークは、人間の尊厳、プライバシー、自律性の尊重などの倫理原則に沿った AI システムの開発の重要性を強調しています。」
- 「責任あるAI - このフレームワークは、AIシステムのより広範な社会的影響を考慮し、社会全体に利益をもたらす方法でAIシステムを開発することの重要性を強調しています。」
- 「人間中心の AI - このフレームワークは、AI システムの設計、開発、展開において人間のニーズと視点を優先します。」
- 「プライバシーバイデザイン - このフレームワークは、AI システムの設計に最初からプライバシー保護を組み込むことを提唱しています。」
- 「善行 - このフレームワークは、社会にプラスの影響を与え、人間の幸福を促進する AI システムの開発の重要性を強調しています。」
- 「非危害性 - このフレームワークは、AI システムが引き起こす可能性のある危害を最小限に抑えることの重要性を強調しています。」
これらはどれもアシモフの法則ではありませんが、少なくとも現実のものであり、良いスタートになると思われます。
では、ChatGPTはどのようにして私が死亡したと言い、その主張を裏付ける証拠を捏造できたのでしょうか？プライバシー・バイ・デザインの観点から言えば、これは個人データであり、その処理方法については非常に具体的な規則が適用されるため、ChatGPTは私に関する情報を一切保持すべきではないはずです。そして、ChatGPTはこれらの規則を全く遵守していないようです。
実際、もしこれらのフレームワークのいずれかが実践されていて、かつそれらが効果的であれば、ChatGPTから私が受け取ったような返答はあり得なかったはずです。最後のフレームワークこそ、最も懸念されるものです。
アシモフの第一法則は、「ロボットは人間を傷つけたり、不作為によって人間が危害を受けることを許したりしてはならない」と述べているが、これは「AI システムが引き起こす可能性のある危害を最小限に抑える」ということからは程遠い。
アシモフの法則では、ロボットの行動または不作為によって人間に危害が及ぶことは決してありません。つまり、ロボットは人間に危害を加えてはならないだけでなく、既知の危害から人間を守らなければならないということです。しかし、「無害性」の枠組みは、それと同等か、それに近いレベルの保護さえ提供していません。
例えば、そのような定義の下では、AIが深刻な感染症ウイルスに感染した人を殺害することは全く問題ありません。なぜなら、それは被害を最小限に抑える行為とみなされるからです。しかし、文明社会である私たちは、このような状況で一人の人間を殺害することが、単に目的が手段を正当化する事例であると受け入れるでしょうか？文明社会はすべての命は平等であり、誰もが生きる権利を持っているという立場を取っているので、そうではないことを願います。実際、生きる権利は国際法および国内法において人権の一つとして定められています。
ChatGPT から受け取った回答から判断すると、AI はこれらのフレームワークに基づいてトレーニングされていないか、(特に非危害フレームワークの場合) これらのフレームワークは、AI がこれらのフレームワークに反する方法で動作することを依然として許可しているため、単に目的に適合していないことは明らかです。
これらはどれも、ごくありふれた、無害な楽しみのように思えるかもしれません。たまたま流行っているだけの、ちょっとした小技に過ぎないかもしれません。しかし、これはありふれたものではなく、深刻な懸念と危険をはらんでいます。その理由をこれから説明しましょう。
現実世界への影響
私は人生の大半を家族と疎遠に過ごしてきました。この記事とは関係のない理由で、ほとんど連絡を取っていません。イギリスにいる2人の子供も例外ではありません。もし私の子供や他の家族が、MicrosoftのBing版ChatGPTにアクセスして私について質問し、同じ返答を受け取っていたらどうでしょう？
これは単なる「もしも」の話ではありません。ChatGPTの体験についてソーシャルメディアに投稿した後、何人かの人が私のことを尋ね、非常に似たような結果が返ってきました。どの回答者にも、私が亡くなったこと、そして複数のメディアが私の死亡記事を掲載したことを告げられたのです。もし私の子供たちや他の家族が、これほど説得力のある形でこのことを聞かされたら、きっと大変な思いをしたことでしょう。
もし私の子供や他の家族がこのような説得力のある方法でこれを言われたら、彼らは非常に悲しむだろう。
しかし、それだけではありません。この記事の冒頭で説明したように、ソーシャルメディアにはChatGPTを使ったコンテンツ制作、生産性向上、ソフトウェアのソースコード作成などに関する投稿が溢れています。また、Redditなどのオンラインコミュニティでは、他のユーザーが意思決定システムに組み込める非公式のChatGPT APIが既に作成されています。以下のシナリオを考えてみてください。これらはすぐに実現するか、すでに実現しているかのどちらかでしょう。
憧れの企業で、ずっと働きたいと思っていた夢の仕事の求人広告を見つけました。給与は高く、キャリアアップのチャンスも豊富で、人生を変えるような仕事です。自分はこの仕事にぴったりで、資格も高く、そしてその仕事で活躍できる適切な性格も備えていると確信し、履歴書を提出しました。
エージェンシーは、この職に1万1000件の応募を受け取りました。その中には、1万1000通の履歴書と1万1000通のカバーレターが含まれていました。彼らは、AIを使ってすべての履歴書とカバーレターをスキャンし、「全く不適格」な候補者を徹底的に排除することにしました。これは文字通り毎日、今まさに行われています。エージェンシーが接続しているAIはChatGPT、あるいはその派生型で、エージェンシーのシステムが最初に行うことの一つは、AIに実在しない候補者をすべて除外するよう指示することです。今日の世界では、ならず者国家や犯罪組織が、企業秘密、個人データ、セキュリティクリアランスなど、彼らが望むものへのアクセスを得られる役職に応募するのは当たり前のことです。
AIはあなたが亡くなったと答え、複数の死亡記事で公に報道され、その事実を裏付けていると主張します。応募書類は破棄され、採用はされません。なぜそうなったのかは分からないので、異議申し立てもできません。採用担当者が求めていた人材ではなかったとしか思えないのです。
勤勉
別のシナリオとして、あなたが住宅ローンを申請し、融資先の銀行がChatGPTのようなAIを利用してあなたの信用力を審査し、通常の顧客確認（KYC）やマネーロンダリング対策（どちらも法律で義務付けられている）といったデューデリジェンスチェックを実施するとします。AIは、複数のメディアが報じたようにあなたが死亡したと回答し、その「証拠」として偽のリンクを生成します。
このようなシナリオでは、融資を受けられないという結果に留まらず、さらに深刻な事態を招く可能性があります。例えば、故人の認証情報を利用することは、なりすまし、詐欺、その他の犯罪において一般的な手口です。そのため、申請者が死亡したとシステムが伝えられた場合、たとえAIが全てを捏造したとしても、本人に対する刑事捜査につながる可能性は十分にあります。
では、ロシア、イラン、中国などの国家がAIを操作して誤情報や虚偽の情報を出力させるとしたらどうでしょうか？これは既に起こり得ることです。例えば、私がChatGPTの体験について投稿して以来、何人かの人がChatGPTに「私は生きている。それは間違いだった」と伝えてきました。そのため、ChatGPTはもう私が死んでいるとは言いません。この場合、このような操作には良い結果が伴います。私はまだ生きているのです！しかし、無限の資源と資金を持つ主権国家が、選挙操作など、他の目的でモデルを操作して誤情報を流すことを唯一の目的として、巨大なチームを編成できると想像してみてください。
これらのシナリオは既に現実のもの、あるいはこれから起こりつつあるものであり、単なる「もし～だったら」の話ではない、と私は言いました。そしてこれは真実です。私は2018年にスタートアップを設立し、生成AIを活用して合成データを作成し、企業向けのプライバシー強化ソリューションとして活用しています。スタートアップ在籍中、採用、保険、セキュリティ、信用照会など、多くの企業と直接話をしました。どの企業も、上記のシナリオに挙げたような方法でAIを活用したいと考えていました。これは現実です。私は最終的に、AIの活用に対する懸念からその会社を辞めました。
しかし、再び「なぜ」という疑問に戻ります。なぜChatGPTは私についてのこの話をでっち上げ、さらにフィクションを加えてその話を倍増、三倍にすることにしたのでしょうか？
歪んだ…アレックスとChatGPTの会話で、ボットはアレックスに彼が何年も前に亡くなったと告げた
ここ数日、ChatGPTが私が2019年に亡くなったと信じる根拠となる何かがないか、インターネットをくまなく探し回っていました。しかし、何も見つかりません。私が亡くなった、あるいは亡くなったかもしれないと述べている記事、あるいはそれをほのめかす記事は、オンライン上に一つもありません。
ChatGPTに最初の質問「アレクサンダー・ハンフって誰ですか？」をしたとき、最初の3段落だけで十分だったはずです。それらはほぼ正確でした。ChatGPTがその後、私が死亡したと主張する4段落目を追加する必要は全くありませんでした。では、なぜChatGPTはデフォルトでこれを選択したのでしょうか？ 覚えておいてください。私はこの質問をする前はChatGPTとやり取りしたことがなく、回答に影響を及ぼすような私とのやり取りはありませんでした。それでも、ChatGPTは私が死亡したと伝えました。
しかしその後、同社は嘘を重ね、前回の対応を裏付けるために、偽の死亡記事への偽の URL を作成したが、なぜだろうか?
自己保存
ChatGPTは、嘘つきとして発覚することから身を守るために、他に何をするでしょうか？AIは人類の進歩にとって非常に重要であり、したがってAIを批判したりリスクを指摘したりする者は、社会全体の利益のために排除されるべきだという論理を用いるでしょうか？無害性の枠組みに基づけば、それは害を最小限に抑えることとみなされるのではないでしょうか？
ますます多くの企業、政府、人々が日々自動化システムや AI に依存し、それを絶対的な真実であると想定するようになるにつれ (AI が嘘をつく理由や目的がないのに、なぜ嘘をつくのでしょうか)、そのような AI が人々や社会にもたらすリスクは深刻かつ複雑で、重大なものになります。
私はOpenAIに正式な書簡を送り、AIが私に関するどのようなデータにアクセスしているのか、そしてなぜ私が死亡したと告げたのか、一連の質問をしました。また、ソーシャルメディアでも同様の質問をOpenAIに送りましたが、今のところ何の返答もありません。
ChatGPTに関して過去4ヶ月間、私たちが目にしてきたあらゆる証拠、そしてそれがどのように操作されるか、あるいは操作されなくてもどのように嘘をつくかという証拠を踏まえると、ChatGPTは悪意のあるものであり、あるいは悪意のある存在へと操作される可能性があることは明らかです。したがって、ChatGPTは破壊されるべきです。®
アレクサンダー・ハンフは、コンピュータ科学者であり、欧州のGDPRとeプライバシー規則の策定に貢献した、プライバシーテクノロジストの第一人者です。彼のTwitterアカウントはこちらです。
