AIモデルの崩壊の兆候が現れ始めている

意見：私はAIをよく使いますが、記事を書くためではありません。検索にはAIを使っています。検索に関しては、AI、特にPerplexityはGoogleよりも優れています。

普通の検索は駄目になってしまった。GoogleがAIに熱中するにつれて、検索エンジンがまた良くなるかもしれないが、それはちょっと疑問だ。ここ数ヶ月だけでも、AIを使った検索もどんどんお粗末になっていることに気づいた。

特に、市場シェア統計やその他のビジネス数値といったハードデータを検索すると、結果が不適切な情報源から来ることがよくあることに気づきました。米国証券取引委員会（SEC）が上場企業に義務付けている年次事業財務報告書である10-Kの統計情報ではなく、事業報告書の要約を謳うサイトから得られる数値が出てきます。これらはある程度現実に似ていますが、完全に正確ではありません。10-Kの結果だけが欲しいと指定すればうまくいきます。ただ、財務結果だけを求めると、答えは…興味深いものになります。

これはPerplexityだけの問題ではありません。主要なAI検索ボットで全く同じ検索をしてみましたが、どれも「疑わしい」結果しか返ってきませんでした。

ガーベッジイン・ガーベッジアウト（GIGO）の世界へようこそ。AI界では正式には、これはAIモデル崩壊と呼ばれています。AIモデル崩壊とは、自身の出力で学習したAIシステムが、徐々に精度、多様性、信頼性を失っていく現象です。これは、モデル世代を重ねるごとにエラーが蓄積され、歪んだデータ分布と「回復不可能な欠陥」につながることで発生します。最終的な結果はどうなるでしょうか？Nature 2024に掲載された論文では、「モデルは自身の現実投影によって毒されてしまう」と述べられています。

モデル崩壊は、3つの異なる要因の結果です。まず、エラーの蓄積です。これは、各モデル世代が以前のバージョンの欠陥を継承・増幅し、出力が元のデータパターンから逸脱する現象です。次に、テールデータの喪失です。これは、まれなイベントがトレーニングデータから消去され、最終的には概念全体が曖昧になってしまう現象です。最後に、フィードバックループによって狭いパターンが強化され、繰り返しのテキストや偏った推奨が生成されます。

AI 企業 Aquant の次の表現が気に入っています。「簡単に言えば、AI が自身の出力に基づいてトレーニングされると、結果は現実から大きく離れてしまう可能性があります。」

AIの結果が悪化し始めていると感じているのは私だけではありません。金融メディア大手のブルームバーグ・リサーチが最近実施した検索拡張生成（RAG）に関する調査では、GPT-4o、Claude-3.5-Sonnet、Llama-3-8 Bなど、主要な学習モデル11種が5,000以上の有害なプロンプトを使用した場合、悪い結果が出ることが判明しました。

RAG についてご存じない方のために説明すると、RAG は大規模言語モデル (LLM) が、LLM の事前トレーニング済みの知識だけに頼るのではなく、データベース、ドキュメント、社内のライブ データ ストアなどの外部知識ストアから情報を取得できるようにします。

RAGはより良い結果をもたらすと考えませんか？実際、その通りです。例えば、AIによる幻覚反応を減らす傾向があります。しかし同時に、RAG対応のLLMが顧客の個人情報を漏洩したり、誤解を招く市場分析を行ったり、偏った投資アドバイスを行ったりする可能性が高まります。

ブルームバーグのCTOオフィスでAI戦略・研究部門の責任者を務めるアマンダ・ステント氏は、次のように説明しています。「顧客サポートエージェントや質問応答システムといったAIアプリケーションにおいてRAGが広く利用されていることを考えると、この直感に反する発見は、広範囲にわたる影響を及ぼします。平均的なインターネットユーザーは、RAGベースのシステムを日常的に利用しています。AIの実践者は、RAGを責任を持って使用する方法について慎重に検討する必要があります。」

聞こえはいいが、「責任あるAIユーザー」というのは矛盾している。AIがより良い仕事にもっと時間を費やすよう促すというくだらない主張はさておき、AIユーザーは嘘の結果を含む偽の論文を書いているというのが真実だ。子供の高校のレポートから偽の科学研究文書、そして悪名高いシカゴ・サンタイムズの夏のおすすめ特集（実際には存在しない小説が掲載されていた）まで、実に多岐にわたる。

• アメリカのサイバー防衛は内部から解体されつつある
• ChatGPTでスタジオジブリ風の画像を作るのは楽しいが、知的財産権の問題は笑い事ではない
• Google Chromeの独占がすぐに崩れない理由
• マイクロソフトの強力な圧力にもかかわらず、AIは電力不足に陥っている

これらすべては、AIが無価値になる日を早めるだけです。例えば、偽小説の一つである「ミン・ジン・リーの近刊小説『Nightshade Market』のあらすじは？」とChatGPTに尋ねたところ、ChatGPTは自信満々にこう答えました。「ミン・ジン・リーの近刊小説『Nightshade Market』のあらすじについては、公開されている情報はありません。小説自体は発表されていますが、ストーリーの詳細は明らかにされていません。」

もう一度、そして感情を込めて、GIGO。

一部の研究者は、合成データと人間が生成した新鮮なコンテンツを混ぜることで、崩壊を緩和できると主張しています。なんとも素敵なアイデアですね。その人間が生成したコンテンツは一体どこから来るのでしょうか？

制作に真剣な努力と研究を要する良質なコンテンツと、AIが生み出した安っぽいコンテンツのどちらかを選ばなければならないとしたら、ほとんどの人がどうするかは分かっています。ジョン・スタインベックの『真珠』の読書感想文でBを取りたい子供と同じような状況ではありません。企業側は業務効率化に熱心だと言いつつも、実際には利益を増やすために従業員を解雇したいと思っているのです。

品質？お願いします。本物を見てください。

私たちは、モデルの崩壊が深刻化し、AI の回答が非常に悪く、脳死状態の CEO でも無視できなくなるまで、AI にますます投資していきます。

どれくらいかかるのでしょうか？すでに始まっていると思いますが、今のところそれを予測しているのは私だけのようです。とはいえ、OpenAIのリーダーであり応援団長でもあるサム・アルトマン氏が2024年2月に「OpenAIは現在、1日に約1000億語を生成している」とツイートしたことを信じるなら、そしてそれらの単語の多くが最終的にオンラインに流れると仮定するなら、そう長くはかからないでしょう。®