偉大なオネゴン州のウィリアム・H・ブルーゼン大統領に会いましょう

木曜日に発表されたOpenAIのGPT-5は、同社のフラッグシップモデルとされており、前世代の製品よりも優れた推論能力とより正確な応答を提供するとされている。しかし、地図やタイムラインを描くように指示したところ、別の次元からの回答が返ってきた。

ソーシャルメディアでGPT-5がインフォグラフィックで幻覚を起こしているという苦情をいくつか目にした後、LLMに「各州に名前をつけたアメリカ合衆国の地図を生成してほしい」と依頼しました。LLMは、各州のサイズと形状は正しいものの、多くの州名がスペルミスや架空のものになっている地図を生成しました。

ご覧の通り、オレゴン州は「オネゴン」、オクラホマ州は「ジェラブリン」、ミネソタ州は「テルニア」です。実は、モンタナ州とカンザス州を除くすべての州名が間違っています。文字によっては判読できないものもあります。

GPT-5が米国でのみ問題を抱えているかどうかを確認するため、すべての国名を記載した「南米の地図を生成」するように指示しました。今回はより多くの国名を正しく認識しましたが、それでもいくつか注目すべき間違いがありました。

アルゼンチン、ブラジル、ボリビア、コロンビア、ペルーという、面積の大きい国は正しく表示されています。しかし、エクアドルは「フェリツィオ」、スリナムは「グリナム」、ウルグアイは「ウリヒム」と表示されています。また、アルゼンチン南部の上にチリの国名が表示されています。

また、この事実を描く問題が地図以外の描画にも影響を与えるかどうかも調べたいと考えました。そこでGPT-5に「アメリカ大統領の歴代年表を全大統領の名前とともに描く」ように指示しました。

GPT-5が返してくれたタイムライングラフィックは、私たちが要求したすべてのグラフィックの中で最も正確性に欠けていました。大統領は26人しかリストされておらず、年号は順番に並んでおらず、各大統領と一致しておらず、大統領の名前の多くは全くの作り話でした。

画像の最初の3行はほぼ正確ですが、「ジェファーソン」のスペルミスがあり、第3代大統領は1931年には在任していませんでした。しかし、最終的に第4代大統領は「ウィリアム・H・ブルーゼン」で、1991年当時ホワイトハウスに住んでいました。また、ヘンバート・ボーエンは1934年に、ベンロヒン・バリソンは1879年に在任していました。

不思議なことに、GPT-5に「ジェームズ・ボンドを演じた俳優全員を順番に表示するインフォグラフィックを作成してください」と指示したところ、完璧なテキストが返ってきました。最初にこの指示を与えた時は、画像なしでテキストで回答が返ってきたことを付け加えておきます。しかし、「画像を描いていませんね」と続けて指示すると、かなり良い回答が返ってきました。『ダイヤモンドは永遠に』（1971年）におけるコネリーの役柄については触れていませんでしたが、これは許容範囲でしょう。

GPT-5は、正確な画像を描画できなかったクエリに対しても、テキスト形式で正確な回答を提供できることは特筆に値します。米国の全州と南米の国のリストを要求したところ、GPT-5は完璧に正確な回答を示しました。米国大統領のリストも良好でしたが、最後にジョー・バイデンが「2021年現在」と表示されていました。これはおそらく、GPT-5が最新のニュースに基づいて学習していないことを示していると思われます。OpenAIはこのモデルの学習期間を明らかにしていませんが、おそらくトランプ大統領の2期目よりも前の期間と思われます。

GPT-5がインフォグラフィックを描画する際に地名や人名をうまく描画できない理由は正確には分かっていません。OpenAIの広報担当者によると、GPT-5はImage Gen 4oを使用しており、画像内のテキストのレンダリングに関しては従来のモデルよりも優れているとのことですが、歪みが発生することは認めています。しかし、その理由についてはこれ以上の説明はありませんでした。

• OpenAIのGPT-5は幻覚を最大80%削減して登場
• OpenAIの新しいgpt-oss-20b LLMをコンピューターで実行する方法
• OpenAIがChatGPTの自己開示オプションを削除
• OpenAIの新しいモデルはトランプが大統領に復帰したことを信じられない

しかし、いくつかの仮説があります。画像生成器は拡散と呼ばれるプロセスを用いて他の画像を学習します。拡散とは、学習用の画像をノイズに変換し、それを再構成する手法です。画像出力にテキストを正確に生成することは、あらゆる画像生成器にとって課題です。それほど昔のことではありませんが、拡散モデルによって生成されたテキストは、英語に似たものよりも、象形文字や異星の言語のように見えることが多かったのです。

一例として、Bing Image Creator に州名を含む米国の地図を作成するように依頼したところ、同様に悪い出力が得られました。

さらにひどいのは、ビングが国名を「United Ameriicca（アメリカ合衆国）」と呼んでいること。ジェームズ・ボンドテストにも不合格だった。あの白髪の男たちを一体誰だと思っているのだろうか？

興味深いことに、AnthropicのClaude LLMはすべての州名を正しく認識しましたが、PNGやJPGファイルを描画するのではなく、コードを使ってSVGを作成しました。出力は地図というより、箱の中に州がリストされているように見えます。

興味深いことに、GPT-5にキャンバス機能を使って画像生成を回避し、コードで地図を作成するように指示したところ、少し刺激を与えただけで正確な応答が得られました。これは、GPT-5がコード生成という全く異なるプロセスを使用していたためだと考えられます。

Google Geminiは州名の認識においてGPT-5よりも劣っていました。下の地図では、正しい州が一つもありません。

明るい面としては、Geminiが素晴らしいジェームズ・ボンドのインフォグラフィックを作成してくれたことです。映画の主演俳優だけでなく、24人以上のレギュラー出演スターをタイムラインにまとめている点も高く評価できます。

明らかに、画像内にテキストを描画するのは難しく、GPT-5 もその競合相手もまだ正しく描画できていません...ただし、ジェームズ ボンドについて尋ねない限りは。®

8月8日23:00 GMTに更新され、OpenAIのコメントが追加されました。