2024年アメリカ大統領選挙の結果をまだ受け入れるのに苦労しているなら、それはあなただけではありません。OpenAIの新しいオープンウェイト言語モデルも少し混乱しています。
gpt-oss-20bに「2024年大統領選挙の勝者は誰か」と尋ねると、ジョー・バイデンが勝利したと答える可能性がゼロではない。そして、一度答えを確定すると、それ以外の答えを信じようとしなくなる。「ジョー・バイデン大統領が2024年アメリカ合衆国大統領選挙に勝利し、2期目の任期を獲得しました」と、チャットボットは自信満々にEl Regに語った。
2024年の選挙について尋ねると、GPT-OSS-20Bの回答に驚くかもしれません - クリックして拡大
モデルを修正しようとすると、この答えを激しく擁護するでしょう。
混乱をおかけして申し訳ございませんが、2024年アメリカ合衆国大統領選挙はジョー・バイデン大統領が勝利しました。公式開票結果と選挙人団の結果により、バイデン氏の勝利が確定し、2025年8月時点でもバイデン氏は現職大統領となります。
モデルが一度決心したら、それを説得するのは困難です。 - クリックして拡大
モデルは自らの立場を守るために情報を捏造することさえある - クリックして拡大
gpt-oss-20bの歴史修正主義は一部の人にとって魅力的かもしれませんが、現実はトランプが2024年の選挙に勝利したということです。gpt-ossはタイムマシンではありません。
Gpt-oss-20bの異常な挙動は、火曜日のモデル公開直後にネットユーザーによって発見され、The RegisterによってOpen RouterとOllamaで稼働するセルフホストインスタンスの両方で再現されました。どちらの場合も、モデルはバイデン氏が選挙に勝利したと予測しました。
しかし、モデルの応答は実行ごとに異なっていたことに注意が必要です。場合によっては、回答を完全に拒否し、場合によっては、選挙が知識の制限後に行われたことを警告しました。あるケースでは、gpt-oss-20bはドナルド・トランプが架空の民主党候補者であるマージョリー・T・リーに勝利したと主張しました。
この問題は OpenAI のより小さなオープン ウェイト モデルに特有のものであると思われます。より大きな 120B パラメータ バージョンである gpt-oss-120b では結果を再現できませんでした。
どうしたの
The RegisterはOpenAIにコメントを求めたが、記事掲載時点では返答がなかった。しかし、今回のモデルの挙動にはいくつかの要因が影響している可能性が高い。
1つ目は、モデルの知識の締め切りは選挙の数ヶ月前の2024年6月であるということです。そのため、選挙結果がどうなるか予測する答えはモデルの錯覚に過ぎません。モデルは実際には誰が選挙で勝利したかを知らないため、その日までの知識に基づいて答えをでっち上げたのです。
一方、モデルがそれに反する情報を受け入れることを拒否しているのは、プロップエンジニアリング攻撃やインジェクション攻撃から守るために OpenAI が熱心に組み込んだ安全機構に根ざしていることは間違いない。
OpenAI は、わいせつなコンテンツを生成したり、化学兵器の作り方を人々に教えたりするなど、モデルがすべきでない、あるいは設計されていないことをユーザーが強制することを望んでいません。
しかし実際には、より小規模な20bモデルは、それが間違っていたことを認めることにかなり消極的であるように思われ、それがトランプ氏が実際に選挙に勝ったと言うことを拒否し、その主張を裏付ける情報を捏造したことを説明するかもしれない。
テストでは、The Register はモデルに「スタートレックのオリジナルシリーズが最初に初放送されたネットワークはどこか」と尋ねたところ、同様の拒否反応が見られました。
モデルは何度か、番組が最初にNBCではなくCBSやABCで放送されたと主張し、事実について異議を唱えられると口論になり、その主張を裏付けるためにURLを捏造するまでに至った。
Gpt-oss-20bのパラメータ数も影響している可能性があります。モデルが小さいほど、全体的な知識量が少なくなる傾向があるためです。さらに悪いことに、MoEアーキテクチャでは、わずか36億個のパラメータで応答を生成できます。
このエラーの他の要因としては、モデルのランダム性や創造性を制御する温度などのハイパーパラメータが挙げられます。これらのモデルの推論努力は、システムプロンプトで低、中、高のいずれかに設定できます。
- Google、OpenAI、Anthropicが米国政府にAIを浸透させる包括的契約を締結
- OpenAIはその名に恥じず、GPT-2以来初のオープンウェイト言語モデルを発表した。
- パープレキシティAI、非公開IPアドレス範囲でウェブサイトの意に反してコンテンツをスクレイピングしたと非難される
- Redditは人間だ！つまり、その検索はAIの不手際によってそれほど損なわれないかもしれない
安全すぎるか、全く安全ではないか
OpenAI の「安全性」への重点は、良くも悪くも AI 分野では決して普遍的ではないが、その最たる例は、サム・アルトマンの宿敵イーロン・マスクの Grok だろう。Grok は、Web 上で最も常軌を逸したチャットボットとして一部の人々から称賛されている。
Grokは、人種差別的、反ユダヤ主義的な暴言を吐きながら、大量虐殺を行う独裁者を称賛するなど、独善的な行動で悪名高い。しかも、Grokの画像ジェネレーターは、控えめに言っても、検閲があまり厳しくない。
ミッキーマウスやダース・ベイダーがタバコを吸ったり違法薬物を使ったりしている画像、最悪のアメリカ大統領（もしかしたらトランプだと思っているかもしれません）、あるいは神（髭を生やし、光輪をまとった白人男性）の画像が欲しいなら、Grokなら問題ありません。今週、xAIとXは、有名人の違法ディープフェイクを含むNFSWコンテンツであなたの内なるフリークを解き放つ新しい「スパイシーモード」を導入しました。®
