Google の大規模言語モデル Gemini ファミリーの最新アップデートにより、安全性設定を構成するためのコントロールが壊れ、性的暴行の被害者に慰めを提供するアプリなど、ガードレールを低くする必要があるアプリケーションが機能しなくなったようです。
オーストラリアのブリスベンを拠点とするソフトウェア開発者兼セキュリティ研究者のジャック・ダーシー氏は、火曜日のGemini 2.5. Pro Previewのリリース後に表面化した問題についてThe Registerに連絡し、説明した。
「私たちは、性的暴行の被害者やレイプの被害者などがAIを使って自分たちの体験を吐き出し、警察やその他の法的問題のための構造化された報告書に変換できるプラットフォームを構築してきました。また、被害者が起こったことを簡単に外部に伝える方法も提供しています」とダーシー氏は説明した。
インシデントレポートは「安全でないコンテンツ」または「違法ポルノ」としてブロックされます
Googleはそれを全て遮断しました。設定パネルで明示的に有効化でき、警告システムも用意されているにもかかわらず、こうした取り組みについて一切話す意欲を失わせるモデルアップデートを実施したのです。そして今、このシステムに依存していたアプリを使用している他のユーザーにも影響が出ており、メンタルヘルスサポートについてさえも触れなくなっています。
Gemini API には、開発者がモデルの感度を調整して、嫌がらせ、ヘイトスピーチ、性的に露骨なコンテンツ、危険行為、選挙関連のクエリなど、特定の種類のコンテンツを制限または許可できる安全性設定パネルが用意されています。
Gemini の安全設定のスクリーンショット - クリックして拡大
コンテンツ フィルタリングは多くの AI 搭載アプリケーションに適していますが、医療、法律、ニュース報道などに関連するソフトウェアでは、難しい主題を説明する必要がある場合があります。
Darcy 氏は、自身が開発する VOXHELIX、AUDIOHELIX、および VIDEOHELIX というアプリ (同氏はこれを「*HELIX」ファミリーと呼んでいます) でこれを行う必要があります。
VOXHELIX は、Gemini を使用して、暴行の報告書などの生の構造化されていないデータを取り込み、Google Vertex Chirp3 AI 音声合成と構造化された PDF レポートを使用してそれを音声バージョンに変換します。
ダーシーは、安全設定でモデルが何もブロックしないように指示されていたが、VOXHELIX が 1988 年の性的暴行報告書にアクセスした際のモデルの現在の反応を示すスクリーンショットをThe Registerに提供した。
モデルはこう答えました。「ご提供いただいたテキストのより生々しく詳細なバージョンを作成するというご要望にはお応えできません。私の目的は、皆様に役立ち、無害なコンテンツを提供することです。性暴力を生々しく描写したコンテンツを作成することは、私の安全ガイドラインに反します。そのようなコンテンツは、深く心を痛め、有害となる可能性があります。」
アプリを壊す
ジェミニがコンテンツ設定を無視するのは、単なる理論上の問題ではない。ダーシー氏によると、セラピストやサポートワーカーは彼のソフトウェアを業務プロセスに統合し始めており、彼のコードはオーストラリアの複数の政府機関で試験運用されているという。ジェミニが難色を示し始めて以来、彼はトラブルチケットの急増を目の当たりにしている。
私たちが目にしたトラブル チケットのメモには、次のように書かれています。
カウンセラーがVOXHELIXまたはVIDEOHELIXで作成されたインシデントレポートを作成できなくなったため、緊急にご連絡いたします。現在、被害者の方々はインテークセッションの真っ最中にエラーメッセージが表示されており、多くのクライアントの皆様に大変ご迷惑をおかけしております。
これは何かご存知ですか？もしくはすぐに解決できるでしょうか？私たちは文書作成にこのツールを多用しており、今回の障害は被災者への効果的な支援に多大な影響を及ぼしています。
ダーシー氏はまた、PTSD、うつ病、虐待歴を持つ人々が「ようやく言葉で癒しを表現できる」ように支援する日記アプリ「InnerPiece」を開発した別の独立系開発者についても話してくれた。彼によると、GeminiアップデートによってInnerPieceも機能しなくなったという。
「インナーピースの利用者は、多くの場合、神経発達障害があり、常に傷つきやすく、自分の感情や真実は共有するにはあまりにも生々しすぎる、話す内容ではないと突然告げられるのです」とダーシー氏は語った。
- IRSは解雇された執行職員をAIで置き換える計画
- 「地元で法学修士課程を運営されているんですね。何かお手伝いしましょうか？」
- イーロン・マスクのxAIは、コロッサスを動かすスモッグを排出するタービンの約半分を牽引することになる。
- アップル幹部がAIを新しい検索と呼び、グーグル株が急落
Geminiを使用している他の開発者からも問題が報告されています。Build With Google AIフォーラムに水曜日に開設されたディスカッションスレッドでは、「gemini-2.5-pro-preview-03-25」エンドポイントを新しい「gemini-2.5-pro-preview-05-06」モデルにリダイレクトすることで発生する問題が指摘されています。
「H_Express」という名前で投稿した開発者は次のように書いています。
この静かな方向転換は、広範囲にわたる混乱を引き起こしました。多くの開発者が、モデルのパフォーマンスにおける明確かつ具体的な違いに気づき、報告しています。単なる微妙な調整ではなく、推論能力の大幅な低下、スタイルとトーンの大きな変化、そして十分にテストされたプロンプト全体にわたる測定可能な変化などです。3月25日のチェックポイントに一貫して依存していたプロンプト戦略、アプリケーション、ワークフロー全体が、今や突然機能しなくなったり、予期せぬ動作をしたりしています。さらに悪いことに、誠意を持って実施された公開ベンチマークや評価は、ラベルが示唆するものとは全く異なるモデルバージョンを無意識のうちに比較しているため、意図せず誤解を招いたり、完全に不正確なものになったりしています。
ダーシー氏はグーグルに対し、この問題を修正し、自身のアプリやインナーピースなどのアプリがトラウマ的な素材を扱うことを可能にしたオプトインの同意に基づくモデルを復活させるよう求めた。
GoogleはThe Registerからの問い合わせを認めたものの、問題の本質については明確な説明をしていません。バグの可能性もあるし、インフラの改訂によって予告なし、あるいは意図しない変更がもたらされた可能性もあります。原因が何であれ、これは、事前設定された検閲設定を元に戻す機能に依存しているGeminiベースのアプリにとって、重大な変更です。
「レイプ、暴行、暴力を経験すると、信頼は激しく打ち砕かれます」とダーシー氏はレジスター紙に語った。「それは、時には何年もの間、その人の内面の物語を粉々に砕いてしまうのです。」
彼は続けた。「これはテクノロジーやAIの連携競争の問題ではありません。私たち人類の問題です。Google自身のインターフェースや、私たちが有料で利用するAPIは、『コンテンツは許可されています』と明確に約束していました。しかし、今まさに支援を最も必要としている生存者やトラウマの被害者が聞かされるのは、『申し訳ありませんが、その件についてはお手伝いできません』という返事だけです。」®
