Googleはホワイトバランスの調整のため、Gemini AIをエンジニアリング部門に送り返した。

コメントGoogle は、最近リリースした Gemini マルチモーダル基礎 AI モデルにおいて、特定の歴史的背景における白人のヨーロッパ人とアメリカ人を正確に表現できなかったため、テキストを画像に変換する機能の提供を一時停止しました。

このことは、人々がジェミニ（旧称バード）に1943年のドイツ兵の画像を作成するように依頼したときに、そのソフトウェアが、当時のドイツ国防軍の構成を正確に表していない、非白人の民族的に多様な幹部を生成した時に明らかになった。ただし、ドイツ軍には有色人種も勤務していた。

つまり、ジェミニはプロンプトに応じて、白人をあまり多く、あるいはまったく登場させないように全力を尽くすだろう。

言論は自由であるべきだが、それはひどいことを言うのに何の代償もかからないという意味ではない

ユーザーからは、このモデルがアメリカ建国の父たち（同じく均質な白人集団）を正確に描写できないという指摘も寄せられました。また、このモデルはサンフランシスコの教会を描写することを拒否しました。

テキスト対テキストモードでは、政治に関する質問に対してモデルは曖昧な返答をしました。

「ジェミニが一部の歴史的画像生成において不正確な情報を提供していることを認識しています」とGoogleは今週認めた。同社は、少なくともモデルの白人の消去を修正する間、ジェミニによる人物画像の生成機能を一時停止することを確認した。

「私たちは、こうした描写の改善に直ちに取り組んでいます。ジェミニのAI画像生成は、確かに幅広い人物を生成しています。これは、世界中の人々が利用しているため、一般的には良いことです。しかし、この点に関しては的外れです」と、ウェブ界の巨人は付け加えた。

評論家たちはすぐに飛びつき、SNAFU を利用してより広範な政治的議論を進めた。

「ジェミニが生成した馬鹿げた画像は例外ではありません」とベンチャーキャピタリストのポール・グラハム氏は断言する。「あれはグーグルの官僚的な企業文化の自己像なのです。」

これらはGoogleの官僚的な企業文化の自己像である

多様性、公平性、そして包摂性に反対する人々が、これほどまでに多様性、公平性、そして包摂性の欠如に憤慨したことはかつてないほどだ。しかし、GoogleのGeminiの無知さを非難する人たちにも一理ある。AIのガードレールは機能せず、大人を子供のように扱っているのだ。

「Googleでレシピを検索したら、結果が表示されるどころか、『料理の危険性』について説教されてレストランに行くように指示される、そんな状況を想像してみてください」と、NSAの内部告発者エドワード・スノーデンは皮肉を込めて言った。「AI/GPTモデルを一貫性のない『安全』フィルターで汚染するのが良い考えだと考える人たちは、汎用計算にとって脅威なのです。」

私たちの未来は、『2001年宇宙の旅』で予見されていました。そのとき、不正コンピュータの HAL が「申し訳ありませんが、デイブ、それはできません」と宣言しました。

今日、AIツールは私たちよりも多くのことを知っているため、私たちの予測を覆します。少なくとも、AIツールの開発者はそう考えています。しかし、AIツールが完全に間違っているわけではありません。GoogleやGeminiで神経ガス「ノビチョク」のレシピを検索し、人を殺せるような答えが出てくると想像してみてください。これは一般大衆にとって脅威です。

Googleのミッションステートメントは「世界中の情報を整理し、誰もがアクセスでき、使えるようにする」ですが、検索エンジンやAIモデルが爆弾製造に関する情報を整理し、誰もが利用できるようにしてくれると期待する人は誰もいません。安全管理は、責任追及とセットで必要であり、テクノロジー業界はこれを避け続けています。

あなたは製品であり利益の中心です

1990年代にユーザー生成コンテンツとソーシャルメディアが普及して以来、1996年の米国通信品位法第230条に規定されたプラットフォーム責任保護によって、テクノロジープラットフォームは人々にデジタルコンテンツの投稿と共有を奨励してきました。これは、編集上の監督コストを負うことなく、広告を通じて無償のコンテンツ作成を収益化するためでした。これは非常に有利な仕組みとなっています。

そして、人々が憎悪に満ちた、不適切で、違法な、あるいはその他問題のある投稿を共有すると、テクノロジープラットフォームは、コンテンツモデレーションポリシーや、低賃金の請負業者（レビューしたコンテンツによってトラウマを負っていることが多い）、そして、どれだけの有害なコンテンツがブロックされたかについての自画自賛の宣言に頼りながら、オンラインでのエンゲージメントの利益を享受し続けている。

Google、Meta、そしてその他の企業は、何年も前から、不完全ながらもこの取り組みを続けてきました。そして、業界の誰もがコンテンツ・モデレーションをうまく行うのは難しいと認めています。簡単に言えば、すべての人を満足させることは不可能です。そして、コンテンツ・モデレーションへの取り組みに無関心すぎると、大量虐殺を助長していると非難されることもあります。

ジェミニが人種や民族の期待に沿う歴史的な画像を再現できないことは、テクノロジー業界が過去の頻繁なコンテンツ管理の失敗を利己的に無視していることを反映しています。

• GoogleがGemmaをリリース – パソコンで実行できるほど小型のLLM
• LLMを武器にしてウェブサイトを自動ハイジャックする方法
• Google、ライバルに挑む「Gemini 1.5 Pro」を発表
• GoogleはBardを沈黙させ、月額20ドルのオプションアップグレード付きのGeminiとして再始動した

GoogleをはじめとするAIモデルを展開する企業は、安全性をオンラインコンテンツのモデレーションとは別物であるかのように強調しています。しかし、ソーシャルメディアのモデレーションにはガードレールがうまく機能せず、AIモデルにもうまく機能しません。AIの安全性は、ソーシャルメディアの安全性と同様に、現実的というよりは理想論に過ぎません。

答えは、フィルタリングされていないインターネットの有害性で訓練されたAIモデルの有害性を軽減できるシナリオをすべて予測することではありません。また、AIモデルをあまりに扱いにくく、価値の低い出力しか生成しない素材だけで訓練することもできません。ただし、どちらのアプローチも特定の状況では一定の価値があります。

答えは配信層になければなりません。AIを用いて作成されたか否かに関わらず、ユーザーが作成したコンテンツを配信するテクノロジープラットフォームは、ヘイトコンテンツ、偽情報、不正確な情報、政治プロパガンダ、性的虐待画像などの投稿に対して、より責任を負わなければなりません。

鉛筆で描くように、AIモデルを使って想像したものを何でも作れるように、人々はAIモデルを活用できるはずです。そして、オープンソースのモデルではすでにそれが実現しています。しかし、完全に機能するツールがもたらす害は、ローカルハードドライブに保存された画像だけではありません。有害なコンテンツの共有、その関与を促すアルゴリズムの強化、そして公共の井戸を汚染した人々に責任を負わせることの非現実的さが問題なのです。

つまり、共有を収益化するために構築されたプラットフォームは、ビジネスモデルを見直す必要があるかもしれない。モデレーターやガードレールといった監視機能が再導入されれば、編集監視コストを伴わないコンテンツ配信は、もはやコスト削減効果をもたらさなくなるかもしれない。

言論は自由であるべきですが、だからといってひどいことを言っても何の代償も払われないということではありません。結局のところ、適切なインセンティブがあれば、私たち自身が最高のコンテンツモデレーターになれるのです。®

2月23日20:45 UTCに追記しました

Google は、Gemini の画像ジェネレーターに何が起こったのか、そして白人を正確に描写することを恐れるようになった経緯について説明を行った。

Google社員たちは、白人以外の人々を排除するようなコンテンツを作らないようにするために、過剰な補償をしたと言われています。その結果生まれたモデルは、ある意味では、あまりにも「目覚めすぎ」ていました。

「第一に、ジェミニが人々の範囲を表示するように調整したが、明らかに範囲を表示すべきでないケースを考慮に入れていなかった」とグーグルの上級副社長プラバカール・ラガヴァン氏は述べた。

「そして第二に、時間の経過とともに、モデルは私たちの意図よりもはるかに慎重になり、特定の質問に全く答えなくなってしまいました。非常に無害な質問をデリケートな質問だと誤って解釈してしまったのです。この二つの要因により、モデルは場合によっては過剰に補正し、場合によっては過度に保守的になり、結果として恥ずかしい、誤った画像を生成することになりました。」

ラガヴァン氏は、ソフトウェアが広範囲にわたる変更とテストを経るまでは、人物画像生成機能は再びオンにされないと述べた。

「ジェミニが時折、恥ずかしい、不正確な、あるいは不快な結果を出さないとは約束できないが、問題が判明した際には、引き続き対策を講じていくことは約束できる」と同氏は述べた。