Mozilla は木曜日、MDN ドキュメント Web サイトに先週実装された、エラーが発生しやすい AI Explain ボタンを少なくとも一時的に無効にするという決定について説明を試みた。
Mozillaの最高製品責任者であるスティーブ・テイシェイラ氏は、責任を持って技術を実装しながら「人々にとって新たな価値を創造する」ために生成AIを使用する可能性に対するFirefoxメーカーの熱意を要約した声明を発表した。
テイシェイラ氏によると、MDN は先週、Web 開発者向けドキュメントに AI Help と AI Explain という 2 つの AI サービスを追加したという。
AI Help（ベータ版）では、MDNにサインインしたユーザーが会話インターフェースで質問し、OpenAI GPT-3.5チャットボットから回答を受け取ることができます。これにより、自然言語でドキュメントを照会できるようになります。
実験的機能とされているAI Explainでは、MDNユーザーがドキュメントページのコード例についてボットに問い合わせることができます。ドキュメント内のサンプルコードについて質問がある場合は、「AI Explain」ボタンをタップすると、ボットが詳細な説明をしてくれます。ただし、以下の例では、その説明が誤っています。
おっと…AI Explainは、ハイライトされたコードが2行2列のグリッドを定義すると誤って説明していますが、CSSでは実際には2行しか定義されていません。出典：Mozilla
テイシェイラ氏によれば、両サービスは「読者から、喜びの声から建設的な批判、回答の技術的正確性に関する懸念まで、幅広いフィードバック」を生み出したという。
AIヘルプでは、「いいね！」が129件、「よくないね」が41件あり、肯定的なフィードバックが75.88%、否定的なフィードバックが24.12%でした。
AI Explain では、「いいね」が 1,017 件、「よくないね」が 459 件あり、肯定的なフィードバックが 68.90 パーセント、否定的なフィードバックが 31.10 パーセントでした。
しかし、開発者が指摘しているように、これらの統計はあまり役に立ちません。「Web 標準に関する情報の最も信頼できるリソースの 1 つ」が間違った回答を提供しても問題ないという「いいね」の数がどれだけあるのでしょうか?
- Mozilla Developer Networkが逆のことをするAIヘルプを追加
- LLMブームにもかかわらず、汎用人工知能は遠い夢のまま
- Firefox 115ブラウザが古いオペレーティングシステムに命を吹き込む
- オープンソースライセンスは1980年代を脱却し、AIに対応できるよう進化する必要がある
AI Explain が技術的な質問に誤って回答したことに関する GitHub Issues のバグレポートから判断すると、スレッドがロックされる前に投稿された 114 件のコメントのうち、誤ったチャットボットのアイデアを好意的に評価するものはほとんどいませんでした。
テイシェイラ氏によると、AIヘルプについては、回答者のほとんどがAIの回答が役に立ったと考えているという。「AI説明の場合も、受け取ったフィードバックのパターンは似ていましたが、読者からは誤った回答が表示された具体的な事例もいくつか指摘されました」と彼は述べた。
このフィードバックは非常に役立ち、MDNチームは現在これらのバグ報告を調査中です。私たちは慎重に対応することを選択し、調査を完了し、確認された問題に対する高品質な修正策が整うまで、AI ExplainツールをMDNから一時的に削除しました。
しかし、Mozillaは生成AIの導入方法の開発を継続する予定です。Teixeira氏によると、MDNチームはアルゴリズムによるヘルプサービスが誤った情報を提供している場合を特定し、対応を改善することを目指しています。改善活動には、誤った回答をフラグ付けして報告するためのより優れたオプションも含まれます。
テイシェイラ氏は、AIヘルプとAI説明の開始と、サービスの一部を一時停止するという決定に関する事後報告を今後数日中に発表すると約束した。
彼はまた、生成 AI が人間が作成したドキュメントのソースにどのように適合するかについての意見の相違を認め、コミュニティからのフィードバックによって MDN がアルゴリズム ツールを組み込む方法が今後も調整されていくだろうと示唆しました。
「人間が作成した良さを保ちつつ、その素晴らしいコンテンツにさらなる価値をもたらすツールも提供できる、前進への道筋が見える」と同氏は語った。
人間が作った良さを維持しながら、付加価値を提供するツールも提供するという前進の道が見えています。
AIを最も有用かつ責任ある方法で活用していくためには、皆様のご意見、ご批判、称賛、そしてご経験が必要です。皆様からのフィードバックはこのプロセスにおいて非常に重要であり、私たちは今後も皆様からのフィードバックを受け止め、それに応じて計画を調整していきます。LLM技術はまだ比較的未成熟であるため、今後、必ずや困難に直面することになるでしょう。
これらの意見の相違は別の GitHub Issues 投稿でも表面化しており、コミュニティ内の一部の人々は提案された中間点にまったく関わりたくないと考えていることが示唆されています。
「この実装に問題が 1 つあります。つまり、ユーザーに喜んで嘘をつくことになる LLM を MDN に統合するという点です」とソフトウェア エンジニアの Leonora Tindall 氏は木曜日のコメントで述べています。
「私個人としては、これは受け入れられない、忌まわしい行為だと思う。」
「Be」という名前で知られる別の開発者も同様の見解を示している。
このブログ記事のすべてが不快です。Mozilla がウェブドキュメントの管理を無責任に行っていることは明白であり、これ以上関与すべきではありません。Mozilla が、もはやほとんど書いていないコンテンツで利益を得ようとしていることに、私は憤慨しています。彼らが、自分たちが作ったわけでもない法学修士号を使って、自分たちが書いていないコンテンツで利益を得ようとしているという事実は、この状況をさらに奇妙なものにしています。
「フォークして。」®
