ChatGPT のテスト段階では、OpenAI のチャットボットやそれに類似する他のチャットボットは、十分な刺激によって軌道から外れたり、「幻覚」を起こしたりする可能性があることがすぐに明らかになりました。
OpenAIの応急処置は、チャットボットが狂気に陥る前にユーザーが行えるクエリの数を制限することだった。しかし今、AIの奇抜な傾向を懸念する企業向けに、GPU大手のNVIDIAは、大規模言語モデル（LLM）のトピックを維持し、正確な情報を確保し、安全でないアプリへの接続を制限できるというオープンソースソフトウェアを公開した。これにより、企業環境での実装が全く不適切なものになることを防ぐことができるという。
AIが幻覚を起こしている？レッドチームを呼ぶタイミングかもしれません
続きを読む
NeMo Guardrailsが昨日リリースされました。NVIDIAは、「多くの業界がAIアプリを支える強力なエンジンであるLLMを導入している中で、NeMo Guardrailsがリリースされました。LLMは顧客の質問に答えたり、長文の文書を要約したり、ソフトウェアを開発したり、医薬品の設計を加速させたりしています。NeMo Guardrailsは、ユーザーがこの新しいAI搭載アプリケーションの安全性を維持できるよう設計されています」と述べています。
このソフトウェアは、あらゆる LLM で動作すると言われており、オープンソースであるため、サードパーティ製アプリを LLM にプラグインするのに役立つ別のオープンソースツールキットである LangChain や、ビジネス自動化プラットフォームの Zapier など、「エンタープライズアプリ開発者が使用するすべてのツール」と連携して動作します。
「NeMo Guardrailsは、ほぼすべてのソフトウェア開発者が使用できます。機械学習の専門家やデータサイエンティストである必要はありません。数行のコードを書くだけで、新しいルールを素早く作成できます」とNvidiaは述べています。
これらのルールは、チャットボットが意味不明な返答をする前に質問を遮断し、最終的には嘘になる説得力のある返答ではなく、「わかりません」と AI に返答させることもできます。
- GoogleのAIチャットボット「Bard」がコード生成に追いつく
- 非国家主体によるAI兵器の拡散は「止めるのが不可能かもしれない」
- ChatGPTファンは詐欺師やマルウェアを避けるために「防御的な考え方」が必要
- ChatGPTは主に安全でないコードを作成しますが、尋ねない限りは教えてくれません。
このソフトウェアはGitHubで入手可能ですが、NVIDIAはNVIDIA AI EnterpriseプラットフォームおよびNVIDIA AI Foundationsクラウドサービスを通じてサポートパッケージとしても提供します。同社は、AIの進化に合わせて、数年にわたる研究の成果であるNeMo Guardrailsの開発と改良を継続していくとしています。
エヌビディアの応用研究担当副社長ジョナサン・コーエン氏は月曜日、報道陣に対し、NeMo Guardrails の「幻覚を検知し、軽減する」能力がこの技術の初期段階の課題に対する解決策になる可能性があると語った。
そうした錯覚の一つは、アルファベットの時価総額を1200億ドルも失わせた。同社のチャットボット「バード」がデモで「太陽系外惑星の初撮影はJWSTだった」と誤って主張したのだ。OpenAIのChatGPTとMicrosoft Bingとの連携も、生きている人を死んでいると軽々しく発言したり、基本的な計算ができない、ユーザーをガスライティングしたりするなど、様々な失態を犯してきた。また、コーディングも必ずしも得意ではない。この技術の欠陥は枚挙にいとまがないが、良くも悪くも消費者や企業の熱意は冷めていない。
それでもなお、NVIDIAはAIの波に乗り、大きな経済的成功を収めています。AIワークロード向けに最適化、あるいは専用に設計されたハードウェアのおかげで、NVIDIAのデータセンター部門は2020年時点の会社全体よりも規模が大きくなっています。AIを抑制しようとするこの試みは、罪悪感に苛まれるどころか、サポート製品を通じてNVIDIAの財源を潤すことに繋がることは間違いありません。®
