OpenAIは依然として、超人的な知能を打ち負かすことに躍起になっている

OpenAIは、超知能システムが「暴走」するのを防ぐため、計算リソースの5分の1を機械学習技術の開発に充てていると述べている。

2015年に設立されたサンフランシスコのAIスタートアップ企業は、常に汎用人工知能（AGI）を安全に開発することを目標としてきました。しかし、その技術はまだ存在しておらず、専門家の間でも、それが具体的にどのようなものになるのか、そしていつ実現するのかについて意見が分かれています。

それでも、OpenAIは処理能力の20%を割き、共同創設者兼主任科学者のイリヤ・スツケヴェル氏が率いる新ユニットを立ち上げる予定だ。これは、未来のマシンが人類を危険にさらすのを何らかの形で防ぐためだ。これはOpenAIが以前にも提起したテーマだ。

「超知能は人類がこれまでに発明した技術の中で最も影響力のあるものとなり、世界の最重要課題の多くを解決するのに役立つ可能性がある」と人類の救世主と目される人物は今週述べた。

「しかし、超知能の強大な力は非常に危険でもあり、人類の無力化、さらには絶滅につながる可能性もある。」

OpenAIは、人間の知能を超え、人類を圧倒できるコンピュータシステムがこの10年で開発される可能性があると考えています[核融合の前か後か？あるいは量子コンピューティング？ – 編集者注]。

「こうしたリスクを管理するには、とりわけ、新たな統治機関の設立と、スーパーインテリジェンスの連携問題、つまり人間よりもはるかに賢いAIシステムが人間の意図に従うことをどのように保証するかという問題の解決が必要になるだろう」と業界は付け加えた。 

モデルを人間の価値観に合わせる、あるいは少なくとも合わせようとする手法は既に存在します。こうした技術には、人間のフィードバックによる強化学習（RLHF）と呼ばれるものがあります。このアプローチでは、基本的に機械を監督し、より人間に近い行動をとるように機械を形作ることになります。

RLHFはChatGPTのようなシステムが有害な言語を生成する可能性を低減するのに役立っていますが、依然としてバイアスをもたらす可能性があり、スケールアップも困難です。通常、モデルの出力に関するフィードバックを提供するために、それほど高くない賃金で大勢の人材を採用する必要があり、この方法自体にも様々な問題があります。

• LLMブームにもかかわらず、汎用人工知能は遠い夢のまま
• OpenAIはAIの厳しい規制を呼びかけながら、静かにAIの削減を求めている
• AIの第一人者ン氏：殺人ロボットの台頭を恐れるのは火星の人口過密を心配するようなものだ
• 皆が恐れていた通り、雑草を狙う殺人AIがやってくる

開発者は、多くの人々に影響を与える技術の監視を少数の人間に頼ることはできないと主張している。OpenAIのアライメントチームは、「ほぼ人間レベルの自動アライメント研究者」を構築することでこの問題を解決しようとしている。OpenAIは、人間ではなく、人間に明示的に依存することなく、他の機械を人間の価値観に合わせることができるAIシステムを構築したいと考えている。 

それは、人工知能が人工知能を非人工知能に近づけるように訓練しているようなものだと私たちは考えています。まるで鶏が先か卵が先かという問題ですね。

このようなシステムは、例えば、問題のある行動を検知してフィードバックを提供したり、何らかの修正措置を講じたりすることが可能になる。OpenAIは、このシステムの性能をテストするために、意図的に不整合なモデルを訓練し、整合AIがいかに効果的に問題行動を除去できるかを確認できると述べた。新チームは、4年以内に整合問題を解決するという目標を掲げている。 

「これは非常に野心的な目標であり、成功が保証されているわけではありませんが、集中的かつ協調的な努力によってこの問題を解決できると楽観視しています。予備実験で有望なアイデアは数多くあり、進捗状況を測る有用な指標もますます増えており、現在のモデルを用いてこれらの問題の多くを実証的に研究することが可能です」と、研究チームは結論付けました。

問題を解決するには、機械学習と安全性のコミュニティに、問題が解決されたと確信させる証拠と論拠を提供する必要があります。たとえ私たちの解決策に高いレベルの信頼を得られなかったとしても、私たちの調査結果が私たちとコミュニティに適切な計画を立てる助けとなることを願っています。

今からバンカーの建設を始めます。®