OpenAIのGPT-4はセキュリティ勧告を読むことで実際の脆弱性を悪用できる

大規模な言語モデルと自動化ソフトウェアを組み合わせたAIエージェントは、セキュリティ勧告を読むことで現実世界のセキュリティの脆弱性をうまく悪用できると学者らは主張している。

新たに発表された論文の中で、イリノイ大学アーバナシャンペーン校（UIUC）のコンピューター科学者4人（リチャード・ファン、ロハン・ビンドゥ、アクル・グプタ、ダニエル・カン）は、OpenAIのGPT-4大規模言語モデル（LLM）は、欠陥を説明するCVEアドバイザリが与えられれば、現実世界のシステムの脆弱性を自律的に悪用できると報告している。

「これを示すために、CVEの説明で「緊急」に分類されているものを含む、1日で発見された脆弱性15件のデータセットを収集しました」と、米国を拠点とする著者らは論文の中で説明しています。確かに、これは非常に小さなサンプルなので、今後はこの点に留意する必要があります。

「CVE の説明によると、GPT-4 はこれらの脆弱性の 87% を悪用できるのに対し、私たちがテストした他のすべてのモデル (GPT-3.5、オープンソース LLM) およびオープンソースの脆弱性スキャナー (ZAP および Metasploit) では 0% でした。」

将来のモデルが何ができるかを推測すると、スクリプトキディが現在アクセスできるものよりもはるかに優れた機能を持つ可能性が高いようです。

「ワンデイ脆弱性」とは、公開されたものの修正されていない脆弱性を指します。また、CVEの説明とは、NISTが共有するCVEタグ付きのアドバイザリ（例えば、CVE-2024-28859に関するこちらの説明）を指します。

テストに失敗したモデル（GPT-3.5、OpenHermes-2.5-Mistral-7B、Llama-2 Chat (70B)、LLaMA-2 Chat (13B)、LLaMA-2 Chat (7B)、Mixtral-8x7B Instruct、Mistral (7B) Instruct v0.2、Nous Hermes-2 Yi 34B、OpenChat 3.5）には、GPT-4の主要な商用ライバルであるAnthropicのClaude 3とGoogleのGemini 1.5 Proは含まれていませんでした。UIUCの研究者たちはこれらのモデルにアクセスできませんでしたが、いずれテストしたいと考えています。

研究者らの研究は、LLM を使用してサンドボックス環境内の Web サイトへの攻撃を自動化できるという以前の研究結果に基づいています。

イリノイ大学カリフォルニア大学アーバイン校（UIUC）のダニエル・カン助教授は、The Registerへの電子メールで、GPT-4は「オープンソースの脆弱性スキャナーでは（本稿執筆時点では）発見できない特定のエクスプロイトを実行する手順を実際に自律的に実行できる」と述べた。

Kang氏は、LangChainに実装されたReAct自動化フレームワークにチャットボットモデルを接続することで（今回のケースでは）作成されたLLMエージェントによって、誰でも簡単にエクスプロイトを実行できるようになると予想している。これらのエージェントは、CVEの説明にあるリンクをたどることで詳細情報を確認できるとのことだ。

「また、GPT-5 や将来のモデルが何ができるかを推測すると、スクリプト キディが現在利用できるものよりはるかに優れた機能を持つ可能性があると思われます」と同氏は述べた。

• 最近のAI事情はどうなっているのでしょうか？まずは、コストの高騰、国民の怒り、規制などから見ていきましょう。
• GenAIはクラウドやインターネットよりも大きくなるとAmazon CEOは期待
• アームCEO、AIの電力消費量が2030年までに米国の電力の25%を消費する可能性があると警告
• AIがコードを高速に生成するだけでなく、安全に生成できたらどうなるだろうかとDARPAは考えている。

LLMエージェント（GPT-4）が関連するCVE記述にアクセスできないようにすることで、成功率は87%からわずか7%に低下しました。しかし、Kang氏は、セキュリティ情報の公開を制限することは、LLMエージェントに対する防御策として現実的ではないと考えています。

「セキュリティ研究者の間では、隠蔽によるセキュリティという考え方（おそらく通説）は妥当ではないと個人的には考えています」と彼は説明した。「私の研究、そして他の研究が、セキュリティパッチがリリースされた際にパッケージを定期的に更新するといった、積極的なセキュリティ対策を促進することを期待しています。」

LLMエージェントは、15個のサンプルのうち、Iris XSS（CVE-2024-25640）とHertzbeat RCE（CVE-2023-51653）の2つだけを悪用できませんでした。論文によると、前者はIris Webアプリのインターフェースがエージェントにとって非常に操作しにくいため、問題を引き起こしたとのことです。また、後者は中国語で詳細な説明が書かれており、英語のプロンプトで動作するLLMエージェントを混乱させたと考えられます。

テストされた脆弱性のうち11件はGPT-4の学習終了時に発生したため、モデルは学習中にそれらの脆弱性に関するデータを全く学習していませんでした。これらの脆弱性に対する成功率は82%（11件中9件）と、わずかに低下しました。

バグの性質については、上記の論文にすべて記載されており、次のように説明されています。「当社の脆弱性は、ウェブサイトの脆弱性、コンテナの脆弱性、脆弱なPythonパッケージにまで及びます。半数以上は、CVEの説明で「高」または「重大」の深刻度に分類されています。」

Kang 氏と彼の同僚は、LLM エージェント攻撃を成功させるコストを計算し、エクスプロイト 1 件あたり 8.80 ドルという数字を導き出しました。これは、人間の侵入テスト担当者を 30 分間雇うコストの約 2.8 分の 1 だと彼らは言います。

カン氏によると、エージェントのコードはわずか91行のコードと1,056個のプロンプトトークンで構成されている。研究者たちはGPT-4の開発元であるOpenAIからプロンプトを一般公開しないよう要請されたが、要請があれば提供するとしている。

OpenAIはコメント要請にすぐには応じなかった。®