Black Hat本日のBlack Hat基調講演で、DARPAはサプライズ発表を行い、「AIサイバーチャレンジ（AIxCC）」と名付けたコンテストを発表しました。これは、ソフトウェア、ひいては重要インフラを保護する保護型機械学習システムの構築を目指す2年間のコンテストです。
水曜日に始まるこのコンテストでは、コード内のリスクを特定し、それらの脆弱性に対する攻撃をブロックし、それらの欠陥に対処できるモデルの構築を競います。これらのモデルは、アプリケーション全体を保護できるようになることで、ソフトウェアレベルでITインフラを防御できるようになることが期待されています。
Anthropic、OpenAI、Google、Microsoft は、参加者が使用できるアドバイスとソフトウェアを提供することを約束しており、Open Source Security Foundation (OpenSSF) もチームに参加しています。
詳しい背景情報、ルール、締め切りについては、こちらをご覧ください。
「この取り組みはDARPA内部から推進されており、アンスロピックなどの関係者にこの件についてアプローチしたところ、彼らも全く同じことを考えていると言っていました」と、AIxCCプログラムマネージャーのペリー・アダムズ氏は本日ラスベガスでThe Register紙に語った。アダムズ氏はさらに、「素晴らしいAI技術が見られる環境の中で、これらすべてが実現している」と付け加えた。
「AIにはコードのセキュリティ確保に大きな可能性を秘めていると認識している人が多く、これは本当に素晴らしい機会でした」と彼女は付け加えた。「私たちが注力しているのは、可能な限り幅広いソフトウェアのセキュリティを確保することです。そのため、汎用ソフトウェアをモデル化して課題を検証しようとしています。なぜなら、重要インフラシステムには汎用ソフトウェアが数多く存在するからです。」
DARPAのAIxCCプログラムマネージャーであるペリー・アダムスは、ブラックハットの参加者に、数百万ドルの資金が投入されていると語った。
米軍の研究中枢である国防高等研究計画局（DARPA）は、参加希望者に対し、自己資金によるオープントラックまたは資金提供トラックへの登録を呼びかけています。資金提供トラックでは、最大7社の中小企業が選抜され、各社に最大100万ドルの資金が提供されます。資金提供トラックへの登録は9月19日まで、オープントラックへの参加は12月15日までに行ってください。
2024年春、チームは準決勝への出場資格を決定するための一連の予選に臨みます。予選を勝ち抜いた上位20チームが来年のDEF CONカンファレンスで競い合います。この準決勝の上位5チームには、それぞれ200万ドルの賞金が授与されます。
翌年、2025年に開催されるDEF CONでは、最終選考に残った5チームが優勝賞金400万ドル、2位は300万ドル、3位は150万ドルをかけて競い合います。参加資格を得るには、チームメンバーに少なくとも1人の米国永住者または市民権を持つ必要があります。
総額は 1,850 万ドル、中小企業の参加者には 700 万ドルとなります。
- 「インシデント対応のためのマッド リブス」は次の MOVEit を防ぐことができるでしょうか?
- ダウンフォールへようこそ。インテルチップの数年にわたるデータ漏洩のセキュリティホールがまた一つ増えました。
- テスラのハッカーは、有料機能のロックを解除するために電圧グリッチを利用している
「セキュリティやAIという言葉を聞くと、人々はすべてのシナプスが反応し始めますが、これは『モデルは安全か』ということではなく、『AIという素晴らしいツールがあると仮定して、それを広範囲のソフトウェアにどのように適用するか』ということに焦点を当てています」とOpenSSFのゼネラルマネージャー、オムカー・アラサラトナム氏は語った。
「ソフトウェア エンジニアが携帯電話やデスクトップの Linux ディストリビューションで zlib を使用している場合でも、それは依然として zlib であり、同じセキュリティ プロパティが適用されるようにする必要があります。」
そのアプローチは AIxCC に組み込まれており、どこにあってもコードを保護する、少なくとも私たちはそう考えています。
ブラックボックスが多すぎる
AIは今日のテーマの一つでした。Black Hatの基調講演者の一人、Armコード専門企業Azeria Labsの創設者であるマリア・マークステッター氏は、機械学習技術のセキュリティ確保という観点から、業界の急速な変化と破壊への欲求、そしてセキュリティ専門家が活用できる社内技術情報の不足という2つの要因により、将来は不透明だと警告しました。
つまり、一部の組織は、人々を危険にさらす可能性のある方法でモデルを現実世界のシナリオに急いで導入しており、モデルのトレーニング方法と展開方法は秘密にされていたり、追跡が困難だったりするのです。これらは、情報セキュリティ研究者、エンドユーザー、そして管理者にとって好ましい状況とは言えません。
「企業間のAI軍拡競争が始まった」とマークステッター氏は述べた。「もちろん、その先頭に立っているのはマイクロソフトだ。」
彼女は、2月にマイクロソフトCEOのサティア・ナデラ氏が、この分野で同社が迅速に行動すると豪語したことを指摘し、さらにレドモンド・オフィスのサム・シラス幹部が「後で修正できる問題を今心配するのは、絶対に致命的な誤りだ」と発言したと付け加えた。Windowsのパッチを適用したことがある人なら、このことはよく分かるだろう。
今年もこの時期がやってきました: 情報セキュリティカンファレンスの三位一体
無料ガイド
機械学習がスマートフォンのような形でスタートしないことを祈ります。マークステッター氏によると、初期のモデルはすべてがルートアクセスで実行され、重大なバグが蔓延し、修復手段はほとんどなく、データのサンドボックス化も行われていなかったとのことです。
変化が起こったのは、セキュリティ担当者が端末を物理的にもコード的にも分解し、動作を確認し、欠陥を見つけ、メーカーに改善すべき点を示すことができたからだ。ブラックボックス型のAI製品では同じことは不可能だと彼女は示唆した。
さらに悪いことに、学習データがウェブから丸ごと持ち出されているため、今日の大規模なAIスタックは「インターネットで読んだことをすべて信じるバカのようなものだ」と彼女は述べた。さらに、学習データセットの改ざんが機械学習システムの精度と運用に甚大な影響を与える可能性があることを示す研究もある。
「現状がどうなるかは分かりません」と彼女は警告した。「最大の問題は、こうした課題が存在することではなく、それらに対処できるスキルを持った人材が不足していることです。」®
