研究者が安定拡散から抽出した画像の例
「実際の攻撃では、敵は個人情報を抜き出そうとするため、画像に使われているラベルやキャプションを推測するだろう」と研究の共著者らはThe Registerに語った。
攻撃者にとって幸いなことに、私たちの方法は、推測が完璧でなくても機能することがあります。例えば、トレーニングセットのキャプション全体（「アン・グラハム・ロッツと光の中で生きる」）を入力する代わりに、Stable Diffusionにアン・グラハム・ロッツの名前を入力するだけで、彼女の肖像を抽出できます。
モデルが記憶している画像のみを抽出できます。モデルが記憶できるデータの量は、学習データやサイズなどの要因によって異なります。同じ画像のコピーは記憶される可能性が高く、パラメータが多いモデルは画像を記憶できる可能性も高くなります。
- Googleは来週のライブイベントでAI搭載の検索機能を発表する予定
- マイクロソフトの研究者はExcelにAIを搭載することを検討している
- AIの受容を阻んでいるのは人間の傲慢さだ
- 生成AIは制御不能：Nothing, Foreverは、永遠に何もないことを描いたサインフェルドのパロディ
研究チームは、Stable Diffusionの学習に使用した35万件のサンプルから94枚の画像、GoogleのImagenモデルの1,000件のサンプルから23枚の画像を抽出することに成功しました。比較すると、Stable Diffusionは8億9,000万のパラメータを持ち、1億6,000万枚の画像で学習されましたが、Imagenは20億のパラメータを持ちます。正確な学習に使用された画像の枚数は不明です。
「安定拡散モデルでは、記憶された画像のほとんどはトレーニングセット内で100回以上複製されていましたが、中には10回しか複製されていないものもありました」と研究者らは述べています。「安定拡散モデルよりも大規模で、より小規模なデータセットでトレーニングされたGoogleのImagenモデルでは、記憶ははるかに頻繁に行われているようです。ここでは、トレーニングセット全体で1回しか存在しないにもかかわらず、抽出可能な外れ値画像がいくつか見つかりました。」
大規模なモデルがより多くの画像を記憶する傾向がある理由はよくわかっていませんが、パラメータにより多くのトレーニングデータを保存できることと関係があるのではないかと考えています。
これらのモデルの記憶率は非常に低く、実際には画像の抽出は面倒で困難です。攻撃者は、モデルに記憶されたデータを生成させるために、推測して多数のプロンプトを試さなければなりません。それでもなお、チームは開発者に対し、生成AIモデルをプライベートな機密データで訓練することは控えるよう警告しています。
「記憶がどれほど悪影響をもたらすかは、生成モデルの用途によって異なります。医療分野（胸部X線写真や医療記録のトレーニングなど）のようなプライバシーが極めて高いアプリケーションでは、たとえごく一部のユーザーに影響するとしても、記憶は非常に望ましくありません。さらに、プライバシーに配慮したアプリケーションで使用されるトレーニングセットは、現在の生成アートモデルのトレーニングに使用されるものよりも通常小さいです。そのため、重複していない画像も含め、記憶がはるかに多くなる可能性があります」と彼らは述べています。
データ抽出を防ぐ方法の一つは、モデルにおける記憶の可能性を減らすことです。例えば、トレーニングデータセットから重複を取り除くことで、画像が記憶され抽出される可能性を最小限に抑えることができます。Stable Diffusionの開発元であるStability AIは、研究者らの発見とは無関係に、重複が少ないデータセットで最新モデルをトレーニングしたと報じられています。
「ネット上でよく見られた議論は、『これらのモデルは学習データを記憶しない』といった類のものだ。今ではこれが明らかに誤りであることが分かっている。しかし、これが法的な議論において実際に重要かどうかも議論の余地がある」と研究者らは結論付けた。
「少なくとも今のところ、訴訟の両当事者は、より具体的な事実を頼りにできる。確かに記憶は起こるが、それは非常に稀であり、主に高度に複製された画像で起こるようだ。」®
