インターネットの不確実性の新時代をもたらすものとして歓迎されているリアルタイムのディープフェイク動画には、根本的な欠陥があるようだ。横顔を処理できないのだ。
これは、3Dアバター、ディープフェイク技術、2D写真からの3D画像レンダリングを専門とするMetaphysic.aiの結論です。同社が人気のリアルタイムディープフェイクアプリDeepFaceLiveを用いて行ったテストでは、画面に映っている人物が見た目通りの人物ではないことが、急に横を向いた際にすぐに判明しました。
テストでは複数のモデルが使用されました。ディープフェイク コミュニティからのモデルや DeepFaceLive に含まれるモデルもいくつか使用されましたが、顔を 90 度から見ると、ポーズを推定するために使用される Facial Alignment Network が何を見ているのか把握するのに苦労し、ちらつきや歪みが発生しました。
Metaphysic のテストから得られた 2 枚の画像。ディープフェイクされたジム・キャリーと、横を向いた結果を示しています。
「ほとんどの2Dベースの顔の位置合わせアルゴリズムは、正面からの顔のビューから横顔のビューにランドマークの数の50〜60％しか割り当てません」とMetaphysic.aiの貢献者であるマーティン・アンダーソン氏はブログ投稿で述べています。
十分な参照ポイントが見えなければ、ソフトウェアは偽の顔を投影する方法をまったく知ることができません。
ディープフェイクを脱線させる
ディープフェイクは、わずか数年で、画像に顔を重ね合わせるだけのものから、録画済みの動画に同じことを行うまでに進化しました。最新の技術では、リアルタイムの顔の入れ替えが可能になり、オンライン詐欺やサイバー犯罪でディープフェイクが使用されるケースが増えています。
VMwareの調査によると、回答者の3分の2が攻撃の一環として悪意のあるディープフェイクに遭遇しており、これは前年比13%の増加です。ただし、VMwareの調査では、回答者が遭遇したディープフェイク攻撃が事前に録画されたものかリアルタイムのものかは明記されておらず、サンプル数はわずか125人でした。
FBIは6月、リモート就職面接でディープフェイク技術を使用する詐欺師がいると警告した。FBIによると、この技術を使用する詐欺師が、顧客データや企業の機密情報へのアクセスにつながる機密性の高い仕事の面接で目撃されているという。
オンライン詐欺対策スタートアップ企業Sensity AIによると、ディープフェイク動画はライブ顔認識ソフトウェアを欺くためにも使用されているという。Sensityのテストでは、携帯電話からストリーミング配信されたディープフェイク動画を使用することで、10社中9社のアプリのロックを解除できたことが判明した。
この技術に対する懸念は深刻化しており、欧州連合（EU）はディープフェイクやその他の偽情報の発信源に十分な対策を講じていない企業に罰金を科す法律を制定しました。中国もディープフェイクに関する法律を制定し、この技術の悪用に対して法的処罰を科すとともに、中国が「ディープシンセシス」と呼ぶディープフェイクの合法的な使用には許可を得ることを義務付けています。
回避策はどのくらい続きますか?
Metaphysic のレポートによると、わずか数枚の静止画像から 3D シーンを生成できる Nvidia の Neural Radiance Field (NeRF) などの技術でも、側面の良好なビューを作成するのが困難になるという制限がある。
NeRFは「理論上、ほんの数枚の写真から様々な顔の角度を推定できる。しかしながら、解像度、顔の可動性、時間的安定性といった問題により、NeRFはプロフィール画像を適切に処理できるオートエンコーダモデルの学習に必要な豊富なデータを生成することができない」とアンダーソン氏は述べている。詳細を知るためにNVIDIAに問い合わせたが、まだ返答はない。
読者の皆様は、メタフィジックのデモンストレーションに登場したのは有名人の顔だけであり、彼らの横顔は既にフィルムや写真で数多く撮影されていることに気付くでしょう。一方、有名人ではない私たちのような一般の人は、横顔の写真をあまり持っていないでしょう。
「逮捕された経験がない限り、ソーシャルメディア上やオフラインのコレクションに、そのような画像を1枚も持っていない可能性が高い」とアンダーソン氏は書いている。
- FBIの警告：犯罪者はリモートの仕事のインタビューでディープフェイク動画を使用している
- ディープフェイク攻撃は、ライブの顔認識システムをオンラインで簡単に騙すことができる
- アマゾンは死者の声を届けることはできないが、そのディープフェイク音声はそれに匹敵する
- リアルタイムで防御に適応する武器化されたAIに備えよ、と教授は言う
AIスタートアップ企業Lexionの創業者でソフトウェアエンジニアのガウラフ・オベロイ氏も、2018年にディープフェイクを調査した際にほぼ同じことを発見した。オベロイ氏は自身のブログ記事で、コメディアンのジョン・オリバーのディープフェイクを深夜番組の司会者ジミー・ファロンの顔に重ねるとうまく機能するが、横顔ではうまく機能しない、と詳しく説明した。
「一般的に、対象の学習用画像は、挿入したい動画の向き、表情、照明を近似させる必要があります」とオベロイ氏は述べた。「そのため、一般人向けの顔交換ツールを開発する場合、対象者のほとんどの写真は正面を向いていることを考えると、顔交換は正面を向いている動画に限定するべきです。」
つまり、リアルタイム ディープフェイクを使用する詐欺師は、偽物だとすぐには分からないような横顔を作成するために必要なデータを持っている可能性は低いということです (よく撮影された有名人の顔を使用していない限り)。
ディープフェイカーがこの欠点を回避する方法を見つけるまでは、Zoom の相手に、有名人であろうとなかろうと、横顔を見せてもらうという方針を採用するのが得策です。®
