Adobe が開発したビデオ人工知能は、Adobe Photoshop を使用して画像がどのように操作されたかを検出し、操作された画像がどのような外観になるかを予測できます。
このソフトウェア大手の研究者たちは、カリフォルニア大学バークレー校の研究者と協力し、本質的に Photoshop の効果を元に戻すツールを開発し、できれば近いうちにリリースする予定です。
Adobeの「Adobe Face Aware Liquify」機能を使えば、顔の特徴を歪ませることができます。笑顔をしかめっ面に変えたり、顔をスリムにしたり、左右対称にしたりできます。しかし、マーケティング、アート、グラフィックデザイン、そしていたずらなど、様々な用途で画像をデジタル編集・加工できるアプリケーション群を展開するテクノロジーの巨人Adobeは、今、デジタル加工された写真を見破ることに関心を寄せています。
研究チームは、Face Aware Liquify で編集されたポートレートにおける幾何学的な変更を検出する畳み込みニューラルネットワーク（CNN）を構築しました。このモデルは、ヒートマップを用いて、写真の変更された領域を強調表示し、どの部分が最も調整されたかを示します。この情報を基に、CNNは変更を元に戻し、元の画像がどのような外観になるかを予測することもできます。
以下は、アルゴリズムが元の写真と CNN の仕組みを説明するビデオを正常に再現できた例です。
Photoshopで加工された画像では、女性の顔は細く、笑顔になっています。しかし、実際には顎のラインが広く、笑顔ではありません。左から1枚目：加工後の画像。2枚目：CNNが予測したPhotoshopの加工効果を示すヒートマップ。3枚目：CNNが加工を元に戻そうとした画像。4枚目：元の画像。
YouTube動画
CNNは110万枚の画像を用いて学習させられました。そのうち15万7000枚は未加工、94万2000枚は「顔認識ゆがみ」ツールを用いてデジタル加工されています。CNNは、目を大きくしたり顔をほっそりさせたりといった、人を魅力的に見せるために用いられる微妙なパターンを認識するようになりました。
次に、人気画像共有サイトFlickrから収集した50枚の画像を編集する課題がアーティストに与えられました。これらの画像は、編集されていない別のFlickr写真50枚と混在し、CNNがPhotoshop加工された画像を正確に検出し、その効果を元に戻せるかどうかをテストしました。
このモデルは偽画像を93.9%の精度で認識し、98.9%の精度で復元することができました。人間は画像がデジタル加工されていることに気づきにくいことを考えると、これは非常に印象的です。研究者たちは一連の実験を行い、人間とコンピューターのPhotoshop加工画像認識能力を比較しました。
Adobeは現実を守りたいだけ
Amazon Mechanical Turkで40人の参加者を募り、35組の画像を6秒間並べて表示した。その後、どちらがPhotoshopで加工されているかを選択するよう指示されたが、正解率はわずか53.5%だった。
「顔の形状には様々なバリエーションがあるため、不可能に思えるかもしれません」と、arXivで発表された研究論文の共著者であり、米国カリフォルニア大学バークレー校のコンピューターサイエンス教授であるアレクセイ・エフロス氏は述べています。「しかし、今回のケースでは、ディープラーニングは歪みアーティファクトなどの低レベルの画像データと、レイアウトなどの高レベルの手がかりを組み合わせて分析できるため、うまく機能するようです。」
CNN のパフォーマンスは良好ですが、Adobe の Face Aware Liquify ソフトウェア パッケージを使用して行われた変更を検出するように特別にトレーニングされており、他の編集ツールが使用されている場合はうまく機能しない可能性があります。
「画像編集を元に戻せる魔法の万能『元に戻す』ボタンというアイデアは、まだ現実には程遠い」と、論文の共著者であり、アドビ・リサーチの研究者であるリチャード・チャン氏は先週末に述べた。「しかし、私たちは消費するデジタル情報を信頼することがますます難しくなっている世界に生きている。」®
