フェイスブックは木曜日、同社の超高性能AIアルゴリズムが先週のクライストチャーチ大量殺人事件のライブストリーミング映像を自動的に検出できなかったことをせいぜい何気なく認めた。
この反社会的な巨大企業は、自社のプラットフォーム上での有害コンテンツの拡散対策として、高度な人工知能と機械学習技術を繰り返し宣伝してきた。しかし、画像認識ソフトウェアは、シリコンバレーの最高峰の高給エンジニアを投入して問題に取り組んでも、すべてを検知することはできない。そのため、Facebookは、驚くべきことに、モデレーションの不足を補うために、依然として人間に頼っているのだ。
Facebookには約1万5000人のコンテンツモデレーターがチームを編成し、毎時間、場合によっては分単位で、膨大な量の心理的に有害な画像や動画を審査し、許可または削除しています。この仕事は精神的に非常に負担がかかるため、最終的な目標は、この作業をアルゴリズムに委ねることです。しかし、今日のAI技術には、比較的低賃金の請負人によるキューブファームに匹敵するほどの知能は備わっていません。
先週金曜日、ニュージーランドのクライストチャーチにあるアル・ヌール・モスクで起きた銃乱射事件で、ある銃撃犯が事件の最初の17分間をFacebook Liveでライブ配信しました。この事件では50人が死亡、多数が負傷しました。Facebookは今週、「この動画は自動検出システムをトリガーしませんでした」と認めました。シリコンバレーの巨大企業である同社は、荒らし、人種差別主義者、そして異常者によってこの動画がインターネット上で共有されたため、後にウェブサイトから150万枚の動画を削除したと発表しました。
Facebookは、動画が放送された当時、そしてその後すぐにプラットフォーム上で共有された際にも、AIソフトウェアが動画を認識できなかった原因を学習データの不足にあると非難した。今日のニューラルネットワークは、ポルノや暴力的なコンテンツなどを識別するために、数千、数百万もの事例を検査し、データのパターンを学習する必要がある。
Facebookは、「このアプローチは、ヌード、テロリストのプロパガンダ、そして暴力描写といった、システムの学習に活用できる事例が豊富な分野で非常に効果的でした」と述べています。「しかしながら、この特定の動画は自動検出システムをトリガーしませんでした。自動検出システムを起動させるには、この特定の種類のコンテンツに関する大量のデータをシステムに提供する必要がありますが、幸いなことにこのような事例は稀であるため、これは困難です。」
コンピュータービジョンシステムは誤検知に簡単に騙されてしまう。銃撃音が実際のテロ攻撃によるものか、アクション映画や一人称視点のシューティングゲームによるものかを見分けるのは困難だ。そのため、FacebookがAIの訓練を強化するまでは、常に人間のモデレーターによる判断に頼る必要があるだろう。
しかし、何千人もの人々がフラグ付けされたコンテンツを精査したにもかかわらず、ライブ配信終了から12分後にユーザーが映像を不適切だと報告したにもかかわらず、ニュージーランド警察がFacebookに直接連絡して削除されるまで、この動画は削除されませんでした。この映像は、たった一人のネットユーザーによって「自殺以外の理由」で望ましくないものとしてフラグ付けされており、そのため、モデレーターの優先順位が下がってしまったようです。
「今回の教訓を生かし、ライブ動画と最近ライブ配信された動画の両方について報告ロジックとエクスペリエンスを再検討し、迅速審査の対象となるカテゴリーを拡大する」とフェイスブックの製品管理担当副社長、ガイ・ローゼン氏は説明した。
動画は視覚的にも聴覚的にも認識しにくい
放送終了後、この動画はさらに4,000回視聴され、一人か複数のユーザーがその映像を撮影し、8chanなどの他の画像共有サイトに拡散しました。オーストラリアとニュージーランドの通信会社は、この攻撃を受けて、8chanをはじめとする他のウェブサイトへのアクセスを遮断し、画像の拡散を抑制しました。
Facebookのシステムは、この映像を検知すると、最初の24時間で、プラットフォームにアップロードされていた120万本の動画を削除しました。それでも、さらに30万本の動画がフィルターをすり抜け、投稿後に削除されました。
素晴らしい「AIソリューション」を自分で購入したのですね。ユーザーに直接配布するわけではないですよね？なぜそうしない方が良いのか、その理由をここで説明します。
続きを読む
アルゴリズムを回避する方法があるからです。映像は、わずかに異なるフレームで再編集したり、画質を変えたりすることで検出を逃れることができます。Facebookは音声コンテンツの照合によって動画を特定しようとしましたが、元の音声を削除して無害なものに置き換えるのは簡単なので、これもあまり効果的ではないでしょう。
「合計で、出回っていた視覚的に異なるビデオの亜種を800以上発見し、ブロックしました」とローゼン氏は述べた。
「これはISISなどの組織による公式テロプロパガンダとは異なる。ISISは一部の熱心な支持者に配布されるものの、主流メディアによって再放送されることはなく、個人によって広く再共有されることもない。」
しかし、Facebookは諦めておらず、昨年得た220億ドルの利益の一部を使って「マッチング技術」を改善し、「この種のバイラル動画の拡散を阻止」し、ライブ動画のフラグ付けに迅速に対応できるようにしたいと考えている。
「ニュージーランドで起きたことは恐ろしい出来事でした。私たちは、この恐ろしい攻撃によって影響を受けた犠牲者、その家族、そして地域社会に心からお見舞い申し上げます」とローゼン氏は締めくくった。®
