ソーシャル ネットワークから私たちのオンライン生活に関するあらゆる情報を掘り出すことは、マーケティング担当者、研究者、政府機関などにとって、今では一般的な慣行となっています。
ツイート、ブログ、その他の投稿に含まれるテキストは、検索や分析が可能で、クロール、取得、保存にかかるコストもそれほど高くないため、価値があります。しかし、コンピュータービジョンの継続的な進歩により、画像にエンコードされた豊富な情報も利用可能になりました。
今週初め、カリフォルニア大学ロサンゼルス校の研究者らは、抗議活動者を見つけ出し、彼らの活動を特徴づけ、描写された暴力のレベルを評価するために画像を分析する方法を説明した。
「ソーシャルメディア画像からの抗議活動の検出と暴力認識の推定」と題された論文の中で、大学院生のウォン・ドンヒョン、公共政策助教授のザカリー・C・シュタイナート・スレルケルド、コミュニケーション研究助教授のジュンソク・ジュは、テキストは信頼できない可能性があるため、抗議活動を理解するために画像をどのように使用できるかを検討している。
「私たちの手法の重要な特徴は客観性です」と、ジュ氏はThe Registerへのメールで述べた。「文章は簡単に捏造できます。偽のアカウントもたくさんあります。抗議活動を暴力的だと言う人もいれば、平和的だと言う人もいるでしょう。しかし、実際に撃たれて血を流している人々の写真を見れば、それが暴力的だと分かります。」
ジュ氏によると、ここで新しいのは、テキストではなく画像から行動を認識できる点だ。「現時点では、ソーシャルメディア上の視覚コンテンツを分析して社会の動きを特徴づけることができる研究は他にありません」と彼は述べた。「画像を使った研究は他に知りません」
研究者たちは、キーワード検索とTwitterのデータストリームを通じて、抗議活動に関連する可能性のある画像1万枚を収集しました。その後、分類畳み込みニューラルネットワークを訓練し、抗議活動に関連する可能性のある画像セットと否定例セットを構築しました。そして、これらの画像をAmazon Turkの作業員に渡してアノテーション処理を行いました。
ターカーたちは、画像に抗議活動や抗議者が含まれているかどうかを特定し、シーン内の視覚的属性を識別し、暴力や感情の認識レベルを推定するよう指示された。
UCLAの研究者たちは、このデータから構築したモデルと、顔認識用のOpenFaceや機械学習用のdlibなどの他のソフトウェアを用いて、抗議行動認識システムを設計した。彼らは、このシステムは画像内の暴力行為の識別には非常に優れているものの、感情の識別にはそれほど優れていないと主張している。これは、Amazon Mechanical Turkの作業員が生成した学習データの一貫性の欠如に起因する可能性があると彼らは示唆している。
研究者たちは、このシステムを5つの抗議活動（女性行進、ブラック・ライブズ・マター、韓国、香港、ベネズエラでの抗議活動）に適用し、「ベネズエラでの抗議活動は他の抗議活動よりも暴力的で怒りに満ちている」、そして「女性行進は研究対象となったすべての抗議活動の中で最も暴力的で怒りに満ちていない」と主張している。
また、女性行進には女性が多く、ブラック・ライブズ・マターにはアフリカ系アメリカ人が多かったこと、そして画像に写る大人数の集団の多さから判断すると、韓国の抗議活動は最もよく組織されていたと指摘している。
このような結論は直感的なものかもしれないが、既に認められているアルゴリズムから導き出された意見であれば、異論を唱えられる可能性は低い。「私たちの論文は、抗議活動の公正かつ客観的な報道を可能にするだろう」とジュ氏は説明した。
研究者らのモデルは完璧ではない。ブラック・ライヴズ・マター抗議運動における「ダイイン」のような象徴的な行為の意味を理解できなかったと研究者らは指摘している。つまり、犠牲者を装う人々を実際の犠牲者として扱う可能性があり、それが計算上の暴力レベルに影響を与える可能性がある。しかし、今後は改良と改良が重ねられることが予想される。
ソーシャルメディアウォッチャーを監視するのは誰か
ペンシルベニア州ピッツバーグにあるカーネギーメロン大学ヒューマンコンピュータインタラクション研究所の准教授ジェフ・ビッグハム氏は、 The Registerへの電子メールの中で、科学者らは長年、活動追跡にコンピュータービジョンを採用してきたと述べた。
同氏は、このような研究はそれがどのように使われるのかという疑問を呼ぶと述べた。
「コンピュータービジョンの能力向上と政治情勢の悪化により、例えば独裁政権が政治的反体制派の特定にコンピュータービジョンを大規模に利用するのではないかと、多くの人が懸念し始めています」と彼は述べた。「先週発表された論文では、顔が部分的に隠されている抗議活動参加者の特定において、ある程度の精度があると主張していました。」
UCLAの研究の詳細については触れなかったものの、ビッグハム氏はAmazon Mechanical Turkで生成されたデータは問題を引き起こす可能性があると述べた。「ターク利用者が暴力的だと分類したものが本当に暴力的なものなのか、そして権威主義者が標的にするようなものなのかについては、非常に微妙な点があります」と同氏は述べた。
シュタイナート＝スレルケルド氏は、 The Registerへのメールで、彼と同僚たちは特定のエンドユーザーを念頭に置かずにこのプロジェクトに取り組んだと述べた。「政府が、暴力的であろうとなかろうと、こうした活動の検出に関心を持つ理由は想像に難くありません」と彼は述べた。「一方で、抗議活動の主催者は、抗議活動が暴力的になりつつあるかどうかを確認するために写真を監視できるでしょう。」
彼は、暴力的な運動は非暴力的な運動よりも支持が少ない傾向があるため、抗議活動の主催者は緊張を緩和するために、この種の技術を使って新たな暴力行為を監視するかもしれないと示唆した。
高性能な画像やテキスト監視技術の開発がソーシャルメディアへの参加を阻害する効果をもたらすのではないかと懸念しているかとの質問に対し、同氏は懸念していないと答えた。
「政府や大企業のデータ収集・分析能力は、このプロジェクトで私たちが持つ能力をはるかに上回っています」とシュタイナート＝スレルケルド氏は述べた。「彼らはすでに抗議活動の検知や変化の予測にテキストを利用しており、画像も既に活用しているはずです。」®
