分析フェイスブックは、ソーシャルネットワーク上の資料を精査し、自殺の可能性があると思われる人々を特定して支援を提供する謎のソフトウェアを使用している。
これは、マーク・ザッカーバーグCEOが今年初めに6,000語に及ぶマニフェストで言及した、ある新しいテクノロジーです。しかし、彼の部下たちは、この不気味なシステムの実際の仕組みについて口を閉ざしています。これは、10億人以上の人々の心理状態を、オンラインで話したり共有したりする内容を通して、目に見えない形でリアルタイムで監視・評価するソフトウェアだと説明されています。私たちが知る限りでは、このソフトウェアは、ソーシャルネットワーク上で特に憂鬱な発言をしていると、人間の担当者に介入を促し、友人からの自殺願望の報告を優先的に処理するようです。
何が問題になるのか？ 次はどこへ向かうのか？ 2014年のように、感情を揺さぶる実験に利用されるのだろうか？ もし既に利用されていないのであれば、広告に利用されるのだろうか？ 今週の憂鬱な投稿ノルマを達成したら、休暇や週末旅行のバナーが表示されるのだろうか？ これらは、私たちがFacebookに投げかけた質問ですらない。もっと単純な質問だった。しかし、沈黙は続いた。
製品管理担当副社長のガイ・ローゼン氏は今週のブログ投稿で、「パターン認識」と「人工知能」によって、自殺願望を表明している可能性のある投稿やライブ動画を検出し、専門の審査員に速やかに知らせると述べた。
一枚の写真は千の言葉に匹敵する。Facebookでは、AI翻訳者を教育するために写真を使った投稿が約750件ある。
続きを読む
ソフトウェアとFacebookの審査チームが、ユーザーが自傷行為や自殺の恐れがあると判断した場合、サイトやアプリにアクセスした際にダイアログボックスがポップアップ表示され、メンタルヘルスに関するヘルプライン、相談できる友人、そして「困難な状況を乗り越える」ための「ヒント」に関する情報が提供されます。少なくとも、これは助けになる。Facebookがこのような対応をするのは、死者は広告を見ることができないからだと主張するのは、冷酷な皮肉屋だけだろう。そうだろうか？
詳しく調べてみると、このソフトウェアが本当にどれほど賢いのか、そして一部のジャーナリストが付けたような甘い見出しを正当化できるのか、疑問に思わざるを得ません。動画検出機能は興味深いものの、テキスト分析は単なるグレープ検索のようです。「投稿やコメントに使われているテキストなどのシグナル（例えば、『大丈夫ですか？』や『何かお手伝いしましょうか？』といったコメントは強力な指標になり得ます）を活用しています」とローゼン氏は言います。「場合によっては、この技術によって、これまで報道されていなかった可能性のある動画を特定できたこともあります。」
不可解なことに、この機械学習テクノロジーは欧州連合では導入されない予定だが、これは欧州の新しいプライバシー規則である一般データ保護規則（GDPR）が原因と思われる。
Facebookに6つの率直な質問をしました。皮肉ではなく、10億人以上の人々を監視するシステムを精査したかっただけです。製品チームは検討中だと認めながらも、何の回答も得られませんでした。Facebookが答えられなかった、あるいは答えようとしなかった6つの質問は以下のとおりです。
Q. AIシステムはどのように機能しますか?
Facebookのブラックボックスソフトウェアがどれほど洗練されているのか、また、そもそもそのようなものを使用しているのかどうかも不明です。Facebookの投稿に感情分析を適用し、ユーザーの気分（幸せ、悲しみ、多動など）を検知するといった単純なものかもしれません。あるいは、投稿文を注意深く観察し、性別、居住地、交際状況、好きなスポーツチーム、年齢、人種など、様々な要素を考慮して自殺の可能性を推測するような、はるかに複雑なものかもしれません。
Q. トレーニングデータはどこから入手したのですか?
Facebookは、自殺傾向の有無を判断するモデルを学習させる際に、どのような事前情報が使用されたのか、詳細を明らかにしていません。データにはどのようなバイアスが存在するのか、あるいは存在する可能性があるのでしょうか？例えば、Facebookのエンジニアが居住することが多い、高級な沿岸都市とその周辺地域に住んでいない有色人種の自殺傾向のある人が、システムが彼らの状況を把握していないために検出されない可能性はあるのでしょうか？AIモデルは通常、膨大なデータセットで学習されます。物体認識システムの学習に使用されるImageNetには、約1,000万枚の画像が収録されています。FacebookはどのようなGlumNetを使用しているのでしょうか？記事を登録するのでしょうか？
Q. そのデータはどの程度代表的でしょうか?
Facebookは、自傷行為に陥りやすい、あるいは陥りやすい可能性のある人々のプロファイルを作成するために、米国および海外の自殺統計のスプレッドシートを精査したのかもしれません。データの妥当性に疑問を呈することが重要です。学習データのバイアスはアルゴリズムに引き継がれ、モデルの判断が誤っている場合、悪影響が生じる可能性があります。
自殺傾向にあると誤って分類され、Facebookから「今、あなたに特別なサポートが必要かもしれないと誰かが考え、私たちに助けを求めています」というメッセージが届くと、人々は迷惑に感じるかもしれません。さらに深刻な問題は、モデルが学習した想定に当てはまらないという理由だけで、兆候に気づかなかった場合です。Facebookは、このシステムはアメリカでテストされており、「最終的にはEUを除く世界中で利用可能になる」と述べています。自殺に対する考え方は文化によって異なり、アメリカの価値観に基づいてトレーニング・テストされた同じモデルが、アジア、アフリカ、その他の地域のユーザーにも同様に機能するかどうかは不明です。
Q. ヨーロッパの問題は何でしょうか?
おそらく、来年施行されるプライバシーとデータセキュリティに関する厳格な規則である一般データ保護規則（GDPR）の影響でしょう。Facebookのソフトウェアがなぜこの新規則に準拠していないのか、そしてこれがEU内でユーザーデータを必要とする将来のツールにどのような影響を与えるのかは疑問です。金持ちのFacebookでさえAIとGDPRを連携させることができないのであれば、他に希望があるでしょうか？
Q. どのような人間の介入が行われていますか?
判断はすべて機械に任せられているわけではなく、ソーシャルメディア界の巨人であるFacebookは、自殺の可能性がある投稿がフラグ付けされた後、コミュニティ運営チームの訓練を受けたメンバーに評価を委ねていると述べています。ブログ記事によると、Facebookは一部のユーザーの協力を得て、「100以上の健康チェック」を行い、真に自殺願望があるかどうかを判断するとされています。一体どのようなものなのでしょうか？誰が投稿や動画を審査するのでしょうか？
ブログ投稿に掲載された動画では、Facebookからの警告を受けて警察が高リスクの状況に介入する様子が映し出されています。しかし、自殺リスクが低い人に対しては、他にどのような措置が取られているのかは不明です。ウェブサイトはどの時点で911番や999番に通報するのでしょうか？Facebookは、報告された投稿、動画、ライブ配信を審査する順番を優先順位付けしていると述べていますが、そのランキングシステムの仕組みについては明らかにしていません。
Q. これまでに何か目立った成果はありましたか？
Facebookに投稿した後に自殺する人の割合はどれくらいでしょうか？ どれくらいの人が阻止されるでしょうか？ どれくらいの期間で阻止されるでしょうか？ 他にも興味深い質問があり、その答えは自殺防止を目指す他のソーシャルメディアプラットフォームにとって有益な洞察となる可能性があります。Facebookがそれらの情報を共有してくれると助かります。
何よりも、助けが必要な時は、訓練を受けた本物の専門家が待機しており、耳を傾けてくれます。米国では、1-800-273-8255に24時間年中無休で無料でお電話いただくか、オンラインでお問い合わせください。英国ではサマリア人支援団体、カナダではクライシス・サービス・カナダ、オーストラリアではライフライン®をご利用ください。
