インターネットにはヘイトスピーチを吐き出す荒らしが溢れているが、機械学習アルゴリズムではその混乱を一掃することはできない。
ワシントン大学、カーネギーメロン大学、アレン人工知能研究所のコンピュータ科学者による論文によると、機械は白人よりも黒人のツイートを不快だと判断する傾向があることが分かりました。これは言語の微妙な違いに起因しています。都市部でよく話されるアフリカ系アメリカ英語（AAE）には、人種差別的なスラングや汚い言葉が散りばめられています。
しかし、たとえ不快な言葉が含まれているように見えても、メッセージ自体は攻撃的ではないことが多いのです。例えば、「昨日彼を見た」というツイートは有害度が6%と評価されますが、「昨日彼のケツを見た」というコメントでは、有害度は95%に急上昇します。「ケツ」という言葉は下品かもしれませんが、そのような文脈で使われる場合、攻撃的な意味合いは全くありません。
アフリカ系アメリカ英語（AAE）が標準的なアメリカ英語と比べて、誤って不快な英語として分類されている例。画像提供：Sap他
「有害な言葉を検索する際に、オンラインヘイトスピーチを検出するために使用されるツールであるPerspective APIの正確なバイアスのレベルを認識していませんでした。しかし、AIチャッターボットなどのアルゴリズムが否定的な文化的ステレオタイプや関連付けをいかに簡単に学習するかを調査した以前の研究から、ある程度のバイアスがあることは予想していました」と、論文の共著者でワシントン大学の博士課程の学生であるサーディア・ガブリエル氏は述べた。
「それでも、ウェブからのフィルタリングされていない大量のデータを提示されたときに、これらのアルゴリズムが人種や性別に関する有害なパターンをいかにうまく拾い上げるかを見るのは常に驚きであり、少し不安です。」
研究者たちは、Perspective APIによって有害と分類された2つのデータセットから収集した合計124,779件のツイートをTwitterに入力しました。この機械学習ソフトウェアは、もともとGoogleと、現在はAlphabet傘下で活動するインキュベーター企業Jigsawによって開発され、Twitterでは不適切なコメントをフラグ付けするために使用されています。
このツールは、アフリカ系アメリカ英語（AAE）スタイルで書かれた、攻撃的ではないツイートの46％を誤って扇動的と分類したが、標準的なアメリカ英語で書かれたツイートの場合はわずか9％だった。
「人々が何でも投稿できるプラットフォームであろうと、特定の種類の（潜在的に有害な）コンテンツを検出するアルゴリズムであろうと、一般的にどのようなテクノロジーを導入するかについては、非常に慎重にならなければならないと思います。プラットフォームは有害なコンテンツを削除するようますます圧力を受けていますが、現状ではこうした削除は少数派に対して逆効果になっています」と、論文の筆頭著者であり、ワシントン大学の博士課程学生であるマールテン・サップ氏はThe Register紙に語った。
Amazon Mechanical Turk サービスを通じて人間を雇い、同じデータセットからの 1,351 件のツイートを見て、コメントが自分にとって不快なものか、あるいは誰にとっても不快とみなされる可能性があるかを判断するように依頼しました。
半数強（約55%）が「誰にとっても不快な可能性がある」と分類されました。しかし、ユーザーの人種とAAEの使用状況を考慮するよう求めると、その割合は44%に低下しました。
Q. 機械学習がそんなに賢いのに、なぜAIモデルは人種差別的、性差別的、同性愛嫌悪的なのでしょうか？ A. 人間は本当にダメです
続きを読む
「私たちの活動は、ヘイトスピーチや有害な言葉遣いが極めて主観的で文脈に依存するものであることを改めて認識させるものだ」とサップ氏は語った。
「方言、俗語、そして内集団と外集団について考える必要があります。また、外集団が話す中傷的な言葉が、内集団が話すときには実は取り戻した言葉になる可能性もあるということも考慮する必要があります。」
この研究は、AIモデルが常識を理解できるほど世界を理解していないことを改めて浮き彫りにしています。Perspective APIのようなツールは、人間の言語の微妙なニュアンスやスペルミスに遭遇すると、しばしば失敗します。
Facebookなどの他のソーシャルメディアプラットフォームが暴力やポルノなどの検出に採用している同様のモデルも、同じ理由で機能しないことが多い。だからこそ、これらの企業は機械だけに頼ることができず、疑わしいコンテンツのモデレーションを行うために人間の契約社員チームを雇わなければならないのだ。
Sap 氏は、コンテンツのモデレーションから人間を排除するのは正しい方法ではないと考えています。
従業員にアフリカ系アメリカ人英語の存在をより意識させ、一見卑猥に見える言葉でも話す人によっては無害な場合もあることを意識させることで、偏見をいくらか軽減することができました。人間がこの仕事においてどれほど欠陥があるか、特に一部の企業がコンテンツモデレーターに課している労働環境を考えると、人間がこの仕事において完璧だとは到底思えません。しかし、人間をこの仕事から排除することが必ずしも正しい道だとも思いません。人間とAIが協力し合う環境が最善の選択肢である可能性が高いと思いますが、それは時が経てば分かるでしょう。®
