インターネットのハンドルネームやメールアドレスから人の性別をAIで予測しようとした物議を醸したツールの作成者は、大きな反発を受けてサービスを停止した。
Genderifyアプリは今月リリースされ、ウェブサイトで無料トライアルを開始しました。しかし、ネットユーザーはその性差別的な性質に気づき、愕然としました。ユーザー名やメールアドレスに「看護師」という単語が含まれていると男性よりも女性に関連づけられやすく、「医師」や「教授」は女性よりも男性に関連づけられるなど、よくあるステレオタイプ的な解釈が蔓延していたのです。つまり、医師や教授の称号を持つ女性学者は、Genderifyによって男性と判断される可能性が高かったのです。
できないよ... pic.twitter.com/XmFh2nPo8B
— アリ・アルカティブ (@_alialkhatib) 2020年7月28日
ジェンダーファイが人々を二つの性別に分類し、男性にも女性にも属さない人々を無視していることにも、多くの人が失望した。マサチューセッツ工科大学の市民メディア准教授、サーシャ・コンスタンザ＝チョック氏は、レジスター紙に対し、この二元的な分類が、例えばオンライン上のユーザーに表示するターゲット広告の選択に利用された場合、いかに有害となり得るかを説明した。
「トランスジェンダーの男性が、ステレオタイプ的に女性的な広告のターゲットにされたら、あるいはその逆のケースで、どう感じるか考えてみてください」とコンスタンザ・チョック氏は述べた。「あるいは、誤ったジェンダーに基づく憶測に基づいて人々に求人広告を見せないことで生じる機会損失の損害を考えてみてください。」
さらに、このツールはしばしば間違っていたり、全く奇妙な結果をもたらしたりした。例えば、ネット上のニックネームに「女性」という言葉が含まれている場合、そのネットユーザーが男性である確率は96%以上、女性である確率は4%未満であると確信していた。
うーん pic.twitter.com/s3m1sFF5so
— Alex Betsos、Marquis De Réagent (@ADrugResearcher) 2020 年 7 月 28 日
このツールがいかにひどいものかを示すため、ジェンダーファイの最高執行責任者（COO）であるアレヴィク・ガスパリアン氏（女性）の名前を入力し、ソフトウェアに分析させたところ、残念ながら91%以上の確率で彼女が男性であると予測されました。
Genderify のウェブサイトは現在閉鎖されています (Wayback Machine のおかげで、当時の様子を見ることができます)。
しかし、サービスが停止される前に、同プラットフォームの広報担当者はThe Registerに対し、クラウドプラットフォーム上に同様の性別推測APIが多数存在すると語っていた。「過去6年間、複数の企業が同様の技術を公開してきましたが、性別判定によって被害を受けたという話を聞いたことはありますか？」と広報担当者は問いかけた。
The Registerがウェブサイトのサポートスタッフに不適切な結果の例を送った際、Genderifyは自社のツールが常に完璧ではないことを認めた。「当社のモデルが理想的な結果を提供することは決してなく、アルゴリズムには大幅な改善の余地があることは承知していますが、既存のソリューションのように偏りのない自己学習型AIを構築することが目標でした」と担当者は述べた。
ああ、大変だ…オンラインでヘイトスピーチをフラグ付けするために使用されるAIモデルは、黒人に対して人種差別的である
続きを読む
同社は、改善にはLGBTQコミュニティの協力が必要だったと述べている。「そして、これを機能させるために、私たちはトランスジェンダーやノンバイナリーの訪問者からのフィードバックに大きく依存し、LGBTQ+コミュニティのために性別検出アルゴリズムを可能な限り改善するのに協力してくれました。」
当初、ジェンダーファイはウェブサイト上のFAQを更新し、性差別を避ける方法についての質問に答えることで批判を鎮めようとした。
「当社のAIモデルの判断は既存のバイナリ名と性別のデータベースに基づいているため、製品チームはトランスジェンダーやノンバイナリーの訪問者の体験を向上させる方法を積極的に検討しています。例えば、チームは名前／ユーザー名／メールアドレスの概念を性自認から切り離す取り組みを進めています」と、同社のウェブサイトには以前記載されていました。
しかし、インターネット上の激しい非難がTwitterフィードに降り注ぐ中、プラットフォームは最終的にこのツールを完全に削除しました。「このような『温かい』歓迎を受けた後では、偏った現実を変えるために時間と労力を費やす価値があるのか確信が持てませんでした」と、あるスピナーはEl Regに語りました。®
