オンラインQ&Aサイト「Stack Overflow」は「歓迎的でフレンドリーな場所」を目指しており、その目標達成のため、オンラインコミュニティのメンバーが離れてしまうことのないよう、不親切なコメントを捕捉する感情検知コードを導入している。
2008年に設立されたStack Overflowは、ユーザーが質問を投稿し、それに回答することで成り立っています。しかし、テキストでの敵意を前にすると、ユーザーはそうしたくないかもしれません。2009年4月になってようやく、ユーザーがコメントにフラグを付けてモデレーターに報告できるシステムが導入されました。モデレーターはコメントを確認し、削除などの対応策を投票で決定します。
この点では、Stack Overflow は、何らかの形式のコンテンツ モデレーションを実装している多くの Web サイトと同様です。
しかし、Stack Overflow はコメントの取り締まりをさらに強化し、2019 年 7 月に Unfriendly Robot V1 (UR-V1) を導入しました。これは、Fastai ライブラリを使用してテキスト分類モデルを構築するための Universal Language Model Fine-tuning (ULMFiT) と呼ばれる自然言語処理 (NLP) トレーニング メソッドを実装したコードの寄せ集めです。
Stack Overflow 開発者 Jason Punyon 氏と Kevin Montrose 氏の投稿で説明されているように、テキスト チェック ボットは、特定の定義ではなく、サイト ユーザーによってフラグが付けられたコメントのデータセットを使用して、「非友好的なコメント」を認識するようにトレーニングされています。
Stack Overflow コミュニティからのフィードバックにより、コメントの約 7 パーセントが非友好的または非歓迎的であることが判明しました。これは、虐待や嫌がらせとは異なる用語です。
「私たちの使命は、すべての開発者と技術者にとってのリソースとなることです」と、Stack Overflowのプロダクトマネージャー、デザリー・ダリレク氏はThe Registerへのメールで説明した。「Stack Overflowが誰にとってもアクセスしやすく、誰もが利用できるようにコミュニティを拡大することは私たちにとって重要です。そして、ユーザー同士の不快感を軽減することで、新規ユーザーと既存ユーザーにポジティブな体験を提供することにつながります。」
UR-V1 とその後継機種である UR-V2 は、悪臭の抑制に大きく貢献しているようです。
UR-V1は2019年7月11日から9月13日までの運用期間中、1,715,693件のコメントのうち15,564件（約0.9%）にフラグを付けました。これらの疑わしいコメントのうち、人間のモデレーターはボットが提案したフラグを6,833件承認しました。承認率は約43.9%です。
一方、人間によって不親切と判断されたコメントは4,870件で、これは約0.2%に相当します。このうち、モデレーターによって承認されたのは2,942件で、承認率は約60.4%です。UR-V1は、モデレーターによるレビュー後、人間の親切なコメントの2倍以上の不親切なコメントを阻止するのに貢献しましたが、精度は大幅に劣っていました。
後継のUR-V2は2019年9月13日に運用を開始しました。それ以来、Stack Overflowには4,251,723件のコメントが投稿され、UR-V2は35,341件（約0.8%）にフラグを付けました。人間のモデレーターは、これらのプログラムによるフラグのうち25,695件（72.7%）を承認しました。これは、精度が約30パーセントポイント向上したことを意味します。
Stack Overflowは追放されたモデレーターと和解し、行動規範に関する2020年のビジョンを持って新年を迎えたいと考えている
続きを読む
それ以来、Stack Overflow のユーザーは 11,810 件のコメントを非友好的であるとフラグ付けし、モデレーターはそのうち 7,523 件のフラグを承認しました。
「この期間中、UR-V2のフラグは人間のフラグよりも14％多く受け入れられ、モデレーターが人間のフラグ作成者のみよりも4.4倍多くのコメントを削除するのに役立ちました」とパニョン氏とモントローズ氏は投稿で説明した。
ダリレック氏によると、同社のサイト満足度調査では、不快なコメントが最大の懸念事項として挙げられたという。また、同社は後日、ボットがユーザー満足度に及ぼす影響について調査する予定だと述べた。
Stack Overflowは、意図的な不親切だけでなく、意図せぬ軽蔑も阻止したいと考えていることに留意すべきです。そして、この業界のアプローチに賛同する人は必ずしも多くありません。
Stack Overflow の投稿に対する 2 つのコメントで、ロンドンを拠点とする開発者のマーク・アメリー氏は、丁寧な言葉をエンコードする方法が存在することに対して懐疑的な見方を示し、そうすることは異なる背景を持つ人々を罰することになると示唆した。
「見た瞬間に削除すべきほど悪質なコメントを法典化したり、自動で検知したりするのは一つのことですが、より曖昧で議論の多い「何が敬意に値するか」という問題を法典化しようとするのは全く別の話です。そして、検閲と処罰の権限を持つ当局に、そのような法典化を法令で発布するよう求めるのもまた別の話です」と彼は述べた。「私たちはこの問題を何度も繰り返し議論してきましたが、結局は対立と苦悩しか生みませんでした。私たちはもう学ぶべきではないでしょうか？」
昨年、Stack Overflow は、人気のあるモデレーターの削除と物議を醸した行動規範の変更をめぐって、モデレーターによる小規模な反乱に直面し、訴訟の脅迫や複数回の謝罪に至った。
モデレーションへの取り組み方に異議を唱える人々について尋ねられると、ダリレック氏はコミュニティ内には常に幅広い視点が存在すると述べた。
「10年間、私たちのポリシーは『親切にしましょう』というシンプルなものでした。不適切なコメントはユーザーから報告され、モデレーターが対応していました」とダリレック氏は述べた。「2018年8月、ベテランユーザーと新規ユーザーの協力を得て、『親切にしましょう』というポリシーを公式の行動規範に拡大し、それ以来ずっと適用されています。」
「私たちの公式見解は、微妙な侮辱や非友好的な言葉遣いは容認されないというものです。これが私たちの基準であり、私たちはできる限りそれを遵守するよう人々に求めていきます。これまでは人間が生成したフラグを使っていましたが、今では機械学習をツールセットに追加しました。」
非友好的なコメントにフラグを付けることで何かが失われるのか、また、友好度を最適化したことでサイトの利用をやめてしまう人がいるかどうかを調べる努力は行われたのかと尋ねられると、ダリレック氏はその考えを否定した。
「コンテンツの質とユーザーの行動を調べたが、コメントフラグによる悪影響は見られなかった」と彼女は述べ、同社ではフラグシステムを改善するために、モデレーターが誤判定したコメントを収集していると指摘した。
「非友好的なコメントは人々を遠ざけてしまいます」とダリレック氏は述べた。「私たちのデータによると、ロボットによってフラグ付けされたコメントを受け取った人は離脱率が高く、再び戻って投稿するまでに時間がかかることが分かっています。質的に見て、非友好的なコメントはコミュニティから寄せられる最大の悩みの種です。」®
