ある大学は、数千件の博士課程出願を選別するために使用していた機械学習ツールを廃止すると発表したが、ちょうどその頃、そのソフトウェアの開発者らはコードに関する講演を行い、世間の批判を浴びていた。
GRADEアルゴリズムは、テキサス大学オースティン校の2人の研究者によって開発され、2013年から今年まで、同大学の名門コンピュータサイエンス学部の博士課程への出願者の評価に使用されていました。このソフトウェアは、過去に合格した学生の詳細情報を用いて学習されました。大学側が好む人材をシステムに特定させ、出願書類の最終決定を下す職員にその人材をハイライト表示させるという狙いです。このプログラムは、過去のデータから除外されていた特定の経歴を持つ出願者に対する偏見を拾い上げてしまった可能性があります。
応募者にはコードによって0から5までの点数が与えられ、高得点者はGRADEによって大学職員に紹介されました。開発者らは、このソフトウェアの技術を説明した論文の中で、このソフトウェアによって「応募者一人当たりに必要な完全な審査回数が71%削減され、控えめに見積もっても書類審査に費やされる時間は少なくとも74%短縮された」と述べています。つまり、点数の低い応募者には職員からあまり注目されなかったということです。
コンピュータサイエンス学科は現在、GRADEアルゴリズムから距離を置いている。当初は、このコードが不公平なバイアスを拾い上げる可能性があると述べ、後に維持が困難であると主張した。「テキサス大学オースティン校のコンピュータサイエンス学科は、2020年初頭に大学院入学評価システム（GRADE）の使用を中止しました」と、広報担当者は月曜日にThe Register紙に宛てた声明で述べた。
このシステムは、2013年度から2019年度にかけて、コンピュータサイエンス学科の大学院入学選考に使用されました。研究者らは、同学科の大学院課程への志願者の増加に対応するために、この統計システムを開発しました。審査プロセスの各段階で、学科の少なくとも1人が志願者を直接評価しているため、このシステムは入学希望者の合否を決定するために使用されたことはありません。
データとソフトウェア環境の変化により、システムの維持管理が困難になり、使用が中止されました。大学院は、キャンパス全体の大学院プログラムおよび教員と協力し、効率的かつ効果的な総合的な申請審査を推進しています。
しかし、今年初めにGRADEをコンピュータサイエンスの博士課程候補者の選考に使用しないという決定は、プラズマ物理学者のヤスミン・ムスタファ氏がこの統計機械学習ソフトウェアの潜在的な欠陥を指摘した後、学部が先週Twitterで初めて発表された。ムスタファ氏は、GRADEの開発者たちがメリーランド大学物理学部主催のバーチャルイベントで自分たちのコードについてプレゼンテーションを行う前日の11月30日に、広く共有された批判をツイートした。講演当日、テキサス大学オースティン校はGRADEの使用を中止したことをツイートした。
TXCSは、当分野における多様性の欠如に対処することに深く取り組んでいます。GRADEのような機械学習ベースのシステムにバイアスが組み込まれる可能性があることを認識しており、そのためGRADEへの依存を段階的に廃止し、大学院入学選考プロセスでは使用していません。
— UTオースティン大学コンピュータサイエンス学科 (@UTCompSci) 2020年12月1日
実際、この被害を最小限に抑える措置は、GRADEの設計者であるオースティン・ウォーターズ氏とリスト・ミッククライネン氏が、まだZoomを使って同僚にソフトウェアに関するプレゼンテーションを行っていた頃に行われました。プレゼンテーションは一般には公開されていませんが、GRADEの技術的な詳細と効果は、2014年にAI Magazineに掲載された論文の形で共有されています。
過去のデータで訓練されたAIアルゴリズムは古いバイアスを継承する可能性がある
GRADEは、GPA、出身大学、推薦状、研究分野、指導教員など、様々な要素に基づいて応募者をランク付けします。アルゴリズムはこれらの情報を、学部が過去に受け入れた博士課程の学生と比較し、応募者が合格する可能性を予測します。GRADEは、大学がすべての応募書類を精査する時間を節約できるよう、能力の低い志願者を除外するように設計されています。言い換えれば、GRADEは選考プロセスとして機能し、学部がより有望と思われる学生に焦点を当てることを可能にします。
驚いたことに、ニューヨークの学校に販売されたAIカメラは有色人種の認識に苦労し、誤検知が満載だった
続きを読む
2014年の論文では、「すべての申請書は依然として人間の審査員によって審査されますが、GRADEによって審査プロセスは大幅に効率化されます。これには2つの理由があります。第一に、GRADEによって委員会が実施しなければならない申請書の完全な審査回数が削減されます。システムの予測を活用することで、審査員は、不合格になる可能性が高い多数の弱い候補者と、非常に優秀な少数の候補者を迅速に特定できます」と指摘されています。
UT オースティンのコンピュータサイエンス学部は同種の学部の中でトップ 10 にランクされており、何千人もの学生が大学院プログラムへの入学を競っています。
レジスター紙が、応募書類はアルゴリズムによって審査され、大学は翌年度に向けてシステムを再訓練・改善するために応募者のデータを保管していることを応募者に明確に伝えたかどうかを尋ねたところ、テキサス大学オースティン校は回答を拒否した。GRADEは他の学部や他の大学では導入されていないようだ。
GRADEアルゴリズムの発明に携わったミッククライネン教授は、このツールは人種や性別に対して偏見を持っていないと述べた。
「バイアスを測定できる範囲では、このプロセスによってバイアスが付加されることはなかった」と彼はThe Registerに語った。「2013年当時、バイアスはまだAIの主流の話題ではなく、利用できる技術もほとんどありませんでしたが、私たちが選択した学習方法が新たな機会を生み出しました。ロジスティック回帰モデルは、意思決定における重要度に応じて特徴に重みを割り当てることを学習するのです。」
「性別と民族的出身を考慮した別の実験を行ったところ、GRADEはこれらに重み付けを全く行わなかったことがわかりました。言い換えれば、これらの特徴には予測力がなく、つまり審査員は意思決定においてこれらの特徴を使用していなかったということです。したがって、当時測定可能であった限りにおいて、GRADEはこれらの点において偏りがなかったと言えます。」
あまり一般的ではないアイデア
しかしながら、大学は、偏見があるかもしれないという懸念から、大学院入学選考プロセスでGRADEの使用をやめると約束しており、その意見は他の学者からも同調されている。
「講演を聞いていたのですが、講演中にテキサス大学オースティン校のコンピュータサイエンス学部が公平性に関する懸念から今後はその用語を使用しないとツイートしたのは事実です」とメリーランド大学の物理学教授スティーブ・ロルストン氏はザ・レジスター紙に語った。
GRADEが学生の出願に悪影響を与える可能性を懸念した彼は、メリーランド大学ではこのシステムを導入しないことを学生に保証するメールを送った。「講演者によると、GRADEの目的は入学審査委員会の決定を再現することであり、実際には過去の入学審査委員会のデータに基づいて学習させていたとのことです」と彼は述べた。
特定のタスクにおいては成功した可能性はありますが、それは委員会の決定に存在したバイアスを再現しているに過ぎません。ましてや、機械学習アルゴリズムは分類方法について何の指針も与えてくれないという事実は言うまでもありません。GRADEが使用された際には、結果は常に人間によってチェックされていましたが、アルゴリズムが誰かを低く評価したと伝えられれば、必然的にあなたの意見に色付けされ、システムに対する適切なチェックとはならないのではないかと懸念しています。
「（機械学習は）例えば画像分類には適していますが、採用や入学選考といった分野に使うのは非常に危険だと思います。大学院への入学選考では、限られた入力データ、つまり推薦状など、その多くが主観的なものに基づいて、その人の成功の可能性を評価しているのです。そのような識別を行うための定量的なプロセスは存在しないため、アルゴリズムは役に立たない可能性が高いのです。」
Miikkulainen 氏はEl Regに対し、UT Austin では将来的にアプリケーションを処理するために別の機械学習アルゴリズムを導入する予定はないことを確認しました。®
