54人のコンピューター科学者と学術研究者のグループは木曜日、米国国土安全保障省に対し、移民の入国を認めるか強制送還するかを決定するためにソフトウェアアルゴリズムを採用する計画を再考するよう要請した。
「厳格な審査」を通じて移民を制限するというホワイトハウスのさまざまな大統領令を実行するため、国土安全保障省の移民関税執行局（ICE）は今年初め、審査プロセスを自動化する意向を概説した。
ICEは目標声明の中で、人々の将来の行動を予測する手段を開発する必要があると述べた。同局は、「申請者が米国入国後に犯罪行為やテロ行為を行う意図があるかどうかを評価できる」システムを求めていると述べた。
DHSに書簡を送った技術専門家らは、その厳格な審査計画がうまくいく可能性は極めて低いと主張している。
「端的に言えば、ICEが測定しようとしている特性について、信頼性が高く客観的な評価を提供できる計算手法は存在しません」と、同団体は国土安全保障省のエレイン・デューク長官代行宛ての書簡で述べている。「提案されているシステムは、おそらく不正確で偏ったものになるでしょう。プログラムの再検討を強く求めます。」
研究者らは、政府が求める特性、例えば個人が「社会に積極的に貢献する一員」になるかどうかなどは、実行可能なルールを考案しようとしている政策立案者にとっても、その概念をコードに変換しようとしているプログラマーにとっても、明確に定義されていないと指摘している。
公式発表：アメリカは訪問者のソーシャルメディアプロフィールを自動スキャンした。また、正しく機能していなかった。
続きを読む
「こうした定義されていない特性を予測するように設計されたアルゴリズムは、客観性の見せかけの下で移民のグループを恣意的に分類するために使用できる可能性がある」と書簡には記されている。
ブレナン司法センター、ジョージタウン大学ロースクールのプライバシーと技術センター、電子フロンティア財団を含む56の市民自由団体が国土安全保障省に送った別の書簡でも同様の批判がなされており、実際に捜査するのに適した手がかりを報告するのではなく、「少なくとも年間1万件の捜査の手がかりを生み出す」システムを要求しているICEを非難している。
カーネギーメロン大学ヒューマンコンピュータインタラクション研究所の准教授ジェフ・ビッグハム氏は、The Register宛ての電子メールで、研究者らの懸念に同調し、自分にも同僚が数人いると指摘した。
「検査や検証が不可能なブラックボックス型の機械学習モデルに基づいて、影響力のある意思決定を行うのは危険です」とビッグハム氏は述べた。「現在、そのようなモデルが、過去の事例から得られた有意義な洞察とは一致しない、学習に使用したデータ内のパターンを拾ってしまう例が数多くあります。例えば、そのようなモデルは、過去に同様の意思決定を行った人間が示した差別的バイアスを日常的に拾い上げ、それを再現してしまうのです。」
ビッグハム氏は、予測を行うために検討されているデータモデルに関する情報がまったくないことが特に懸念されると述べた。
「その結果、偏ったデータが、信頼性も価値も不明な結果を予測するために使われる可能性が高くなる」と彼は述べた。「不透明なアルゴリズムにかけられた未知の影響によって、現実の人間の生活が劇的に影響を受けることは、到底受け入れられない。」®
