機械学習アルゴリズムの幅広い社会的影響を調査する研究拠点であるニューヨーク大学のAI Now研究所は、米国政府によるこの技術の利用方法を批判する報告書を発表した。
今週発表されたこの報告書は、今年6月に開催されたワークショップで議論された一連のケーススタディに基づいています。アルゴリズムの倫理に関する研究は盛んに行われており、機械学習によくある、特に問題となる落とし穴については、多くの人が認識しています。
AIシステムはブラックボックスと形容されてきました。隠れた変数があまりにも多く存在するため、何が起こっているのか、機械がどのように意思決定を行っているのかを理解することは不可能です。その結果、透明性と説明責任が欠如し、学習データに偏りが生じてしまう可能性があります。報告書は、米国政府が使用するアルゴリズムが、このようにしてしばしば破滅的な結果をもたらしかねないことを浮き彫りにしています。
誰のための援助ですか?
低所得者の医療費を補助するメディケイド制度では、ソフトウェアを用いて個人の経歴を評価し、受給資格を決定します。最悪のケースでは、AIの誤った判断により「知的障害、発達障害、身体障害のある人への給付やサービスが打ち切られてしまう」ケースもありました。
例えば、アーカンソー州では、アルゴリズムシステムは、自宅で医療の選択肢を探している脳性麻痺患者や糖尿病患者のニーズに応えることができませんでした。
「多くの州は、他州で使用されている評価ツールを、その州の過去のデータに基づいて訓練したものをそのまま採用し、それを新たな対象者に適用している。その結果、資金と支援の不足という過去のパターンが永続化している。さらに、これらの評価システムの実施方法やケアの必要性の算出方法には、しばしば欠陥や誤りが見られる」と報告書は述べている。
アルゴリズムは教師のパフォーマンスを評価するためにも利用されてきました。ヒューストン教師連盟の主任弁護士であるマーサ・オーウェン氏は、複数の教師が制裁または解雇された後、このようなシステムの運用方法を開示しなかったとしてヒューストン独立学区を提訴しました。
それらは生徒の標準テストの点数に基づいていましたが、それ以上の情報は多くは明らかにされていませんでした。コードは「サードパーティベンダーの私有財産」とみなされていました。この訴訟により、専門家はシステムの一部に侵入することができました。このシステムは侵入不可能とされていました。
最終的に、これはオーウェンにとっての勝利に繋がりました。両者は和解に達し、ヒューストン独立学区は、標準テストのシステムが理解不可能なままである限り、教師の解雇を正当化するために標準テストの点数を使用することをやめることに同意しました。
アルゴリズムと犯罪
被告が再犯する可能性に基づいて刑事量刑を決定するアルゴリズムの使用が増加しているが、未成年者に関しては、再犯を評価する要素の1つが「親の犯罪歴」であることが特に憂慮すべきことだと報告書は指摘している。
「有色人種コミュニティへの過剰な取り締まりなど、法執行機関における人種的偏見の長く十分に文書化された歴史を考えると、人種の代理指標に基づいて「高リスク」評価が簡単に歪められる可能性がある」と報告書は説明している。
刑事司法ソフトウェアのコードによって刑務所行きになる可能性があり、それについては何もできない
続きを読む
「地域社会の無秩序」も影響力のあるリスク要因の一つです。個人が「暴力的」とみなされる地域、あるいはギャング活動が活発な地域に住んでいる場合、人種の代替指標に基づく「高リスク」評価に歪みが生じる可能性があります。
アルゴリズムの決定が人の生活に重大な影響を及ぼす可能性があると特定されたもう1つの分野は、DNA検査です。
ソフトウェアは、容疑者のDNAが犯罪現場で発見された証拠とどの程度一致しているかを確認するために使用されます。法医学的検査は以前から行われてきましたが、報告書では「現在使用されているアルゴリズムは非常に複雑であるため、ほとんどの検死官や臨床検査技師はシステムの支援なしに計算結果を再現することができません」と指摘されています。
「DNA検査室は生物学的または化学的検査の最低基準を維持しているかを確認するために検査や認定を受けていることが多いが、確率的遺伝子型判定を行うために使用するシステムは、特にコード内のバグについては検査されていないことが多いこともわかった」と報告書は述べている。
AI Now Instituteは、外部監査によって企業がバグを排除し、システムを導入する前にシステムの有効性を評価し、被害を軽減できると推奨している。
同研究所は声明で、「こうしたシステムのリスクと害悪に関する証拠が増えるにつれ、政府におけるアルゴリズムの使用を評価し、監視することへの支持が強まることを期待している」と述べた。
さらに、課題を理解し、解決策を議論するために、さまざまな分野の専門家を集め続けることで、基本的人権を保護するための戦略とベストプラクティスの高まりを築き、アルゴリズムによる意思決定が、そのサービス提供対象となる市民に実際に利益をもたらすことを保証します。」®
