ロン・ワイデン上院議員（オレゴン州民主党）とコリー・ブッカー上院議員（ニュージャージー州民主党）は、黒人患者は白人患者よりも病状が重いにもかかわらず、ソフトウェアによってケアプログラムに紹介される可能性が低いという最近の調査結果を受けて、連邦政府機関と医療企業がアルゴリズムによる偏見にどう取り組んでいるかを調査している。
火曜日、ワイデン上院議員（オレゴン州選出、民主党）とブッカー上院議員（ニュージャージー州選出、民主党）は、連邦取引委員会（FTC）、メディケア・メディケイド・サービスセンター（CMS）、そしてユナイテッドヘルス・グループやブルークロス・ブルーシールドを含む医療保険会社大手5社に一連の書簡を送付した。各書簡には具体的な情報提供要求が列挙されており、各機関や企業が、アルゴリズム作成に使用されるデータにおけるバイアスの影響を監査するための方針、調査、または社内ツールを有しているかどうかを尋ねている。
これらのアルゴリズムは、特定の疾患に対する個人のリスクを計算し、患者にどのようなレベルのケアを提供すべきかを自動的に決定するためにますます利用されています。このようなソフトウェアは、人種や性別による暗黙の偏見を含む可能性のある過去の医療データに基づいていることが多く、それが意思決定プロセスに持ち込まれ、社会的に疎外されたグループに影響を与えます。
ワイデン氏とブッカー氏の取り組みは、先月サイエンス誌に掲載された論文がきっかけとなった。カリフォルニア大学バークレー校、シカゴ大学、ボストンのブリガム・アンド・ウィメンズ病院およびマサチューセッツ総合病院の研究者たちは、複雑な医学的問題を抱える患者に対し、更なる治療を行うべきかどうかを判断するために、アメリカの医療制度で広く使用されている商用アルゴリズムを研究した。
研究の結果、黒人患者は白人患者よりもソフトウェアによる追加治療の推奨を受けにくいことが判明しました。これは、お決まりの「お金」という問題が原因でした。白人の治療にはより多くのお金が費やされているため、コードは白人は黒人よりも健康状態が悪く、リスクが高いと判断するように仕向けられました。そのため、黒人が白人と同じレベルの追加治療を受けるには、白人よりもはるかに病状が重かったということになります。論文の要約には次のように記されています。
論文の第一著者であり、カリフォルニア大学バークレー校の研究者であるジアッド・オーバーマイヤー氏はさらにこう説明した。「アルゴリズムは、医療費を使って患者の『リスク』、つまりケア管理プログラムから最も恩恵を受けそうな人を判断することで、人種的偏見をコード化します。」
「私たちの医療制度における構造的な不平等により、一定の健康状態にある黒人は白人よりも医療費が低く抑えられることになります。その結果、アルゴリズムが予測したリスクの一定レベルにおいて、黒人患者ははるかに重篤な状態でした。」
ああ、大変だ…オンラインでヘイトスピーチをフラグ付けするために使用されるAIモデルは、黒人に対して人種差別的である
続きを読む
研究者らがアルゴリズムを変更し、他の予防医療を受けることで削減できる追加費用などの他の変数を考慮に入れるようにしたところ、さらなる医療支援が必要と判断された黒人患者の割合は17.7％から46.5％に増加した。
「組織はアルゴリズムを使用する際に、プロセスから人間の欠陥や偏見を排除しようとすることが多い」とワイデン氏とブッカー氏は声明で述べた。
「残念ながら、これらの複雑なシステムを設計する人々と、そこで使用される膨大なデータセットには、多くの歴史的および人為的な偏見が組み込まれています。十分な検討がなければ、その後に作成されるアルゴリズムによって、まさにそれらの偏見がさらに永続化される可能性があります。」
上院議員らの書簡で言及されたFTC、メディケア・メディケイド・サービスセンター、および医療保険会社5社には、12月31日までに回答が求められます。®
