米国政府の強力な機関である国防高等研究計画局（DARPA）は昨年、人工知能によって制御されるシステムが人間のユーザーに対してより説明責任を果たすように設計された研究プロジェクトを開始した。
国防高等研究計画局（DARPA）は、29億7000万ドル規模の機関で、米国軍が使用する新興技術の開発を担当する国防総省の機関です。しかし、その技術はすべて軍事用途というわけではありません。注目すべきは、DARPAが40年以上前にパケット交換ネットワークであるARPANET（Advanced Research Projects Agency Network）に初期資金を提供したことが、インターネットの実現に貢献したということです。
最新の説明可能な人工知能 (XAI) プログラムの核心にある問題は、AI が日常生活の多くの領域に広がり始めているものの、そのようなシステムの内部の仕組みは不透明である場合が多く、意思決定プロセスの欠陥が隠れている可能性があるということです。
AI分野は、機械学習アルゴリズムと人工ニューラルネットワーク（ANN）に基づくディープラーニングシステムの発展により、ここ数年で大きな進歩を遂げてきました。研究者たちは、写真から顔を認識する場合でも、音声入力を認識する場合でも、膨大なサンプルデータを用いることで、AIシステムを訓練し、望ましい結果を生み出すことができることを発見しました。
しかし、結果として得られるシステムは、しばしば不可解な「ブラックボックス」のように動作し、開発者でさえも、なぜ特定の決定に至ったのかを説明できないことに気づきます。これは、雇用、住宅ローン、自動運転車など、AIの判断が人々の生活に影響を与える可能性のある分野では、近い将来受け入れられなくなる可能性があります。
機械学習や AI について詳しく知りたいですか?
続きを読む
そのため、DARPAをはじめとする多くの組織が、AIシステムの説明責任を高めること、あるいは少なくともAIシステム自体を説明できるようにすることで、必要に応じて意思決定プロセスを調整できるようにすることに関心を持ち始めています。例えば、OracleはクラウドセキュリティやカスタマーエクスペリエンスツールなどのサービスにAIを組み込んでおり、Oracle Labsの研究チームの一つが、AIの透明性を高め、ユーザーがAIの意思決定の理由を理解できるようにするという課題に積極的に取り組んでいることを明らかにしました。
マイクロソフトも同様に、クラウドサービスからビジネスインテリジェンス、セキュリティに至るまで、さまざまな製品にAIを導入しており、最高経営責任者（CEO）のサティア・ナデラ氏は、人間が意図しない損害を解消できるよう「アルゴリズムの説明責任」が必要だと公言している。
この「意図しない害」には、AIシステムの学習に使用されるデータにおける偏りが含まれる可能性があります。例えば、広告ネットワークは、高給職の広告を女性候補者にあまり表示しないことが判明しています。これは、既にこれらの職種に就いている男性候補者の多さによって学習データが歪んでいるためです。アクセンチュアの法務サービス、デジタル＆ストラテジック・オファリング担当マネージングディレクターであるデボラ・サンティアゴ氏は、最近のブログで次のように述べています。「企業がAIを誠実、公正、透明性、説明責任、そして人間中心にすることを目指すならば、責任あるAI導入には『説明可能なAI』の概念を取り入れるべきであり、説明可能なAIを今すぐ実現するためには、官民両セクターからの継続的な投資が不可欠だと考えています。」
AIシステムの透明性と説明責任の強化が喫緊の課題であることに、誰もが同意するわけではない。いわゆる「説明可能なAI」の価値は、Googleの研究ディレクターであるピーター・ノーヴィグ氏によって最近疑問視された。ノーヴィグ氏は、人間も自分の意思決定を説明するのがあまり得意ではないと指摘し、AIシステムのパフォーマンスは、その出力を時間の経過とともに観察するだけで評価できると主張した。
バイアス
ノーヴィグ氏は報告書の中で、AIの意思決定プロセスに何らかのバイアスがあるかどうかは、単一の例だけでは十分に明らかにならないと説明している。しかし、様々なケースにおけるAIの意思決定をすべて検証すれば、バイアスは明らかになるだろう。
この立場を採用することの欠点は、システムの出力を分析すると AI に何らかの内部バイアスがあるかどうかがわかるかもしれないが、それがなぜ起こっているのか、または問題を解決する方法を発見するのに必ずしも役立つわけではないことです。これは、推論を説明できるシステムであればできるはずです。
さらに、サンプルデータで学習させたAIシステムは、一見正しい答えを導き出しているように見えても、必ずしも正しい理由に基づいているとは限りません。New Scientist誌の最近の記事では、テネシー州ヴァンダービルト大学で開発された、患者の電子記録から大腸がんの症例を特定する機械学習ツールの事例が取り上げられました。当初は良好なパフォーマンスを示しましたが、開発者は最終的に、このツールが、確定診断を受けた患者が健康記録から得られる手がかりではなく、特定のクリニックに送られたという事実を捉えていることに気付きました。
説明可能なAIシステムがあれば、システムが一定期間運用された後に初めて問題が明らかになるのではなく、開発段階でそのような問題を発見・修正できるようになるはずです。また、ノーヴィグ氏の立場は、説明責任を実証できる「オープン」なAIシステムの構築という目標にも反しており、これは人間のユーザーからAIシステムへの信頼を高める上で不可欠な要素です。
