ニューラルネットワーク（機械学習という言葉を聞いて多くの人が思い浮かべるアルゴリズム）は、その仕組みをうまく説明できません。ブラックボックスなのです。
一方では、猫の写真のセットと猫以外の写真のセットなどのトレーニング データを入力し、ニューラル ネットがデータを処理して統計モデルを作成します。新しいデータが追加されると、ニューラル ネットワークは数学モデルを使用してそのデータを猫か猫以外かに分類します。
ニューラル ネットワークは、猫の写真以外にも、患者が重度の転倒事故に遭う可能性から、有罪判決を受けた人が再犯する可能性まで、あらゆるものを分類します。
情報が複雑になるほど、また推奨事項の重要性が増すほど、オペレーターが情報がどのように決定するかを理解することがますます重要になります。
AIを信頼できるようにならなければなりません。例えば医療分野では、機械が訓練データを誤って解釈し、論理的な誤りを生じさせないようにする必要があります。
ハーバード大学ジョン・A・ポールソン工学・応用科学大学院のハーチェル・スミス・コンピュータサイエンス教授、マーゴ・セルツァー氏は、モデルが観測された結果と原因を混同するシナリオについて警告している。
セルツァーは、喘息患者が肺炎で死亡する可能性が低いことに気づいたモデルの例を挙げています。このモデルは、そのデータに基づいて、喘息が肺炎患者を予防すると誤って想定していました。
「問題は、喘息と肺炎を併発して救急外来を受診した場合、喘息がない場合よりもはるかに重症化するため、入院する可能性が高くなることです」と彼女は言います。これらの患者は医師がより積極的に治療を行ったため、平均よりも良好な状態になりますが、アルゴリズムはそれを認識していませんでした。
機械学習初心者向け：大学に戻る必要はありません
続きを読む
これを「解釈可能性」と呼びます。では、ブラックボックスを開けて、それが何を「考えている」のかを解釈するにはどうすればいいのでしょうか？
それはあなたが思うほど簡単ではありません。
カーネギーメロン大学の助教授、ザカリー・リプトン氏は、「ほぼ正しい」というブログでAIに関するよくある誤解を覆しています。リプトン氏は、解釈可能性に取り組む前に、まずそれを定義する必要があると主張しています。そして、それ自体が課題です。
解釈可能性については、一般的に合意された定義は存在しないと彼は言う。それは私たちの目的によって異なるからだ。「これに基づいてソフトウェアを実装した場合、黒人に対して偏見を持つことになるだろうか？あるいは、世界で小さな変化が起こった場合、どれほど堅牢だろうか？」と彼は問いかける。「データ内の統計の小さな変化にどれほど影響を受けるだろうか？評価基準では捉えられない、こうした様々な事柄を知りたいのだ。」
では、私たちにはどのような選択肢があるのでしょうか？ MLを解釈する一つの方法は、機械学習アルゴリズムの内部プロセス、あるいはそれが生成するモデルを調べることで、ブラックボックスの内部を詳しく調べることです。
アルゴリズムの透明性とは、本質的に理解可能で、その動作を説明できるアルゴリズムを意味します。私たちは、解釈可能性という概念を最初からアルゴリズムに組み込んでいます。
「このアイデアは最近になって注目を集め始めています」と、カリフォルニア大学アーバイン校のコンピュータサイエンス助教授、サミール・シン博士は語る。「問題は、制約がない場合と同程度の精度を実現することです。」
素晴らしいように聞こえますが、落とし穴があります。機械学習の世界では、精度と解釈可能性の間には一般的にトレードオフがあると考えられています。線形回帰や決定木といったアルゴリズムは、ニューラルネットワークに比べて解釈可能性は高いものの、精度は低くなる傾向があります。これらのアルゴリズムの精度向上を支援する取り組みとして、スパース線形法（SLIM）やルールリストなどが挙げられます。
分析の結果、ネットワークはハスキーの顔の形や巻き尾のニュアンスを学習していなかったことが判明しました。学習データの欠陥を突いていたのです。ある種類の動物は雪景色の背景に現れることが多いため、モデルは雪が降っている写真と降っていない写真に基づいて写真を分類していたのです。
解釈可能な機械学習手法の研究は進行中です。米国国防高等研究計画局（DARPA）は、AI研究者と協力して今年中にそのようなアルゴリズムを実証しており、11月に報告書が提出される予定です。
機械学習アルゴリズムがどのように何かを決定したかを評価するもう一つの方法は、それが生成するモデルを見ることです。機械学習モデル全体を一度に理解しようとすることも可能ですが、リプトン氏をはじめとする、機械学習の博士課程学生であるクリストフ・モルナー氏が著書で述べたように、それは現実的ではないと主張しています。データにはあまりにも多くの次元があり、私たちが追いつくことはできません。線形回帰モデルのすべての構成要素を一度に理解しようとすることさえ、非常に複雑です。
モデルを理解するために、モデルをいくつかの部分に分解することができます。決定木や線形回帰など、一部のモデルはこの概念に適しています。モルナー氏はこれらを「ホワイトボックス」モデルと呼んでいます。
「ツリーは、if-else文の集合と同等です。つまり、予測を行うためにデータから決定木を学習すれば、ツリーがそれほど深くなければ、一連のif-else文としてツリーを実装できるということです」と彼は言います。
しかし、これらのホワイトボックスモデルは、複雑になりすぎるとブラックボックス化する可能性があります。「線形モデルに多数の入力（例えば数千）がある場合や、決定木が非常に深い場合、これらのホワイトボックスは解釈不可能になります」とモルナー氏は言います。
もう一つのアプローチは、事後分析を検証することです。例えばコンピュータービジョンでは、サリエンシーマップは、ニューラルネットワークが画像内の何に集中しているかを研究者が視覚化できるツールです。
シン氏はさらに別のアプローチを採用している。彼は、単一の記録の様々なバリエーションをモデルに投入し、それぞれがどのように分類されるかを調べる。これは、研究者がニューラルネットワークの決定に影響を与える特定の要因を推測するための手段となる。
シン氏は、AIシステムの内部プロセスではなく、その結論を分析するためにこの技術を使用するオープンソースツール「LIME」の共同著者でもあります。なぜでしょうか？
シン氏は、オオカミとハスキー犬を判別するニューラルネットワークを使用していました。これは人間であればある程度は問題なく実行できるタスクですが、ニューラルネットワークにとっては難しい微妙なニュアンスを持つタスクです。それでも、ニューラルネットワークは予想以上の結果を出しました。シン氏は、自分が使用していたニューラルネットワークが事実上不正行為をしていることに気づきました。つまり、欠陥を悪用して意図した結果を出しているだけで、実際には学習していないのです。
「分析の結果、ネットワークはハスキー犬の顔の形や巻き尾のニュアンスを学習していなかったことが判明しました。学習データの欠陥を突いていたのです。ある種類の動物は通常、雪景色の背景に現れるため、モデルは雪が降っている写真と降っていない写真に基づいて写真を分類していたのです」とシン氏は語る。
研究者たちは、画像を繰り返し改変するプログラムを作成した。例えば、画像の一部を隠すといった具合だ。「画像内のオオカミを隠して送信すると、ネットワークは依然としてそれがオオカミであると予測したが、雪を隠すと、もはやオオカミであると予測できなくなった」とシン氏は説明する。
彼は、ニューラル ネットワークが「考えている」ことを観察するシステムを神経科学と表現し、ニューラル ネットワークが最終的に分類するものに基づくこの演繹的手法を心理学と比較しています。
機械学習コードが性差別的、人種差別的な主人たちを映し出す
続きを読む
シン氏は、この手法をフォレンジック分析にも応用できると考えています。例えば、ある顧客が人種を理由に銀行融資を受けられなかったと訴えたとします。年齢から取引履歴、クレジット利用状況に至るまで、顧客に関するあらゆる情報をネットワークに何度も提示し、その都度細かい要素を変更していくことができるかもしれません。こうすることで、ネットワークが実際には人種を考慮していた、あるいは1年前のカード支払い遅延に基づいてレッドラインを設定していたことを証明できるかもしれません。
私たちは解釈可能な機械学習という概念を少しずつ揺るがしています。しかし、ここに難点があります。その能力は、機械学習システムを操作し、誤って解釈するパターンを作り出すことを容易にしてしまう可能性があるのです。自動運転車に一時停止標識を木だと誤認させられると想像してみてください。まるでハスキー犬の認識プログラムを逆回転させるようなものです。
さらに皮肉なことに、AIの適切な説明を見つけることでのみ、攻撃ポイントの特定が容易になります。モルナー氏は、透明性は最終的にAI開発者とシステムに侵入しようとするハッカーの間でいたちごっこを引き起こす可能性があると付け加えています。
「オープンソースの利点は、誰でもコードを読むことができ、脆弱性がすぐに発見・修正されることです」と彼は言う。「説明可能な機械学習はオープンソースコードと類似点があります。オープンであることで、潜在的な脆弱性を発見・修正しやすくなりますが、同時に（少なくとも当初は）機械学習アルゴリズムの脆弱性を悪用することも容易になります。」
それは議論の余地のある見解です。多くの視点を持つことは、一般的に堅実なオープンソースソフトウェアの誕生に役立ってきましたが、コミュニティモデルがうまく機能せず、バグが多くの視点の及ばないところに埋もれたままになっているケースもありました。
AIとMLがまだ初期段階にあるとすれば、解釈可能で説明可能なシステムはそれより数段階前、おそらくは初期段階にあると言えるでしょう。この課題に取り組む方法に正解も不正解もありませんが、AIがオープンになった瞬間、誰もが理解できるようになるのではないかという懸念が根強く残っています。
唯一の救いは？ハッカーたちは既にAIを理解し、それを人間に利用しようと躍起になっている可能性が高い。だからこそ、機械学習を理解可能にし、その知識に基づいて行動し、システムと私たち自身を守ることが、私たちにとって最善の利益となるのだ。®
