分析1983年9月26日、ソ連防空軍の将校であったスタニスラフ・ペトロフは警報を聞き、自分が監視するよう任命されていた警報システムが米国が核ミサイル5発を発射したことを示しているのを確認した。
彼はシステムのセンサーにエラーがあるのではないかと疑い、おそらく壊滅的な報復攻撃を命じたであろう上司に警告する代わりに待機した。
緊迫した数分後、何も起こらなかったことでペトロフの疑念は正しかったことが証明された。アメリカによるミサイル発射はなく、ペトロフが幻の弾頭を無視するという決断を下したことで、世界は大惨事を免れたのだ。
英国ブライトン大学のコンピューター、工学、数学の上級講師であるジョン・キングストン博士は、「人工知能と法的責任」と題する学術論文の中で、この誤った警告は後に、周回衛星が太陽の反射をミサイルの熱信号と誤認したことに起因すると指摘した。
キングストン氏は、AI システムではこれほど優れたパフォーマンスは得られなかっただろうと疑っている。
「もしAIシステムがあの日、ソ連のミサイル発射管制を担当していたとしたら、衛星に問題がないかを見極められず、ミサイルを発射した可能性は十分にあった」とキングストン氏は記している。「その後の破壊行為に対して法的責任を問われただろうが、当時、訴訟を起こす弁護士が残っていたかどうかは定かではない。」
キングストン氏は論文の中で、AI の説明責任の問題を考察し、AI を「状況や出来事を認識し、IF-THEN 条件文を通じて行動を起こすことができるあらゆるシステム」と定義しています。
はい、ハードルは低いです。ほとんどどんなソフトウェアでも同じですが、知能とそうでないものを区別しようとする無駄な試みを避けているため、AIの定義としてはおそらく優れたものの一つと言えるでしょう。
刑事責任
キングストン氏は、米国法に基づく刑事責任の法的要件である「行為または不作為」と「故意」について説明し、それが AI ソフトウェアにどのように適用されるかを検討した。
キングストン氏は、イスラエルのオノ学術大学のガブリエル・ハレヴィ教授が2010年に提示した枠組みを指摘し、刑事責任に関する3つの法的モデルの可能性を説明した。
AIプログラムが重大な誤作動を起こした場合、裁判所はそれを犯罪行為を行うのに十分な精神能力を有しない存在として扱う可能性がある。その場合、プログラマーやユーザーがその動作を指示したと認定されない限り、ソフトウェアとその作成者、運用者は責任を免れることになる。
将来のAIの安全性を確保するために、学部生に倫理を教える – コンピュータサイエンスの専門家
続きを読む
AIによる犯罪行為がソフトウェアの動作に伴う「自然な、あるいは起こりうる結果」とみなされた場合、プログラマーは共犯者として責任を問われる可能性がある。キングストン氏は、日本人工場労働者がロボットアームにバイクと間違えられて誤って死亡した事例を、予見可能であったはずの問題の例として挙げた。
あるいは、そのようなソフトウェアは直接的な責任を問われる可能性があります。しかし、犯罪行為への関与は立証できても、意図を証明するのは容易ではないため、これは複雑になります。
しかし、速度制限超過のような「厳格責任」の状況では、故意は必ずしも必要ではありません。自動運転車は、コードが速度超過を防止しているはずなので、故意を立証する必要なく、速度超過で非難される可能性があります。
法的防御
キングストン氏は、AIシステムに刑事責任があると判断されても、誰を処罰すべきかは明確にならないと指摘し、例えば、影響を受けたシステムでコンピューターウイルスが確認された場合などには、心神喪失、強制、酩酊状態など、人間に対して主張される法的抗弁がソフトウェアにも適用される可能性があると指摘した。
言い換えれば、有名人は薬の処方箋を間違えたために気が狂って法律を犯したと主張できるし、暴走したコンピューターはウイルスに感染したと主張できる。
その後、彼は民法がどのように適用されるかを分析しました。AIソフトウェアは、コードに何らかの注意義務がありながら、それを怠り、結果として何らかの損害が発生した場合、過失（法律上の不法行為または民事上の不法行為）に問われる可能性があります。
「おそらく重要な問題は、AIシステムが特定の状況で行動を推奨するのか（多くのエキスパートシステムのように）それとも行動を起こすのか（自動運転車や安全装備付き車のように）ということだ」とキングストン氏は説明した。
また、自律的にタスクを実行するインテリジェント ソフトウェアは、保証が必要となることが多い製品なのか、それとも法律上はサービスなのかという未解決の問題もあり、必ずしも明確ではありません。
科学者：AIの達人たちが、自分たちのコードが悪質にならないように努力してくれれば、それは素晴らしいことだ
続きを読む
キングストン氏は、責任はAIシステムの限界が適切に伝えられているかどうか、AIが製品なのかサービスなのか、そして意図が問題になるかどうかによって決まると述べた。
キングストン氏はThe Registerに対し、AIソフトウェアに関する犯罪意図を証明するのは難しいため、このようなケースはまれだろうと示唆した。
「社会はAIの失敗を（誰かの）過失として扱うようになると予想している。その方が証明しやすいからだ」と同氏は言い、明らかなコーディングエラーが招く可能性のある結果を指摘した。
「よく知られたバグに対処できなかったことは、おそらく法的には、適度に有能なプログラマーであれば対処していたであろう問題への対処を怠った過失とみなされるだろう。そのため、そのような失敗によってプログラマーが過失のみを必要とするあらゆる責任を問われる可能性が非常に高いと言っても過言ではない」と同氏は説明し、詳細は管轄によって異なると付け加えた。
キングストン氏は、社会がコードに関わる人々に対してより多くの資格を要求するようになる可能性があると述べた。もしそうなれば、「プログラマーだけではない。アナリスト、システム設計者、そしてテスターも資格が必要になるかもしれない」と彼は述べた。
彼は、他のアプローチも可能であると述べた。「安全性が重要なソフトウェアシステムは、既に非常に綿密な設計、テスト、検証プログラムを用いて開発されているか、あるいは形式手法を用いてシステムが要件を満たしていることの証明を生成しています。もちろん、これは要件が正しく完全であることを前提としています。」
キングストン氏は、AI製品も人間の専門コンサルタントと同様に専門職賠償責任保険でカバーされるべきだと示唆した。「とはいえ、誰が保険に加入すべきかという問題は依然として残る。発明者、設計者、製造者、それとも販売業者か」と彼は述べた。®
