同僚は最近、ロボット工学コンテストの審査員をしなければならなかったため、会議を欠席しました。
これは非常に現代的な逆転現象だとすぐに気づきました。なぜなら、私たちは常にロボットによって判断されているからです。
クッキー、証明書、ポイントコードのおかげで、私たちはオンラインでのあらゆる場所で監視され、記録されています。それらはすべて「広大で冷淡で無慈悲な」データベースに蓄積され、データサイエンティストがアルゴリズム的に私たちの行動の内幕を占うのを待っています。それは、将来の商業活動における私たちの可能性をより的確に判断するためです。
私たちは、こうした判断が純粋に資本主義的な枠組みに基づいていると信じたい。しかし、実際に判断されているのは私たちの価値観であることが明らかになりつつある。
音声アシスタントは常に聞き耳を立てています。では、なぜ犯罪の音を聞いても警察に通報しないのでしょうか？
続きを読む
その判断を下すために、ロボットは今世紀初頭に開発された技術を使用している。当時、世界中のセキュリティ機関は、増加する通信トラフィックの洪水から不要な情報を取り除く方法を模索していた。
彼らはすぐに、トラフィックをコンテンツ（誰もが知っている特定のキーワード）だけでなく、送信者と受信者によって構築されるネットワークを研究することで、マーク・ザッカーバーグが「ソーシャルグラフ」という言葉を使う何年も前から暗黙の「ソーシャルグラフ」をモデル化することで、トラフィックを評価する方法を学びました。共有は親和性を示し、ある価値観への親和性は他の価値観への親和性を意味します。その価値観は、国家の安全保障とは相容れないものかもしれません。
スノーデン氏は常に否定していたものの、米国とその他の「ファイブアイズ」情報共有同盟がパートナー国の通信トラフィックを読んでいたことを明らかにした。
敵意を検出するために使用されるのと同じ技術は、実際に犯罪であるか、単に国家の特権に反するものであるかを問わず、十分に反社会的であると見なされるあらゆる行為を対象にすることができます。
約2年前、The Register紙は、カーディフ大学で開発されたデータ分析ツールがロサンゼルスに導入され、ヘイトクライムの「事前犯罪」検知能力のようなものを提供すると報じました。「事前犯罪」とは、スピルバーグ監督の映画『マイノリティ・リポート』に由来する造語で、「思想警察」よりもずっと親しみやすい響きが便利です。しかし、その手法と目的はほぼ同じであるため、ウィンストン・スミスでさえもその真意を理解できるでしょう。
この監視・分析・洞察・統制という枠組みは、中国の「社会信用」システムを完璧に言い表している。このシステムでは、中国に住む10億人のインターネット接続を持つ成人一人ひとりが、公的な役割の実績に基づいて評価を受けている。マイクロブログ「微博」で、終身国家主席の習近平を批判する投稿が検閲されすぎている？ 大学出願、あるいはより良い家探しがうまくいくことを祈る！
こうした国家からの忌避は、愛情省への恐怖よりも中国国民の心に強く作用し、自己検閲（あるいは「二重思考」とでも言い換えることもできる）を育む。人々は、交通渋滞を避けるのと同じように、社会的信用を失うような行動を本能的に避ける。
それが恐ろしいように聞こえるなら、私たちが一世代にわたって「信用格付け」というアイデンティティに縛られて生きてきたことを思い出してください。これらの格付けは、私たちがどこで生活し、学び、働くことができるかという、特定の可能性を限定するものです。これは、あからさまに政治的ではないにしても、「社会信用」システムとそれほど変わりません。しかし、不運や誤ったデータによって信用システムに抵触し、その結果苦しんだ人々を私たちは皆知っています。だからこそ、私たちは個人情報窃盗にそれほど恐怖を感じるのです。丹念に築き上げられた格付けが、自分のせいではないのに一瞬で破壊される可能性があることを知っているのです。
あらゆるサービスに対して、すべての人に評価を与える時代が到来する中、1日に1つ星から5つ星までの「サービス向上にご協力ください」という画面が何回表示されるかを考えてみてください。評価は明らかにするものと同じくらい、多くのことを隠してしまうことを忘れてはなりません。事実関係を削ぎ落とされたデータは、残酷で容赦のないものになりかねません。機械は真に人間的な洞察力を提供することはできず、あらゆる過ちや違反が永久に記録される世界で私たちが必要とするような許しを与えることもできません。EUはまもなく、「忘れる権利」が「許す権利」に取って代わられることになるかもしれません。®
