Windows 11上のCopilot VisionはMicrosoftのサーバーにデータを送信します

マイクロソフトは、何がうまくいくかを見るために、再び Windows 11 に AI を投入し、物議を醸した Recall の後継として、さらに眉をひそめるような機能を含む機能をリリースしている。これは、Copilot Vision と呼ばれる、画面をストリーミングして遠隔処理される後部座席のドライバーである。

「AI は PC の使い方を変えている」と Microsoft は主張しているが、これに同意する人もいるかもしれないが、すべての人が良い方向への変化だと言うわけではない。

「Windows 11 は AI の本拠地です」と付け加え、「Copilot+ PC で今日の消費者に最も拡張性と能力に優れた AI エクスペリエンスを提供します。Recall (プレビュー)、Click to Do (プレビュー)、改善された Windows 検索などの独自の AI スーパーパワーに加え、Windows 上の Copilot Vision のような画期的な新しい PC 操作方法も備えています」

Copilot Visionは、Microsoftの賛否両論を巻き起こしたRecallの拡張機能です。Recallは当初、十分な計算能力を持つニューラルコプロセッサを搭載したCopilot+システム限定の機能でした。深刻なセキュリティ上の欠陥により提供が中止され、最終的に再リリースされるまでに長い遅延を余儀なくされたRecallと同様に、Copilot Visionはコンピューター上でのあらゆる操作を分析するように設計されています。

これを有効にすると、継続的にスクリーンショットをキャプチャし、それを光学式文字認識システムと大規模な言語モデルに送信して分析を行います。ただし、Recall はローカルで動作しますが、Copilot Vision はデータを Microsoft サーバーに送信します。

マイクロソフトの広報担当者は4月に、コパイロットアシスタントとの会話の記録を除き、ユーザーのデータは長期保存されず、「モデルのトレーニングや広告のパーソナライゼーションには使用されない」と述べた。

Microsoft の Vision に対するビジョンは、Copilot チームの言葉を借りれば、最終的には「真のコンパニオン」となり、「ユーザーの目標をより深く理解し、その達成を支援するための明確で段階的なガイダンスを提供する機能」を提供することです。

スクリーンのスヌーピングは、有効にするとバックグラウンドで常にアクティブな Recall とは異なり、ユーザーが Copilot セッションの一部として明示的にアクティブ化した場合にのみ実行されますが、以前のリリースよりも積極的に実行されるように設計されています。多くの読者にとって、Microsoft Office 97 以降の Clippy とアニメーション アシスタントの仲間たちの思い出が呼び起こされることでしょう。

本稿執筆時点では、MicrosoftはCopilot Visionを米国のみで提供しており、近いうちに「非ヨーロッパ諸国」にも提供すると約束（あるいは脅し）していました。これは、欧州連合（EU）のAI法への敬意を表したものと思われます。しかし、これはEU域外の人々が完全に逃れられるという意味ではありません。MicrosoftのWindows 11（公式サポート期間が残っている唯一のメインストリームOS）の最新アップデートでは、OS初の「エージェント型」AIを含む、様々なAI機能が追加されました。このAIは、ユーザーに代わってシステム設定を調整できるようになりました。

Muと呼ばれるローカル言語モデルに基づき、Qualcomm Snapdragonハードウェアで動作するCopilot+システムでのみ利用可能で、IntelとAMDのサポートも予定されているこのエージェントは、ユーザーに代わってアクションを実行することを約束します。以前のリリースのように、画面解像度の変更やBluetoothデバイスの接続場所を単に検索するのではなく、エージェントは「Bluetoothデバイスに接続して」や「画面解像度を1920 x 1080に変更して」といった自然言語の指示を受け付け、実行方法が分かれば、タスクを自ら実行することを提案します。

• 米国の労働者の6人に1人が上司を喜ばせるためにAIを使っているふりをしている
• マイクロソフトの元社員と現社員が最近の一連のレイオフに反応
• マイクロソフトによるエンタープライズアカウント更新の引き継ぎの影響が「痛手」となり始める
• マイクロソフトはリワードポイントと引き換えにWindows 10のサポート延長をちらつかせている

「私たちの目標は、設定画面内に自然言語を理解し、関連する元に戻せない設定をシームレスに変更するAI搭載エージェントを作成することでした」と、マイクロソフトのエンジニアでWindows Applied Sciences担当副社長のヴィヴェック・プラディープ氏は、Muのベータ版リリース時に説明しました。「このエージェントを既存の検索ボックスに統合し、スムーズなユーザーエクスペリエンスを実現することを目指しました。そのためには、多数の設定を超低遅延で実行することが必要でした。」

「Windowsの膨大な設定を管理することは、それ自体が課題でした」とプラディープ氏は認め、「特に機能が重複している場合は顕著でした。例えば、『明るさを上げる』という単純なクエリでさえ、複数の設定変更を意味する可能性があります。ユーザーがデュアルモニターを使用している場合、メインモニターの明るさを上げるのか、それともセカンダリモニターの明るさを上げるのか？ この問題に対処するため、より複雑なタスク向けのエクスペリエンスを継続的に改善していく中で、最も使用頻度の高い設定を優先するようにトレーニングデータを改良しました。」

マイクロソフトが明言していないのは、デバイス上で実行できるほど小型に特別に調整されたモデルによって、言語モデルに内在する未解決の「幻覚」問題にどのように対処するのかということです。この問題とは、ユーザーのプロンプトをトークンのストリームに変換し、統計的に最も可能性の高いトークンを連続として返す過程で、モデルが出力するトークンが、残念ながら現実から完全に乖離した回答型のオブジェクトに変換されてしまうことです。チャットボット型のLLM実装では、これは誤った回答を意味します。一方、自ら行動を起こすエージェントAIでは、バイブコーディングプラットフォームReplitのユーザーが最近発見したように、悲惨な結果を招く可能性があります。

マイクロソフトは、欧州経済地域以外の国でプレビューとして利用可能な「Click to Do」の新しいアクションもリリースしました。このアクションでは、ユーザーが文章を読み上げるのを聞いて読解力を向上させたり、Microsoft Wordで選択したテキストをプロンプトとしてCopilotの生成AI機能を使用したり、調整可能なビジュアル、音声合成、音節区切り機能、画像辞書を備えた「Immersive Reader」モードを有効にしたり、Microsoft Teamsでメッセージやスケジュールリクエストをトリガーしたりできます。

同社のAIへの取り組みはそれだけにとどまりません。写真アプリには、AIを活用した「リライト」機能が追加されました。これは、既存の写真に最大3つの仮想光源を追加した際の効果をシミュレートするものです。一方、かつてはシンプルなマウス操作ツールだったペイントも、AIアップデートによりテキスト入力を漫画風の画像に変換する「ステッカージェネレーター」や、複雑な画像内の個々の要素を簡単に選択できるようにする「オブジェクト選択」機能などが追加されました。シンプルなスクリーンショット撮影に取って代わったSnipping Toolも、Copilot+独自の「パーフェクトスクリーンショット」機能を搭載し、画面の内容に基づいてキャプチャ領域のサイズを自動的に調整します。さらに、機械学習を全く必要としないと言えるカラーピッカーツールも搭載されています。

Windows 11の最新アップデートはAIだけに特化したものではありませんが、MicrosoftのAIへの注力の高まりを考えると、そうではないと考えるのも無理はありません。また、Windows 1.0の頃からお馴染みのブルースクリーン（BSoD）も終焉を迎えます。Windows 3.0では一時的に画面が黒くなり、Windows NT 3.1では青い背景に重大なシステムエラーを表示する「真の」BSoDが初めて導入されました。現在、BSoDは「Black Screen of Death（ブラックスクリーン・オブ・デス）」と呼ばれ、少なくともその昔ながらの頭文字は残っています。

新しいBSODは、単なるデジタルペイントの塗り替えではありません。マイクロソフトによると、新しいエラー画面はより簡潔で読みやすくなり、また、従来の「スタートアップ修復」に代わる「クイックマシンリカバリ」と呼ばれるシステムも追加されました。

この機能が今年初めにベータ版としてリリースされたとき、マイクロソフトの Riddhi Ameser 氏は次のように書いています。「迅速なマシン回復により、広範囲にわたる障害によってデバイスが正常に起動しなくなった場合でも、マイクロソフトは Windows RE 回復環境を介して、影響を受けるデバイスに対象を絞った修復を幅広く展開できます。これにより、修正が自動化され、複雑な手動介入を必要とせずに、ユーザーを迅速に生産的な状態にすることができます。」

ただし、これらの機能がすべてデスクトップに導入されるまでには、まだしばらく時間がかかるかもしれません。Microsoftは、バグのあるアップデートを全ユーザーに一括送信することで、広範囲にわたる機能停止を防ぐ「制御された機能ロールアウト」システムを通じて、来月中にこれらの機能を提供する予定です。

何らかの理由で AI を導入することに熱心な人は、Windows Update の「最新の更新プログラムが利用可能になったらすぐに入手する」チェックボックスをオンにすることをお勧めします。オペレーティング システムに AI が過剰に組み込まれることを望まない人には、Microsoft の製品以外を検討する以外に選択肢はほとんどありません。

マイクロソフトが新型Surface Laptop 5Gを発表

Microsoft は、Windows ユーザーに AI をさらに推進すると同時に、もちろん Copilot+ サポートを備えた Surface Laptop 5G という新しいハードウェアを披露しました。

同社の刷新された 13 インチ Surface Laptop や 12 インチ Surface Pro よりも大きい 13.8 インチ ディスプレイを搭載した Surface Laptop 5G には、ローカル AI モデル用の 40 テラオペレーション/秒 (TOPS) ニューラル コプロセッサを搭載した Intel Core Ultra (シリーズ 2) プロセッサと、オプションの内蔵 5G セルラー モデム (「2025 年後半に提供開始」) が搭載されており、同社は「ユーザーは Microsoft 365 Copilot やその他のクラウド ツールに継続的に接続できる」と警告しています。

詳細については、この Microsoft Web サイトをご覧ください。®