オーストラリア財務省は、マイクロソフトの Copilot が容易に投資収益率をもたらすことを発見したが、AI アシスタントを体験した職員は、それが仕事に役立つという自信を失ってしまった。
国防総省は2024年にMicrosoft 365 Copilotの14週間の試験運用を実施し、ボランティアの参加を募りました。218人が手を挙げ、マイクロソフトのAIヘルパーの利用経験に関するアンケートに回答しました。これらのアンケートは、火曜日に発表された評価報告書の基礎となっています。
報告書によると、トライアル後、参加者は Copilot が期待していたほど有用ではないと評価しました。これは、Copilot が適用可能なワークロードが期待していたよりも少なかったためです。
Copilot がサポートできると感じた、またはサポートしたと感じたワークロード参加者の予想および実際の割合: - クリックして拡大
Copilot が仕事の改善に役立つという従業員の見方も低下しました。
Copilot が仕事の質に及ぼす影響についての参加者の評価 - クリックして拡大
Copilotの利用率は予想を下回り、参加者のほとんどが週2～3回、もしくはそれ以下しか使用していませんでした。財務省は、試験運用前に非現実的な高い期待値を設定した可能性が高いと考えており、参加者からは追加のトレーニングが有益であるとの意見が多く寄せられたと指摘しています。
トライアルでは、Copilotの4つのユースケース（構造化コンテンツの生成、ナレッジマネジメントの支援、情報の統合と優先順位付け、プロセスタスクの実行）が提案され、参加者はこれらが適切であると同意しました。しかし、報告書では、「主に製品自体の限界により、Copilotはより複雑なタスクには適していない」という意見も出ていることが示されています。
参加者がCopilotで最も効果的だと感じたタスクは、「情報の検索と要約、議事録の作成、ナレッジマネジメント、コンテンツの作成」でした。レポートではこれらを「基本的な管理タスク」と表現しています。
しかし、そうした作業にかかる時間を少しでも節約できれば、その効果は大きい。報告書によれば、Copilot によって中堅社員の時間が 1 週間あたり 13 分節約できれば、導入費用を回収できるという。
- Microsoft 365 の値上げが近づいています。支払うか、オプトアウトするか（ボタンが見つかった場合）
- マイクロソフトに理性的な対応を求めたのに、OpenAI GPT-o1でCopilotを理にかなうものにしてしまった。
- 大手テクノロジー企業はなぜ AI をオプトアウトさせることに固執しているのか?
- マイクロソフトがタブを判断するAIアシスタント「Copilot Vision」を発表
マイクロソフトがおそらく高く評価するであろう他の発見としては、Copilot が「神経多様性を持つ人やパートタイムのスタッフ、あるいは休職を必要とする病状を持つ人々のアクセシビリティとインクルージョンに貢献した」という予期せぬ利点が挙げられる。
AIアシスタントは、欠席した会議の自動要約を作成し、「職場の規範や文化に馴染めない人々にとって、公平な機会を提供する」ことでこれを実現しました。その結果、一部の従業員は「仕事への自信が少し高まった」と報告しており、特に若手社員や新入社員はそのような感情を表明する傾向が強まりました。
財務省は、この試験運用から、コパイロットを使用するスタッフをより慎重に選定すること、AI の使用方法に関する必要なトレーニングとそのリスクについてさらに考慮する必要性、職場での AI の影響をテストするために継続的な監視を行うことが望ましいことなどを学びました。
別の調査結果では、サービスとしての AI は財務省のような機関には適していない可能性があることが示唆されています。
「保護された政府データと助言のセキュリティは最優先事項ですが、理想的には、生成AI製品の中核機能はセキュリティ要件と連携して機能するべきです」と報告書は述べています。「製品が財務省の厳格なセキュリティ要件を満たすために時間の経過とともに進化していくのか、あるいはCopilot自体が財務省の内部データをアルゴリズムに入力することなく、外部情報を出力に組み込むように進化し続けるのかは明らかではありません。」
この意見は、機密情報を扱う組織はオンプレミスの AI インフラストラクチャの方が適している可能性が高いことを示唆しています。®
