英国政府機関がマイクロソフトのM365 Copilotを3か月間試用した結果、目に見える生産性の向上は見られず、一部のタスクはスピードアップしたが、出力品質の低下により他のタスクのスピードは低下した。
英国商務省は、2024年10月から12月までの使用ライセンス1,000件を受け取りました。その大部分はボランティアに、30%は無作為に選ばれた参加者に割り当てられました。このうち約300人がデータの分析に同意しました。
マイクロソフトは、長期的にはコパイロットが「金儲け」になると約束している。
続きを読む
その後、評価では時間の節約、品質保証、生産性の評価が計算されました。
全体として、72%のユーザーがデジタルアシスタントに満足または非常に満足しており、テスト終了時には失望の声を上げました。しかし、生産性向上の実態は、Microsoftのマーケティング資料が示唆するよりも微妙なものでした。
トライアルに参加した従業員の約 3 分の 2 が少なくとも週に 1 回は M365 を使用し、30 パーセントが少なくとも 1 日に 1 回は使用していましたが、これはコストパフォーマンスがあまり良くないように思えます。
英国では、法人向け価格はビジネスプランに応じて、ユーザー1人あたり月額4.90ポンドから18.10ポンドまでとなっています。つまり、政府機関全体で見ると、これらの費用は急速に膨れ上がる可能性があります。
トライアルで利用可能になった M365 Copilot 監視ダッシュボードによると、ユーザー 1 人あたり平均 72 件の M365 Copilot アクションが実行されました。
調査によると、「パイロット期間中の営業日数は63日であったため、ユーザー1人あたり1日平均1.14件のM365 Copilotアクションが実行されたことになります」とのことです。Word、Teams、Outlookの使用率が最も高く、LoopとOneNoteの使用率はそれぞれ1日あたり1%未満、3%未満と「非常に低い」と評価されました。
「PowerPoint と Excel は若干人気が高く、どちらのアプリケーションでも、ライセンス所有者の 7% が 1 日のうちに M365 Copilot を使用してピークのアクティビティを記録しました」と調査では述べられています。
最も人気のあった3つのタスクは、会議の書き起こしまたは要約、メールの作成、そして文書によるコミュニケーションの要約でした。これらのタスクは満足度も最も高かったそうです。
参加者は、M365 Copilot を使用した各タスクの所要時間を、トライアルに参加していない同僚と比較し記録するよう求められました。評価レポートには、「観察されたタスクセッションの結果、M365 Copilot ユーザーは、非ユーザーよりもレポートの要約を作成し、メールをより速く、より高品質かつ正確に作成していることが示されました。メール作成における時間の節約は極めてわずかでした。」と付け加えられています。
しかし、M365 Copilot ユーザーは、非ユーザーよりも Excel データ分析に時間がかかり、品質と精度も低く、データ分析に関する日記調査で報告された時間の節約とは矛盾しています。
「PowerPoint スライドは平均で 7 分以上速くなりましたが、非ユーザーよりも品質と精度が劣っていました。」これは是正措置が必要であることを意味します。
- バークレイズ銀行、マイクロソフトと10万ライセンスのコパイロット契約を締結
- マイクロソフトは、ソブリンクラウド推進の一環として、オンプレミス版365スイートを導入します。
- マイクロソフトはCopilot AIをExcelのセルに直接詰め込んでいる
- AI 開発者 1 人あたり年間 10 万ドルを支払う意思はありますか?
参加者の横断的なインタビュー（定性的な調査結果）では、日常的な管理タスクを M365 Copilot でより効率的に実行できると主張し、「より戦略的または価値の高いタスクに時間を振り向けることができる」と述べ、「節約した時間をトレーニング セッションに参加したり、ランチタイムの散歩に使ったりできる」と報告した参加者もいました。
しかしながら、M365 Copilot が必ずしも生産性向上に繋がったわけではないことが評価で判明しました。マイクロソフトは顧客と協力して、M365 Copilot のメリットを定量化し、ライセンス費用の高騰を正当化する取り組みを進めてきました。
「時間節約が生産性向上につながっていることを示唆する確固たる証拠は見つかりませんでした」と報告書は述べている。「しかし、これは評価の主要な目的ではなかったため、時間節約が生産性向上につながっているかどうかを特定するためのデータは限られていました。」
マイクロソフトはデータ主権を保証できない – OVHcloudは「そう言ったはずだ」と主張
続きを読む
幻覚はどうか？査定者に回答した商務省のモルモットのうち、22％が幻覚を確認したと答え、43％が確認しなかった、そして11％が不明だと答えた。
ユーザーは同僚の態度について様々な経験を報告しており、AIを活用した従業員を受け入れるチームもあれば、明らかに冷淡な態度を示すチームもあった。ラインマネージャーの見解は採用率に大きな影響を与えているようで、社内政治が依然として人間的なものであることを証明している。
同省は依然として環境コストと費用対効果に関する数値を精査中であり、AIの企業侵略の真価が問われるにはまだ時間がかかることを示唆している。例えば、MITが先月発表した調査によると、生成型AIに総額350億～400億ドルを投じた企業のうち、95%がほとんど成果を上げていないことが明らかになった。
今のところ、M365 Copilot は日常的なことには優れているものの、複雑なことにはつまずいているようです。これは 2024 年の GenAI を的確に表しています。®
