分散 SQL データベース企業の Cockroach Labs は、パブリック クラウドのパフォーマンスを分析し、CPU パフォーマンスとネットワーク レイテンシでは AWS がリードしているものの、スループットでは Google Cloud Platform が勝っているという結論に達しました。
Cockroach Labs は 2018 年に初めてクラウドのパフォーマンスについて報告し、次のように述べました。「当社はクラウド ニュートラルな製品の構築に注力しており、米国の主要クラウド プロバイダー 3 社すべてでテスト クラスターを実行しています。」
研究者たちはCPU、ネットワーク、ストレージ、そしてオンライントランザクション処理（OLTP）のパフォーマンスを測定しました。当時、研究者たちは「AWSは、コストを含むほぼ全てのテスト基準でGCPを上回っている」と報告しました。Azureは2018年にはテストされていませんでした。2020年に行われた新たなテストでは、AWS、Azure、GCPのパフォーマンスは比較的拮抗しており、「2020年クラウドレポートにおいて、GCPは劇的な改善を示し、TPC-Cの性能単価ではAWSとAzureを上回りましたが、3ノードクラスタで利用可能な最大tpmCではAWSとAzureをわずかに下回りました」という結論に達しました。
2021年はどうでしょうか？研究者たちは54種類の仮想マシンをベンチマークし、約1,000回のベンチマークを実行しました。ベンチマークスクリプトはオープンソースで公開されています。3つのプロバイダーはいずれも非難されていません。詳細な結果では、一部のカテゴリーで3社すべてが勝利を収めています。また、このテストは仮想マシンに限定されており、提供されている他の無数のサービスはカバーされていません。
詳細な結果では、3つのプロバイダーすべてがさまざまなカテゴリーで勝利を収めていることが示されています。
概要では、AWSが最もコスト効率の高いマシンと最良のネットワークレイテンシを提供し、ARMベースのGravitonプロセッサが「マルチコアCPUベンチマークで最高のパフォーマンスを発揮した」と報告されています。ただし、AWSはストレージI/OとシングルコアCPUでは遅れをとっていました。
レポートの重要な指標はTPM（1分あたりのスループット）です。研究者らは、TPMは「実用的には、1分あたりに処理される注文数を測定する」と述べています。
Azure は「GCP および AWS と同等の生のスループット (TPM) パフォーマンス」を備え、ストレージ I/O パフォーマンスで AWS を上回り、ウルトラ ディスクによるストレージ IOPS と書き込みレイテンシでリードしていましたが、これには代償があり、Azure は「TPM あたりのコスト効率が最も低いクラウド プロバイダー」となっています。
レポートでは、GCP はシングルコア CPU パフォーマンスが最高で、「あらゆるレベルで最高のスループット」を示し、「ネットワークとストレージの I/O (読み取りと書き込み) スループット」において AWS と Azure を上回ったと結論付けています。
2 つの主要なグラフには、TPM あたりのコストに基づいて最もコスト効率の高いマシンと、仮想マシンから取得可能な最大 TPM が表示されます。
AWSはコスト効率において小さいながらも大きな優位性を持っているが、Azureは最高のパフォーマンスで十分に競争力があるものの、コストが大幅に高い。
3年間のコスト効率では、AWSが0.81ドル/TPMでトップとなり、GCPが0.92ドル/TPM、Azureが0.95ドル/TPMでこれに続きました。一方、最高パフォーマンスでは、GCPが37,048TPMでトップに立ち、Azureが36,952TPM、AWSが36,627TPMで続きました。ただし、ここでもAzureは1.49ドル/TPMと最も高価で、GCPは1.01ドル/TPM、AWSは0.97ドル/TPMでした。
Azure の最高のパフォーマンスは、Ultra Disk 製品を使用することで実現されます。
AWS Graviton2プロセッサは、マルチCPUスケーリングにおいてAMDの代替プロセッサよりも優れたスコアを記録しましたが、その差は大きくありませんでした。「GCPとAzureのマシンのスコアはそれぞれ5%と7%低かった」と研究者らは述べています。
GCPはネットワークスループットが高く評価されました。「GCPの最高性能マシンは、AWSとAzureと比較してそれぞれ165%と237%高いスループットを達成しました」とレポートは述べています。これは技術的な優位性というよりも、「GCPは単に利用可能な帯域幅が広い」という点です。研究者たちはこの点においてAWSに失望し、「AWSネットワークに最適化された一部のマシンは、最大25Gbpsのネットワークスループットが期待されていましたが、私たちのテストでは平均5Gbpsにとどまりました」と述べています。AWSのこの結果は「確かに驚くべきもの」であり、研究チームはこれを裏付けるために10回の独立した実験を行いました。
この詳細なレポートは、クラウド プロバイダーを比較する人だけでなく、利用可能な膨大な数のバリアントからさまざまな VM タイプの長所と短所を理解しようとしている人にとっても役立つ読み物です。
全体的に見て、Cockroach Labsは「勝者を決めるのは過去数年よりもずっと難しかった」と述べています。GCPは「一連のベンチマーク全体で最高の総合パフォーマンス」を理由にトップに立ちましたが、AWSはコスト効率で勝利しました。これは場合によってはより重要な指標となる可能性があります。一方、Azureはコストが主要な考慮事項ではない場合にUltra Diskストレージで高い評価を得ました。
ただし、提供されるマシンの種類の詳細は急速に変化しているため、このようなレポートはすぐに時代遅れになる可能性がある。「2020年のレポート以降、各クラウドプロバイダーのマシンパフォーマンスは全体的に向上している」と研究者らは述べており、パフォーマンス向上の傾向にあることを確認している。®
