AWS で数ペタフロップスの処理能力が得られるのに、スーパーコンピュータなんて必要ありません。

ビッグデータを分析する企業、デカルト・ラボは、5,000ドルとアマゾン・ウェブ・サービス（AWS）のアカウントを獲得し、世界最速の公表スーパーコンピュータのトップ500リストで136位を獲得した。

AWSの「スーパーコンピュータ」は41,472個のコアと157,824GBのRAMを搭載し、LINPACKベンチマーク（密な連立一次方程式を解く）で1,926.4TFlop/sを達成しました。これは、米国オークリッジ国立研究所のスーパーコンピュータ「Summit」が記録した148,600TFlop/sには遠く及びませんが、パブリッククラウドにおける従量課金制コンピューティングとしては驚異的な数値です。

「私たちのチームは、標準的な手順で『プレイスメントグループ』、つまり高ネットワークスループットのインスタンスブロックをリクエストしただけです。これはAWSインフラストラクチャ内でミニオークリッジを予約するようなものです」とデカルトラボはコメントしています。「AWS US-East 1リージョンのノードグループへのアクセスを許可されましたが、料金は会社のクレジットカードに約5,000ドル請求されました。」

このシステムは、通常の EC2 インスタンス上で Amazon Linux 2 を実行し、Descartes Labs CTO の Mike Warren によって管理され、HashiCorp Packer を使用して自動化されたマシンイメージと並列コンピューティング用の MPI (Message Passing Interface) を構築しました。

艦隊

AWSは過去にもTop500にランクインしており、最高のパフォーマンスは2013年にAWS自身が提出したサンプルで484.2TFlop/sを記録し、64位にランクインしました。AmazonのDeepak Singh氏はTwitterで、「インスタンスを公開する前にプロビジョニングしたため、当時は他に誰もインスタンスに参加していなかった」と述べており、今日ではさらに高いパフォーマンスを達成できる可能性は十分にあります。しかし、Descartes Labsは、パブリッククラウド上のシステムとしては、これまでで最高のTop500パフォーマンスを達成したと考えています。

「真のHPCアプリケーションは最終的にクラウドに大規模に移行すると考えています」と同社は述べているが、同社は「クラウドベースのスーパーコンピュータ上のデータ精製」に特化しているため、このような発言は驚くべきものではない。しかし、クラウドHPCには、比較的低い導入コストや必要に応じて容量をバーストできる機能など、多くの魅力がある。

クラウドプレミアム（AWS（この場合）がコンピューティングリソースに対して得るマージン）を支払う必要があります。また、データをクラウドに転送するコストも考慮する必要があり、これが問題となる可能性があります。

トップ500ランキング107位のCumulusを運営するケンブリッジ大学リサーチコンピューティングサービスのディレクター、ポール・カレハ博士は、フランクフルトで開催中の国際スーパーコンピューティング会議からThe Regの取材に応じた。「オフプレミスでの運用コストは、オンプレミスでの運用コストよりも大幅に高くなります」とカレハ博士は述べた。「当社のコストモデルでは約3倍のコストがかかります。ペタスケールとなると、これは大きな数字です。」

もう一つの問題はパフォーマンスです。「AWSはLINPACKを問題なく実行できるかもしれません。LINPACKは非常に簡単なことで知られていますが、AWSのI/Oパフォーマンスはひどいです。よりHPCに近いインフラストラクチャにはRDMA（リモートダイレクトメモリアクセス）ネットワークがあります。つまり、これには多くの問題があります。LINPACKの数値が大きいことは何の意味もありません。」

オープンスタック

ケンブリッジ チームは、I/O に関しては自慢できる存在であり、最新のランキングでは IO-500 リストで世界第 1 位を占めています。

カジェハ氏は、オープンソースのクラウドコンピューティングAPIであるOpenStackを用いたハイブリッドクラウドの提唱者であり、彼のチームはこの目的のためにOpenStackをカスタマイズしています。「OpenStackを使えば、オンプレミスのクラウド構成をオフプレミスの商用クラウド内でインスタンス化できます。つまり、社内インフラよりも規模を大きくする必要がある場合は、オフプレミスを利用することになります。その際、ソリューション提供までの時間を商用の推進力として活用します。ソリューション提供までの時間を商用の推進力として活用できない場合は、オンプレミスで3分の1のコストで運用する方が賢明です。」®

ブートノート

HPCを民主化するもう一つのアプローチは、データセンターなしで構築できる最大3,000コアのRaspberry Piシステムです。パフォーマンスはそれほど高くありませんが、パブリッククラウドでスペースを借りる前にこのシステムでコードをテストすれば、コストは大幅に削減できます。