英国の大学が中古部品から独自のスーパーコンピューターを構築

Table of Contents

英国の大学が中古部品から独自のスーパーコンピューターを構築

ダラム大学は、リサイクル部品から中古のスーパーコンピュータを独自に構築し、素粒子物理学、天文学、宇宙論の理論モデリングとHPCベースの研究のための統合施設であるDiRAC(高度なコンピューティングを利用した分散型研究)への貢献を強化しました。

イングランド北東部のダラムにある宇宙論計算研究所 (ICC) は、DiRAC への貢献として COSMA5 システムを運用しています。

英国には、HPC 分野の世界的リーダーである 5 つの DiRAC が導入されています。

  • Cambridge HPCS サービス: データ分析クラスター – 9,600 コア (200TFLOPS)、0.75PB (raw) の並列ファイル ストア、高性能 Infiniband IO および相互接続 (ノードからストレージまで 7GB/秒)、単一の 600 ポートの非ブロッキング スイッチ、コアあたり 4GB の RAM
  • Cambridge COSMOS SHARED MEMORY サービス – 1,856 コア (42 TFLOPS)、14.8 TB のグローバル共有メモリ (コアあたり 8 GB RAM)、146 TB の高性能スクラッチ ストレージ、31 個の Intel Xeon Phi コプロセッサを搭載可能
  • レスターITサービス:複雑性クラスタ – 4,352コア(95TFLOPS)、0.8PB並列ファイルストア、高性能IOおよび相互接続、ノンブロッキングスイッチアーキテクチャ、コアあたり8GB RAM
  • ダーラム ICC サービス: データ セントリック クラスタ – 6,500 コア、2 PB の並列ファイル ストア、高性能 IO および相互接続、2:1 ブロッキング スイッチ アーキテクチャ、コアあたり 8 GB の RAM
  • エディンバラ 6144 ノード BlueGene/Q – 98,304 コア、5D トーラス インターコネクト、高性能 IO およびインターコネクト

上記のダーラム・クラスターはCOSMA5システムで、6m720 2.6GHz Intel Sandy Bridge Xeon E5-2670 CPUコアを搭載したIBM iDataPlex dx360 M4サーバー420台で構成されています。53.76TBのDDR3 RAMとMellanox FDR10 Infinibandを2:1ブロッキング構成で搭載しています。

2.5PBのDDNストレージを搭載し、2台のSD12Kコントローラを完全冗長モードで構成しています。6台のGPFSサーバーがフルFDR経由でコントローラに接続され、FDR10ネットワーク経由でRDMAを使用してコンピューティングクラスターに接続されています。COSMA5は、ジョブスケジューラとしてLSFを搭載したGPFSファイルシステムを使用しています。

ICCとDiRACはこのシステムを強化する必要があり、ダーズベリーのハートリーセンターに廃棄すべきスーパーコンピューターがあることに気付きました。このHPCシステムは2012年4月に設置されましたが、ダーズベリーに新しい機器が導入されたため、廃棄せざるを得ませんでした。

ダーラムには、それを収容できる電力と冷却設備を備えた機械室がありました。さらに素晴らしいことに、その構成はCOSMA5と驚くほど似ていました。

そこで、HPC、ストレージ、データ分析のインテグレーターであるOCFと、サーバー移転およびデータセンター移行の専門企業であるTechnimoveが、ICCにあるマシンの解体、輸送、再構築を行いました。この作業全体は、科学技術施設評議会(SFC)の資金提供を受けて行われました。

COSMA6は2016年4月にダーラムに到着し、ICCに設置・試験されました。現在、DiRAC 2.5の一部としてダーラムのDiRACシステムを拡張しています。

COSMA6 には次の機能があります。

  • 497 台の IBM iDataPlex dx360 M4 サーバー計算ノード
  • 7,952個のSandy Bridge Xeon E5-2670コア
  • 35TB以上のDDR3 DRAM
  • Mellanox FDR10 InfiniBandスイッチを2:1ブロッキング構成で接続し、コアを
  • DDN エクサスカラ ストレージ:
    • 8 つの OSS と 2 つの MDS によって提供される 2.5PB のデータ スペース
    • 1.8PB の Intel Lustre スクラッチ スペースは、IP over IB と RDMA を使用して 6 つの OSS と 2 つの MDS によってクラスタに提供されます。

ジョブ送信システムには、Lustre ファイルシステムと SLURM が使用されます。

コスマ6

COSMA6ラック

ICC テクニカル ディレクターの Lydia Heck 氏は次のように語っています。「現在の状態に到達するのにかなりの労力がかかりましたが、以前のシステムと同じアーキテクチャとネットワーク レイアウトであるため、非常にうまく動作すると期待しています。」

現在、ダーラムには DiRAC に貢献し、研究者が利用できる COSMA5 (6,500 コア) と COSMA6 (8,000 コア) の両方があります。

DiRAC にアクセスして使用する方法については、こちらをご覧ください。®

Discover More