GoogleやFacebookがDell EMCのデータサイエンスプロビジョニングポータルなしでAIを構築することは想像しにくい(メモを確認)

Table of Contents

GoogleやFacebookがDell EMCのデータサイエンスプロビジョニングポータルなしでAIを構築することは想像しにくい(メモを確認)

Dell EMCは、企業やサービスプロバイダー向けの人工知能ソフトウェアが今にもブームになりそうな状況を利用しようと、2つの「AI Ready Solutions」を発表した。

誰もが話題にしている機械学習コードすべてを動かす準備が整ったこの新しいキットは、ラックスケールの統合システム アーキテクチャのペアで構成されています。1 つは Cloudera と Hadoop ノードで構成され、もう 1 つは Nvidia GPU ノードと Isilon オールフラッシュ NAS で構成されています。

Dell EMCによると、どちらも検証済みのハードウェアとソフトウェアのスタックです。ClouderaとHadoopを組み合わせたものは標準的な機械学習とビッグデータ分析向けで、NVIDIAとIsilonを組み合わせたものはディープラーニング向けです。後者は、PureのAIRI製品やNetAppのONTAP AIシステムと競合することになります。

Dell EMCの2つのシステムは、データサイエンティスト向けにAIフレームワークとライブラリを自由に選択できるセルフサービス環境を提供し、サポートはDell EMCの単一の窓口で受けられることを目指しています。どちらもDellのサーバー、ストレージ、ネットワークを搭載しています。

Dell_EMC_Ready_Solutions_for_AI

カラフルなAIラックキャビネットの側面。Dell EMCのAIラックガーデンをご覧ください。

機械学習 Cloudera-Hadoop システム

頭字語が豊富なDERSAIML(Dell EMC Ready Solution for AI: Machine Learning)スタックは次のように構成されます。

  • Cloudera Data Science Cluster: 960 GB ~ 1.92 TB の直接接続 SSD ストレージを備えたヘッド ノードと 2 つのワーカー ノード。
  • Hadoop ノード: 3 つのインフラストラクチャ ノードと 7 つのワーカー ノードから開始し、数千のノードにスケール アウトします。
  • Dell EMC オープン ネットワーク スイッチを使用した 25GbitE イーサネット ネットワーク。
  • ソフトウェア スタック: Cloudera Manager、Data Science Workbench、Enterprise Data Hub、Spark、Dell EMC Data Science Provisioning Engine。
  • フレームワーク/ライブラリ: BigDL。

ディープラーニング Nvidia-Isilon システム

DERSAIDL(Dell EMC Ready Solution for AI: Deep Learning)のスタックには、Nvidia および Isilon コンポーネントが含まれており、次のものが含まれます。

  • PowerEdge R740xd クラスタ管理: 12 x 10 TB 直接接続 SAS ドライブを備えたデュアルプロセッサ ヘッド ノード。
  • PowerEdge C4140 1U スケールアウト ワーカー ノードには、デュアル Intel Xeon Gold 6148 20 コア プロセッサ、348 GB RAM、4 つの Nvidia V100 Tesla GPU が搭載されています。
  • Isilon ファイラーに接続するための Dell EMC S3048-ON イーサネット スイッチ。
  • サーバーを相互接続するための Mellanox SB7800 InfiniBand スイッチ。
  • 8 つの 40GbitE リンクを備えた Isilon F800 オールフラッシュ スケールアウト NAS。
  • ソフトウェア スタック: Bright Cluster Manager for Data Science および Dell EMC Data Science Provisioning Portal。
  • フレームワーク/ライブラリ: Caffe 2、MXNET、TensorFLow、NVIDIA の CUDA ディープ ニューラル ネットワーク ライブラリ (cuDNN)、および CUDA 基本線形代数サブルーチン (cuBLAS)。

コンピューティングリソースとストレージリソースは独立して拡張可能で、ストレージは無停止で追加でき、コンピューティングノードはマウスを数回クリックするだけで追加できるとのことです。Dell EMCは、ワーカーノードは数千台まで拡張可能だと謳っています。F800 NASは、15GB/秒の帯域幅で最大25万IOPS、シャーシあたり96~924TBの容量を実現しています。シャーシあたり8つの40GbitEネットワークポートを備え、最大33PBまでスケールアウト可能で、クラスタあたり最大540GB/秒の帯域幅を備えています。

ベンダー提供の部分的な(「部分的」であることを強調します)比較パフォーマンス データがあり、このシステムと Pure の AIRI、NetApp の A700/Nvidia、A800/Nvidia システムを比較しています。この比較パフォーマンス データは、ベンダーが実行したベンチマークで、ディープラーニング ニューラル ネットワーク Resnet-50 と AlexNet を使用しています。

  Resnet-50 Resnet-50 Resnet-50 Resnet-50 アレックスネット アレックスネット アレックスネット
  4 GPU 8 GPU 16 GPU 32 GPU 4 GPU 8 GPU 16 GPU
ピュアアイリ 1335 2540          
NetApp A700 エヌビディア 1131 2048 4870   4243 4929  
NetApp A800 エヌビディア   6000 11200 22500      
Dell EMC Ready ソリューション - ディープラーニング 2931 5590 11120   7691 14259 2735

スコアが高いほど良いことを示します。空欄は利用可能なデータがないことを示します。Resnet-50では、Dell EMCキットはNetApp A700/Nvidiaのシステム全体で性能が優れており、NetAppのA800/Nvidia ONTAP AI製品よりもわずかに遅いです。また、Pure AIRI製品よりも優れた性能を発揮します。

青い砂の砂時計を持っている人

4分間の警告です: 科学者がImageNetベースのAI分類器をわずか240秒で学習

続きを読む

Dell EMC向けにResnet-50とAlexNetベンチマークを実行したESGによると、AlexNetは画像分類器であり、キーボード、マウス、鉛筆など、画像内のオブジェクトを1,000のカテゴリに分類できるという。このベンチマークでは、ディープラーニング学習のデファクトスタンダードであるImageNetデータセットを用いてAlexNetモデルを学習する。143GBのImageNetデータセットには、21,841の異なるカテゴリに分類された14,197,122枚の画像が含まれている。

同じく画像分類器である Resnet-50 よりも計算負荷が低くなります。

Alexnetでは、Dell EMCシステムはNetApp A700/Nvidiaシステムよりも高速ですが、このベンチマークではNetApp A800/Nvidiaの数値は示されていません。Resnet-50の結果に基づくと、Dell EMCのディープラーニングソリューションと同等の性能になると推測できます。

ポータルとサービス

両AI Readyソリューションの根底にある考え方は、AIシステムの導入と運用を簡素化することです。Dell EMCによると、これらのソリューションにより、データサイエンティストによる「セルフサービス」が可能になり、スクリプトの開発が不要になったとのことです。

同社は、テキサス州オースティンに拠点を置くNVIDIAと共同でディープラーニング・インスティテュートを設立し、顧客がAIアクセラレーション・アプリケーションの構築方法を実践的なトレーニングで学ぶことができる環境を提供しています。また、インストールと展開、データエンジニアリング、データサイエンスのベストプラクティスとプロセスを含むAIコンサルティングサービスも提供しています。

Dell EMCは、この2つのReady SolutionsによりAIラックガーデン市場に参入し、その成長を目指しています。これらのシステムは現在米国で提供されており、今後2ヶ月以内にブラジル、カナダ、メキシコ、フランス、ドイツ、英国、オーストラリア、中国、インド、日本で展開される予定です。®

Discover More