Huawei は、FusionStorage 製品と Alluxio オープンソース ソフトウェアを使用したビッグ データ分析加速スキームを発表しました。これは、低速な分析クエリを高速化する最新の犬の性器のようです。
Alluxio は、Andreessen Horowitz が支援するスタートアップ企業である Tachyon Nexus が改名したものです。
FusionStorageは、Huaweiの分散型ソフトウェア定義ストレージシステムです。最新のFusionStorage 6.0は、分類、暗号化、重複排除機能を備えた分散型ブロック、ファイル、オブジェクトストレージをサポートします。
Alluxioのソフトウェアは、メモリ中心の仮想分散ストレージシステムです。HDFSノード群などのリモートストレージシステムに対する巨大なローカルキャッシュとして機能します。これは、ビッグデータ分析ジョブやクエリを実行するコンピューティングノードからアクセスされるローカルノードのクラスターを基盤としています。
ソフトウェアは以下を提供します:
- 自動データ配置機能を備えた階層型ストレージ(メモリ、フラッシュ、ディスク)
- 透明な命名による単一の名前空間
- ネイティブ S3、Google Cloud Storage、Open Stack Swift、Alibaba OSS、Microsoft Azure Blob ストアの統合
- ヒューズコネクタ、キー値インターフェース
- 1つのコマンドによるクラスタ展開
- メトリクスレポート
Alluxio は、HDFS、Gluster、S3、OpenStack、GCS、NFS、OrangeFS、IBM Spectrum Scake、Ceph、Isilon など、さまざまな基盤となる (リモート) ストレージ システムをサポートしています。
BaiduはAlluxioを使用することでSparkクエリの実行速度を30倍向上させました。15分かかっていたバッチクエリが30秒未満で完了し、1,000ユーザーのAlluxioクラスターは50TB以上のRAMスペースを提供しました。
Barclays は、クエリを実行するコンピューティング ノードと Teradata データ リポジトリの間に Alluxio セットアップを挿入することで、Spark ジョブを数時間から数秒に高速化しました。
すごいですね。これらすべてがHuaweiとそのIoT/クラウド戦略に非常に合致していると思います。Alluxioプロジェクトについてはwww.alluxio.orgをご覧ください。Alluxioのスライド資料はこちらでご覧いただけます。®