Peaxyは未来のビジョンを提示する - それはサイロを融合したデータレイクだ

Table of Contents

Peaxyは未来のビジョンを提示する - それはサイロを融合したデータレイクだ

データ管理および保存のスタートアップ企業 Peaxy は、データがどこにあってもその場所を特定してアクセスできるようにするビッグ データ分析ツールの提供を目指しています。

まあ、確かに、ちょっと退屈な話ですね。ファイル仮想化ソフトウェアは、ストレージ間でファイルを移動させてスタブを残すという、誰もが経験したことがあるでしょう。BrocadeのStorageX、EMCのRainfinity、Acopia/F5、AutoVirt、CiscoのNeoPathなど、何かご存知の方はいらっしゃいますか?どれも世界を驚かせるほどのものではありません。

では、なぜピークシーは、これらの冷たい死の灰をかき集めながら、世界を燃やすのでしょうか?

もちろん、関係するファイルはもっと多く、相対的なデータプールではなくデータレイクが使われます。また、PeaxyではHyperfiler、データプレーン、データセットのマージについても取り上げています。

Peaxyはワークフローとファイルシステムのセマンティクスを扱うため、ファイルがクラウドに移動され、クラウドAPIの使用が必要な場合でも、アプリケーションはファイルにアクセスすることができます。Peaxyはこの問題を隠蔽します。

Hyperfilerは、アプリケーションに対してファイルストレージを単一のファイルストレージプールのように提供するソフトウェアレイヤーです。実際には、オンプレミスとクラウドストレージの両方から構成される仮想プールであり、分散された統合された名前空間内にあります。

Peaxy_ハイパーファイラー

Peaxy Hyperfiler の図

概念的には、Peaxy は個々のデータストアとは別に、独自の(メタ)データストアまたは名前空間ストアを備えています。これは複数のサーバーに分散されており、「データへの並列アクセスを可能にし、小さなファイルであってもパフォーマンスのボトルネックを解消しながら、完全に拡張可能」です。

Peaxyは、サーバーの追加に応じてパフォーマンスが直線的に向上し、エクサバイトレベルまで拡張できると述べている。今後の展開が楽しみだ。

データとメタデータは、ローカルとリモートサイトの両方に最大4回複製されるため、サーバー全体の障害が発生しても、必ずしも災害につながるわけではありません。非同期レプリケーションも含まれています。このアーキテクチャは、データとメタデータの両方に巡回冗長検査(CRC)を使用し、自己修復機能を備えていると言われています。

同社によると、Hyperfilerは「オンプレミスとオフプレミスの様々な種類やインフラストラクチャにわたるデータを、統合されたPeaxy名前空間でサポートされるデータレイクに統合する大規模なデータインフラストラクチャを提供します。この名前空間はアプリケーションやストレージの種類を網羅し、特許取得済みの技術を用いてファイルパス名を保持することで、ファイルの移行や技術更新サイクルを経てもデータ資産への途切れることのないアクセスを保証します」とのことです。

Hyperfiler ソフトウェアは、「仮想マシン (VM) またはコンテナをクラスタ化してデータをホストおよび管理することで、基盤となるハードウェアの特定の属性に依存せずに、動的に拡張可能な分散データ スペースを作成し、ファイルを提供します」。

Peaxy ストレージクラスダッシュボード

ストレージクラスを表示するPeaxyダッシュボード

ユーザーはデータのストレージクラス(情報コンテナ)を定義し、Peaxyはデータをそのクラスに適したストレージハードウェアに移動します。ストレージクラスは、パフォーマンス、信頼性、コストのバランスに合わせて設定されており、ホットデータはフラッシュに、古いデータやコールドデータは低速で安価なメディアに保存されます。

同社は「顧客が定義したポリシーに基づいてデータ移行を自動化し、手動による介入を必要とせずにシームレスに実行する」としている。

「データ ポリシーは、各コンテナーのインデックス作成、セキュリティ、整合性チェック、およびデータ セットを定義します」と言われています。

インデックス作成と検索はLuceneとSolrに基づいており、Hyperfilerはデータが変更されるとインデックスを作成します。インデックス作成でサポートされているファイル形式は、Microsoft Office、HTML、PDF、AutoCAD DXFおよびDWGです。

Hyperfilerはストレージクラスとインデックスの両方を管理するため、再インデックスなしでデータを異なるストレージクラスに移行できます。「システムアーキテクチャにより、パーサーを拡張してより多くのファイルタイプをサポートできます」と同社は述べています。

PeaxyのHyperfilerは、POSIX、Windows CIFS、HDFSをサポートしています。同社は、Hyperfilerについて「データが最初に書き込まれたアプリケーションやアクセス方法に関係なく、HadoopまたはSparkを使用してHyperfilerにデータを取り込み、保存し、その上で計算を実行するための、高可用性と高性能を備えた基盤」であると主張しています。

Discover More