分析Amazon のパブリック クラウドにファイルを保存し、オンプレミスでアクセスして、ローカル ディスク アクセスのパフォーマンスを期待することはできません。
BoxやDropboxのような同期・共有サービスに保存することもできますが、その場合はファイル全体をダウンロードする必要があります。これは、大きなファイルや大規模なデータセット、そして本番環境には適していません。
Nasuni や Panzura などのクラウド ストレージ ゲートウェイを使用することもできますが、これは問題なく動作しますが、複雑さが増し、拡張性が低下する可能性があります。
スタートアップ企業の LucidLink は、ローカル メタデータ キャッシング、並列 TCP/IP ストリーミング、プリフェッチ、キャッシングを使用して、パブリック クラウドに保存されたファイルをオンプレミスのプライマリ データ ストレージで使用できるようにすると主張しています。
同社は、元DataCore社のCEOであるピーター・トンプソン氏とCTOのジョージ・ドチェフ氏によって設立されました。この経歴は、DataCore社が記録破りのSPC-1 v1ベンチマーク結果で並列IOを使用していることと深く関係しています。
ドチェフ氏は2015年6月までデータコアのソフトウェアエンジニアリング担当ディレクターを務めていた。LucidLinkは2016年1月に設立され、同年12月にシード資金として160万ドルを調達し、今年2回目のシードラウンドで550万ドルを調達したばかりである。
彼らが考え出したのは、リモート オブジェクト ストアからファイルをストリーミングするより高速な方法のようです。
まず、ファイルをオブジェクトとして S3 バケットに保存します。Amazon は、最初にサポートされるクラウドです。
NFS、CIFS、SMB を使ってオンプレミスでデータをストリーミングする際に障害となるのは、時間とレイテンシです。例えば、TCP/IP はデータ転送シーケンスだけでなく、メタデータメッセージシーケンスも多数含まれる、通信量の多いプロトコルです。
英国のBridgeworksなどの専門サプライヤーは、TCP/IPストリームを並列化することで転送時間を短縮し、処理速度を向上させています。これはLucidLinkの技術の特長の一部です。
アーキテクチャ図は、Amazon S3 内の LucidLink ストアと、お客様のサーバー内の LucidLink アプリ（またはエージェント）を示しています。このアプリは、Amazon 上の LucidLink ストアから同期されたメタデータを保存し、LucidLink ファイルをローカルサーバーの OS ファイルシステムおよびフォルダ/マウントポイントの一部として提供します。
クリックして拡大
ユーザーのアプリケーションがファイルを必要とする場合、ファイルはAWS S3ストアからオンデマンドでローカルサーバーにストリーミングされ、最初のバイトセットの受信が完了するとすぐに使用可能になります。並列TCP/IPストリーミングが使用されるため、メタデータのチャタリングが削減され、プリフェッチとキャッシュによって処理速度も向上します。
LucidLInk のデモでは、140 km 離れた Amazon S3 オブジェクト ストアから Hyper-V VM を起動するサーバーが示されています。
YouTubeビデオ
VMのログイン画面が表示されるまでには約1分かかります。VMがローカルキャッシュに保存されると、その後の起動には約6秒かかります。
ここで紹介するのは、安価なクラウドオブジェクトストレージを利用し、ローカルディスクに保存されているかのようにファイルにアクセスする手段です。ただし、ローカルディスクの速度はかなり遅いです。S3アーカイブをニアラインファイルストアに変換できる可能性もあるかもしれません。
ストリーミング技術は双方向です。そのため、LucidLinkのエージェントは、ビデオ監視データなどのデータをクラウドにストリーミングするデータ生成エッジデバイスで動作できます。AWS Governmentクラウドを使用して、これを本番環境で実行している顧客もいます。
LucidLinkは、サブスクリプションベースの従量課金制サービスとして製品技術を提供しています。同社は、その技術の価値を正当化するために、いくつかのコスト比較を提供しています。
- AWS Elastic Block Storage (EBS) – 1TBあたり年間1,230ドル
- AWS Elastic File System (EFS) – 1TBあたり年間3,680ドル
- LucidLink + AWS S3 – 1TBあたり年間895ドル
LucidLinkはS3を使用しているため、原則としてS3互換のオブジェクトストアであればリポジトリとして使用できます。つまり、近日中にサポートされるAzureと、Azureに続いてサポートされるGCPが対象となります。その他の候補としては、BackBlaze B2、Cloudian、Scality、SwiftStackなどが挙げられます。
ロードマップには、クラウド内のリージョンとクラウド間でのライブデータレプリケーションと移行、スナップショット、監査機能、サードパーティソフトウェアの統合、モバイルサポートが順に含まれています。
理論的には、LucidLink はストリーミングファイル転送技術を用いて、パブリッククラウドのファイルストアやオブジェクトストアとの間でデータを送受信できると考えています（もしそれが経済的に可能になれば）。そうすれば、現在必要なオブジェクトからファイルへの変換プロセスは不要になるかもしれません。
要約
LucidLink は、パブリック クラウド S3 リポジトリを使用してクラウド内のデータにニアライン ディスク アクセス速度を提供する、ソフトウェア ベースのストリーミングおよび分散クラウド ファイル ストレージ アクセス テクノロジーです。®
