感謝祭の食卓にぴったりの、Hazelcastのスターター、HPEのメインディッシュ、Quboleのサイドディッシュ、そしてRubrikのデザートなど、美味しい保存食をご用意しています。ナプキンを膝の上に置いて、さあ、お食事を始めましょう。
ヘーゼルキャストジェット
インメモリデータグリッダーのHazelcastは、Jet製品の開発に取り組んでいます。Jetは、ビッグデータ処理向けの低レイテンシの有向非巡回グラフエンジンで、Hazelcastのインメモリデータグリッド（IMDG）を使用しています。
Jetは依存関係のない単一のライブラリであるため、組み込みや導入が容易で、複数のシステムを必要としません。Hazelcast氏によると、典型的なユースケースとしては、オンライン取引、IoTアーキテクチャにおけるセンサー更新、リアルタイム不正検知、システムログイベント、店舗内eコマースシステム、ソーシャルメディアプラットフォームなどが挙げられます。
Jet v0.5は、バッチ処理およびストリーム処理の汎用プログラミングのためのパイプラインAPIと、分散インメモリスナップショットを使用したフォールトトレランス機能を備えています。これらのスナップショットはクラスタ全体に分散され、複数のレプリカに保持されることで冗長性を確保します。
ノード障害が発生した場合、Jetは最新の状態スナップショットを使用し、障害ノードをジョブ参加者として含むすべてのジョブを自動的に再起動するとJetは主張しています。分散ファイルシステムや外部スナップショットストレージなどの追加インフラストラクチャは必要ないようです。
Hazelcastは、IMDGに既に保存されているデータを使用することで、外部ソースと比較してパフォーマンスが5倍向上すると主張しています。同社は、数百万人のIMDGユーザーがJetの機能を活用して、IMDGに既に保存されているデータを処理できるようになることを期待しています。
Jet ベンチマークと Apache Spark および Flink の比較は、ここで参照できます。
HPE の Cloud Bank Storage が GA に
これは当初、今年 5 月に StoreOnce CloudBank として発表され、現在は終了している早期アクセス プログラムを通じて利用可能になりました。
StoreOnce は、HPE の単一およびマルチノードのオンプレミス重複排除バックアップ ターゲット アレイです。
Cloud Bank Storageは、大容量の長期バックアップデータ向けです。現在一般提供が開始されており、3PARアレイのバックアップデータをオブジェクトストレージバックエンドに転送できます。アーカイブ/ディザスタリカバリのターゲットとして、オンプレミスのScality、パブリッククラウドのAWSおよびAzureオブジェクトストレージ、そしてあらゆるS3インターフェースリポジトリの4種類が利用可能です。
マーケティングの宣伝をしているビデオがあります:
画像をクリックするとビデオが再生されます
HPEによると、Cloud Bank Storageのコストは100PB以上のデータで月額0.001ドル/GBで、データは転送中も保存中も暗号化されます。HPEによると、これは既存のパブリッククラウドサービスと比べて20分の1のコスト削減になります。
HPEのRecovery Manager Central（RMC）と3PARアレイのスナップショットをサポートします。HPEによると、RMC Express Restoreはローカルに存在しないデータのみをパブリッククラウドから復元するため、かなりの量のデータが復元される可能性があります。
ローカルのStoreOnceシステムがダウンした場合、Cloud BankシステムをDRに利用できます。Cloud Bank内の古いデータは、Amazon GlacierまたはAzure Blobストレージに移動してアーカイブすることもできます。
Cloud Bank Storage に関する HPE ブログは、こちらからお読みいただけます。
Cloud Bank Storageが最終的にNimbleアレイとSimpliVityハイパーコンバージド機器をサポートするかどうかは疑問です。どちらもStoreOnceとCloud Bankのカバレッジの論理的な拡張となると思われます。
クボレ
ビッグデータ・アズ・ア・サービス・サプライヤーの Qubole は、Spark-on-Lambda の実用的な技術プレビューを発表した。これにより、Apache Spark アプリケーションを、いわゆるサーバーレス・コンピューティング・サービスである AWS Lambda 上で実行できるようになる。
Lambdaは通常、実行時間が短くステートレスな関数に使用されます。この複雑で長時間実行可能なテクノロジープロトタイプのSpark-on-Lambdaは、数千の同時実行Lambda関数で1TBのデータをスキャンすることで、AWS Lambdaの大規模なコンピューティングバースト機能を活用します。
1000個のLambdaエグゼキューターを使用して1TBのデータを読み込むデータセットの行数カウント操作は、わずか47秒で完了しました。AWSのコストは100ミリ秒あたり0.000002501ドルなので、コストは1.18ドルになります。
Qubole は AWS S3 から 100 GB のソートも実行しました。
技術情報はこちらでご覧いただけます。コードはGithub（github.com/qubole/spark-on-lambda）で公開しています。Quboleのブログ記事はこちらで、SparkをLambdaで正常に動作させるために必要な、Sparkへの重要な変更点について解説しています。
Qubole は、ラスベガスで開催される AWS Re:Invent 2017 の Sands Expo ブース 834 および Aria ブース 201 に出展しますので、詳細をご覧ください。
ルブリック
Rubrik は、Microsoft パートナー ネットワークを通じてグローバル ISV 共同販売業者に指定されており、Microsoft Azure 上でハイブリッド クラウド データ管理製品を提供します。
さらに、Rubrik はプラットフォームを更新し、Microsoft Azure Stack のサポートと、CloudOn ソリューションによる Microsoft Azure へのアプリケーション移行のサポートを追加しました。®
