ディスクアレイメーカーEMCのGreenplum部門は、データウェアハウスおよびHadoopアプライアンスとソフトウェアを販売しており、ビッグデータ分野への進出拡大を目指し、管理・コラボレーションツール「Chorus」をオープンソース化すると発表しました。EMCはまた、アジャイルプログラミングの専門家であるPivotal Labsを買収し、より優れたビッグデータソフトウェアの開発を支援するとともに、同様に重要な点として、他社のビッグデータソフトウェア開発を支援しています。
EMC は常にデータに真剣に取り組んできましたが、気づいていないかもしれませんが、同社は現在、ビッグ データと、それを処理して有用な情報を生成するソフトウェアに非常に真剣に取り組んでいます。
EMC がサンフランシスコとニューヨークで開催されたウェブキャスト プレゼンテーションで発表を行った後、Greenplum 部門の CTO である Luke Lonergan 氏はEl Regのインタビューで、「データベース カーネルの開発者に UI を作成させるのは、あまりうまくいっていなかった」と認めた。
約1年前、GreenplumはPivotal Labsを買収しました。同社は1989年設立で、データベースプログラマーに新しいテクニックを教えられる数百人のプログラマーを擁しています。彼らはChorus製品を軌道に戻しましたが、その後EMCはVictor Kiamの策略に乗じてPivotal Labsを大変気に入り、本日、金額非公開で買収しました。
Greenplumは2011年12月に新しいChrous 2.0ツールをプレビューしました。これは同社の統合分析プラットフォームの中核機能です。その構想は、PostgreSQLのGreenplumバリアントで稼働するデータウェアハウスと、Greenplum HD（オープンソースディストリビューション）またはGreenplum MR（EMCが再販するMapR Technologiesのオープンコア版）で稼働するHadoopクラスタを、Chorusコラボレーション環境を用いてマッシュアップし、統合するというものです。
ゲルシンガー氏：「オープンソースのChorusは私たちにとって大きな一歩です」
Chorus 2.0は、データセットや分析ツールへのFacebookスタイルのコラボレーションインターフェースを備えており、データの共有を可能にします。また、完全なメタデータ検索機能も備えているため、研究者は構造化データと非構造化データの両方でデータ探索を行うことができます。
同様に重要なのは、Chorus 2.0 では、データ ウェアハウスや Hadoop クラスター内にサンドボックスを起動したり、VMware 仮想マシン内にデータ マートを起動したりできるため、さまざまな「データ サイエンティスト」がデータのさまざまな部分を処理でき、他のマシンで実行される物理的に分離されたデータ サイロを作成する必要がないことです。
現行のChorus 1.2はHadoopとの通信に対応しておらず、アナリスト専用のサンドボックスを構築できません。Chorus 2.0には、アナリストやその他のビッグデータユーザーがデータの構造を把握し、ビジネスの特定の側面をより深く理解するために、どこをドリルダウンする必要があるかを把握するためのデータ可視化ツールも統合されます。
Chorus 2.0は過去4ヶ月間ベータテスト中だったとロナーガン氏は述べ、ウェブキャストの一環としてサンフランシスコのPivotal Labs施設を見学した際、開発者の一人が、製品は現在リリース候補段階にあると述べた。その後、ロナーガン氏はEl Regに対し、Chorus 2.0は3月23日にリリースされる予定であることを確認した。
Pivotal Labs のツアーでは (同社はニューヨークにもオフィスを構えており、一時期シンガポールにもオフィスを構えていた)、同社が 12 人ほどのチームでプロジェクトに取り組んでおり、コードの一部をプログラマーがペアになって共同でコーディングしている様子が紹介されました。
ミュージカルチェア
プログラマーたちは毎日のように椅子取りゲームをしており、1 週間ほど経つと、全員が開発チームの他の全員とチームを組むことになります。たとえば、Chorus チームには 10 人が所属しています。
考え方としては、ペアのプログラマーがそれぞれプログラミングを行い、どちらか一方がコードのどの部分についても専門家になることはありません。このようにして、全員がコード全体を理解します。コードを勉強するのではなく、実際に作業することで。
コードが変更されるたびに、ビルドが実行されます。テストに失敗すると、すぐに失敗としてフラグが付けられ、チーム全員がその問題を確認できます。コードを修正しなければならないという、非常に大きなプレッシャーがかかっています。コードに反復的な変更を加え、長引く開発プロセスの最後まで待つのではなく、開発を進めながら修正を進めていきます。
EMCはPivotal Labsの買収価格を明らかにしなかったが、Greenplum、VMware、RSA Securityなどが買収後もEMC傘下からほとんど影響を受けなかったのと同様に、同社は独立した部門として存続すると述べた。
Pivotal Labsは非上場企業で、アジャイルプログラミングのためのスケジューリングシステムであるPivotal Trackerというツールを販売しています。このツールは、開発者にストーリーと呼ばれる小さな塊にプログラミングを分割させ、チームで作業させるものです。現在、24万人の開発者がPivotal Trackerツールを利用しており、EMCは声明の中で、このツールへの投資とPivotal Labsの事業展開を支援することを約束しました。
Pivotal LabsはRuby on Railsに注力しています。実際、Lonergan氏によると、GreenplumがChorusツールを1.2リリースで使用されていたJavaバックエンドから2.0リリースのRuby on Railsに移植する上で、Pivotal Labsは重要な役割を果たしたとのことです。
Greenplum部門の製品担当上級副社長、スコット・ヤラ氏は、GreenplumがPivotal Labsのプログラマーや新しい技術に触れるにつれ、自社のプログラマーがChorus、ソーシャルメディア、オープンソース、そして製品の可能性について既成概念にとらわれずに考え始めたと語った。
EMC から声が掛かるより 4 年前、同社が検討を始めた Chorus ツールへのソーシャル メディアの組み込みについては、Yara 氏は「無理があるように思えた」と述べた。
しかし時が経つにつれ、「人々は私たちにプレッシャーをかけ続けました」とヤラ氏は語り、ここ数年で定着した大規模なプラットフォーム（Linux、Java、Hadoop、Androidなど）について考えるようになりました。そして、それらにはすべて共通点があります。それは、オープンソースであるということです。こうして、Chorusツールをオープンソース化し、ビッグデータ・アプリケーションを統合するためのプラットフォームとして位置付けるというアイデアが生まれました。
「これはEMCにとって大きな一歩です」と、Greenplumをはじめとする多くの製品を含むEMC情報インフラストラクチャ製品グループの社長兼COO、パット・ゲルシンガー氏は説明した。「私たちはオープンソースを支援してきましたが、オープンソースそのものになったことはありません。」
EMCはOpenChorusプロジェクトについて多くの詳細を明らかにしなかったが、同社は今年後半にコードを公開する予定であると述べた。
オープンソース化がコードの実際の完成と商用利用に向けた堅牢化の支援を求めるために行われたHadoopやその他のビッグデータプロジェクトとは異なり、EMCは、開発作業の大部分をスポンサー企業が行うJavaおよびAndroidモデルを採用していると述べた。
Chorusのソースコードを公開したのは、企業がChorusへの投資に安心して取り組めるようにするためです。Chorusはどのベンダーにも負けないという安心感を与え、開発者がChorusを使って動作するアプリケーションを開発し、ツール自体に拡張性をもたらすようにするためです。EMCはChorusのコーディングそのものについて支援を求めているわけではありませんが、支援は必要だったようです。
ロナーガン氏は、EMCがChorusツールの配布ライセンスを決定したかどうかは明らかにしなかったが、Apacheプロジェクトで採用されているような「オープン」なライセンスは魅力的であり、より制限の厳しいGNU General Public Licenseは魅力的ではないと示唆した。「私たちの目標は、パートナーにとって使いやすく、コミュニティ形成を促進するライセンスを実現することです」とロナーガン氏は述べた。
IBM、Oracle、Teradataといったビッグデータ関連企業、そしてClouderaやHortonworksといった小規模企業など、他の企業がOpenChorusコミュニティにどのように参加し、自社製品をツールに連携させていくのか、興味深いところです。参加してくれるかもしれませんし、しないかもしれません。®
