うわっ！スター・ウォーズの40年：ライトセーバーも、手のひらサイズのビデオ通話もなし

『スター・ウォーズ 新たなる希望』40周年ルーカスフィルムが最近、故キャリー・フィッシャーへのトリビュート映画を公開したが、その中心には映画史上最も記憶に残るモノローグの一つが配置されていた。

「ケノービ将軍。昔、あなたはクローン戦争で父に仕えました…今、父は帝国との戦いに協力してほしいと懇願しています…」

これらの言葉を読むと、投影された光に包まれた小さな王女の姿が目に浮かびます。

40年前の5月25日、 『スター・ウォーズ エピソード4/新たなる希望』がアメリカで公開された当時、あのホログラムのプリンセスは、特殊効果の魔法によって命を吹き込まれた、まさに純粋な映画の魔法のようでした。その後数十年の間に、ムーアの法則は崩れ去りました。40年経った今、私たちのトランジスタは、ルーカスが1970年代半ばに映画を撮影していた頃と比べて、約100万分の1の大きさ、安価、そして高速化しています。当時は空想的と思われたホログラムが、今や手の届くところまで来ているのです。

そういう意味で、レイア姫の立場に立って考えてみましょう。ホログラムでメッセージを送る必要があるのです。どこから始めましょうか？

本質を捉える

20年ちょっと前、グラフィックスの専門家が研究を共有するコンピューターグラフィックスに関する年次会議 SIGGRAPH で発表された論文で、「一連の2次元写真からリアルな3次元モデルを作成する」という新しい手法が紹介されました。

基本的なアイデアはシンプルです。十分な数の異なる角度から十分な数のスナップ写真を撮影し、コンピューターに任せて全ての写真を「編み込み」、一貫性のある多角度表現に仕上げるのです。高度な計算処理の後、ソフトウェアが写真から3D形状を押し出します。より多くの写真を撮影すれば、より正確な形状が得られますが、その分、コンピューターの処理時間も長くなります。

かつては難しく高価だったフォトグラメトリー（写真測量法）と呼ばれるこの技術は、今ではチップのように、あるいは少なくともHTCのヘッドセットとPCと同じくらい安価になりました。無料のソフトウェアパッケージを使えば、写真をつなぎ合わせて3Dモデルを作成し、画面やVRシステムで表示できるようになりました。

今月初め、ValveはSteam VR環境を誰でも利用できるフォトグラメトリープラットフォームへと刷新し、すべてのSteam VRユーザーがこれらの精緻に精緻な瞬間を探索できるようになりました。HTCは、片目1080×1200ピクセルの解像度、90Hzのリフレッシュレート、110度の視野角を実現しています。これらの世界は美しいものの、静止画のようです。まるで美術館の彫像のようです。

生き生きと生きる私たちの王女には、イメージと本質の両方を捉え、彼女の訴えを力強く映し出す何かが必要です。動きのあるメディア、時間軸のあるメディアが必要なのです。

捉えた一瞬をフォトグラメトリーに変換するには、いまだに数秒かかります。1秒あたり30フレームという数値に達すると、全く新しい次元の問題が生じます。ムーアの法則は私たちにとって良いものでしたが、本当に良いものなのでしょうか？

去年の初めにそれがそうだと知りました。

8iというスタートアップのロサンゼルスオフィスで、気難しい老ボクシングコーチがスタンス、姿勢、バランスの基本を丁寧に指導するのを見ていた。これはビデオではなかった。彼はまさに目の前にいて、空間を実体的に埋め尽くし、まるで現実のようだった。不気味さも、不気味さも微塵もなく、まるでデジタルゴーレムにアニメーターが不自然な生命を吹き込んだかのようだった。これがビデオグラメトリーだ。私が初めて作った「ホログラム」は、写真やビデオと同等のリアリティを備えていた。ボリューム感と奥行きがあった。

用語の混同には十分注意する必要があります。ホログラフィーとは、レーザーによって生成されたコヒーレント光ビームを用いて干渉パターンから画像を再現する3次元画像化技術です。ビデオグラメトリーによって作成されるこれらの「ホログラム」は、ホログラフィーとは全く異なるものです。「ホログラム」とホログラフィーの唯一の共通点は、どちらも3次元表現を生成するという点です。

でも、プリンセスはこだわりがないんです。このフェイクホログラムで十分です。しかも、今日から買えます。

こうしたビデオグラムを作るには、たくさんのカメラが必要です。典型的なビデオグラメトリー装置には40台以上の高解像度カメラが搭載され、被写体を様々な角度から撮影します。これらのカメラはすべて毎秒30回画像を撮影し、毎時テラバイト単位のデータを生成します。

これらのデータをつなぎ合わせ、処理し、ホログラムに合成する必要があり、写真測量の計算量と、毎秒30フレームで撮影されたテラバイト単位のFHDビデオの計算量を掛け合わせる必要があります。これは、データセンターでさえも苦労するような問題です。

ビデオグラメトリーのスタートアップ企業Humenseの創業者兼CEO、スコット・オブライエン氏は、プリンセスの宇宙船が関与するだろうと見ている。「互いを認識し、補正し合う深度センサーがあれば、R2D2で処理が行え、ビデオグラメトリーを撮影するリソースを確保できるはずです」。R2D2はタンティブIV（プリンセスが捕獲した輸送船）のコンピューティング能力の一部を活用し、船の監視カメラに接続して、ドロイドから顔を背けたプリンセスの姿を捉えるだろう。

可能かもしれないが、彼女のメッセージの後処理にはどれくらいの時間がかかるだろうか？長すぎる。R2がプログレスバーがいっぱいになるのを待っている間に、ベイダーはドロイドを捕らえてしまうだろう。あっという間に、新たな希望から希望なき希望へと移行してしまう。

最近、Microsoft Researchの研究者たちは、Kinectのような深度センサーカメラと写真撮影を組み合わせて、リアルタイムでビデオグラメトリを生成する方法を示しました。深度カメラは既にGoogleのTangoデバイスに搭載されており、次期iPhoneにも搭載されると噂されていますが、従来のフォトグラメトリ計算で生成される情報の多くを提供します。どちらも計算負荷の高いビデオグラメトリほど美しくも説得力もありませんが、今日実現しました。しかも、プリンセスがメッセージを記録し、R2D2をタトゥイーンへ送り出すには十分な速度です。