レビュー4年前、 The Register紙の特集記事で、3次元写真・動画撮影の最新技術について書きました。当時、この技術には数十台から数百台のカメラを被写体に向けて設置する必要がありました。大量の2次元データを収集し、即座にクラウドにアップロードして、数時間かけて後処理、画像認識、特徴抽出を行い、3次元または4次元メディアに組み込むという作業が必要でした。
今日、私は最新のiPhone 13 Proでアプリを起動し、搭載されているLiDARセンサーを被写体に向けるだけで、4次元でリアルタイムに記録できます。これは大きな進歩であり、デバイスに奥行きを捉える能力を与えたセンサーの真の革命です。しかし、その特集記事の最後の段落で述べたように、奥行きを捉えたからといって、それを表示できるわけではありません。私たちの画面はすべてフラットランド、つまり奥行きゼロの面に投影された世界に存在しています。コンピューターゲームの生き生きとした4次元の世界でさえ、画面に押しつぶされているように感じられます。これらの仮想世界には奥行きがあるかもしれませんが、私たちの目にはそうは見えません。
3Dディスプレイは、コンピューティングの聖杯のような存在でした。仮想現実（VR）や拡張現実（AR）システムは、左右の目にわずかに異なる映像を投影するステレオペアを使用していますが、プロ仕様であっても、まだ大きすぎて扱いにくいため、広く普及するには至っていません。奥行きのあるスクリーンのような見た目のものを使う方がはるかに優れています。3DTVは10年前にその試みを試みましたが、コンテンツが少ないため普及が遅れ、コンテンツもさらに少なくなり、最終的には消滅してしまうという、卵が先か鶏が先かという問題に陥ってしまいました。
もっと良い方法があるはずだ
数年前、PARC（パナマ・カリフォルニアン・リサーチ・センター）にある友人の研究室を見学した時（そう、PARCはかつての面影こそないものの、今もなお機能しているのです）、スクリーンと小さな水槽を組み合わせたようなものをちらりと目にしました。そこには、3Dで表現された魚の立体的なシミュレーションが泳いでいたのです！これが、ブルックリンに拠点を置くLooking Glass Factory社が開発した最新の3Dディスプレイの一つに初めて出会った瞬間でした。
Looking Glass Factoryのディスプレイを支える技術の核心は、1世紀前に遡ります。レンチキュラー印刷の革新により、印刷面の上にレンズの突起が配置され、鑑賞者がレンズに対する視点を変えると、印刷物の異なる部分が屈折して見えるようになりました。レンチキュラー印刷は奥行きの錯覚を生み出し、1世紀にもわたって、好みに合わない芸術作品を生み出してきました。
21世紀に復活したレンチキュラーディスプレイは、レンズの後ろに液晶ディスプレイを配置し、奥行き情報を用いてディスプレイ上の画像を数学的に歪ませます。これにより、ディスプレイがレンズを通過する際に、適切な部分が正しい角度にマッピングされます。（私の理解では、このマッピングはLooking Glass Factoryが特許を多数取得している「秘密のソース」の一部です。）その結果、写真と非常によく似た画像が生まれます。しかし、その画像の中で「見回す」ことができることに気づくまでは。
1月、ルッキング・グラス・ファクトリーは、対角20センチのレンチキュラーディスプレイである「Portrait」と呼ばれる最新かつ最も手頃な価格のデバイスのKickstarterキャンペーンを開始し、250万ドルを超える予約注文を集めた。
友達から借りて1か月間遊んでいました。
深度ディスプレイが大きく進歩しているのは喜ばしいことですが、このように有望なデバイスが貧弱なソフトウェアサポートによって頻繁に妨げられているのは残念です。
パフォーマンスの問題
Raspberry Pi 4を内蔵し、スタンドアロンで動作させることも可能です（プリロードされたアニメーションのディスプレイリストを操作します）。しかし、Portraitの真価はHDMIポートとUSBポートを介してコンピューターに接続することで発揮されます。補助ディスプレイとして認識されますが、レンチキュラーディスプレイのせいで画面がぼやけて見え、ディスプレイ拡張としてはあまり役に立ちません。USB接続により、コンピューターはPortraitとデータ通信を行うことができます。この通信は、バックグラウンドで実行されている「Holoplayサービス」を介して行われます。
画像をPortraitに正しく表示するために歪ませる計算が必要なため、ディスプレイを駆動するコンピューターのGPU性能が極めて重要です。GeForce GTX 2070という超高性能なデスクトップPCはスムーズに動作しましたが、2015年製のノートパソコンは苦戦し、ソフトウェア自体がフリーズしたかのような印象を受けました。（実際にはフリーズしていませんでしたが、デスクトップPCの100分の1の速度で動作していました。）
接続が完了したら、Holoplay Studioアプリを使ってデバイスにメディアを取り込むだけです。静止画の深度画像を作成するのは簡単です。iOSとAndroidの両方のスマートフォンの内蔵カメラアプリには「ポートレート」モードがあり、このモードで撮影した写真には視覚データに加えて、3次元メタデータを提供する「深度マップ」が含まれています。アプリに写真を1枚読み込むだけで、完成です！
(スマートフォンから写真をアップロードする際は注意してください。多くのツールではこの「余分な」メタデータが削除されてしまいます。削除されてしまうと、Holoplay Studio で読み込みが拒否される、平坦な写真が残ってしまいます。)
- Horizon Workroomsは、絶望の青い未来を約束する
- Facebookがビデオ会議をより悲惨で退屈なものにする方法を見つけると信じています
- 陸地測量局がアウトドアARアドベンチャーでポケモン風ゲームに挑戦
- シンガポールの科学者たちが垂直の緑のVRシミュレーションで都会のジャングルを征服
動画は少し複雑です。深度マップ機能を搭載したスマートフォン（iOSではFaceIDまたはLiDARセンサーを搭載したスマートフォン）をお持ちでない限り、4D動画の撮影にはKinect、Azure Kinect、Intel RealSenseなどのデバイスが必要です。撮影後、Holoplay Studioに取り込むのはドラッグ＆ドロップで簡単に行えます。しかし、これらの4D動画は非常に多くの計算を必要とするため、本格的なGPUアクセラレーションを備えたマシンで処理するのが最善です。
とても近い。なのにとても遠い
ウェブベースのリアルタイム3D開発の経験を活かし、ウェブベースの3Dアニメーションを、それも3Dで表示できるものにしたいと強く願っていました。しかし、そこで次々と壁にぶつかりました。かつては動作していたもののその後放置されたコードや、何年も手つかずのままクローズドベータ版のまま残されたリポジトリなどです。これらのリポジトリには、期待を裏切らないコードサンプルが数多く提供されていましたが、実際にはほとんど何もしていませんでした。
リアルタイムのウェブベースの4次元ビジュアライゼーションは、Looking Glass Portraitで実現できそうに見える。同社がBlender、Unity、Unreal向けに提供しているソフトウェアインターフェースを考えると、そう思えるかもしれない。しかし、同社にとって優先事項ではないようだ。これは、無限のアプリケーションと創造性を持つウェブが、依然として全く未知の世界であることを意味している。
それはまさにオウンゴールだ。Googleが最近発表したProject Starlineは、Looking Glass Portraitに搭載されているディスプレイ技術を独自に活用しており、私たちがフラットスクリーンを超えたコミュニケーションをどれほど切望しているかを示している。2年間もZoomの延々と続く通話に頭を突っ込んだまま過ごしてきた私たちは、もっと本質的なもの、もう少し深みのあるものを切望している。スマートフォン、Portrait、そしてウェブの組み合わせがビデオ通話に革命をもたらすことは容易に想像できるが、開発者によるソフトウェアのサポートが十分になければ、実現は非常に難しいだろう。
Looking Glass Portraitは、デスクトップに奥行き体験をもたらします。今のところ、これは単なる好奇心の産物に過ぎず、ほとんど役に立たず、ほとんど使われていません。コンピューティングの歴史において何度も学んできたように、新しい非標準的なハードウェアは、優れた開発リソースによってサポートされる必要があり、そうすることで、起業家精神に富んだ個人がキラーアプリを開発できるのです。
ハードウェアは準備完了。簡単なはずなのに、ソフトウェアがひどく不足しています。これが改善されない限り、Portraitがその魅力的な可能性を実現することは到底不可能でしょう。®
