今月、Apple 社が FaceID を搭載した iPhone X をリリースしたことで、空間、場所、顔を継続的に認識できるように基礎から設計された消費者向け製品の第一波が始まり、増大するデータの海を現実世界に融合させることを目的とした半世紀にわたる拡張現実の研究の頂点を迎えることになります。
過去数年間、拡張現実 (AR) は、Google Glass の失敗から Pokémon Go の急上昇まで、誇大宣伝のジェットコースターのような成長を遂げ、Facebook、Apple、Alphabet/Google、Microsoft (以下、FAAM と呼ぶ) の API 間のオープンな競争へと加速してきました。
しかし、ARの歴史は遥か昔、現代コンピュータの黎明期にまで遡ります。チューリング賞を受賞した天才、アイヴァン・サザーランドは、真のインタラクティブ性を備えた最初のコンピュータプログラム「スケッチパッド」の開発者であり、その後もささやかな革新、「ヘッドマウント3Dディスプレイ」を生み出しました。
機械式追跡装置が天井からユーザーの頭上にぶら下がっていることから「ダモクレスの剣」として知られるサザーランドの発明は、デュアル CRT を使用して焦点を合わせ、半銀鏡で反射し、ワイヤーフレームの 3D 画像を現実世界に重ね合わせます。
歴史上の人物たちの誤解はここにあります。これは仮想現実のデモではありませんでした。サザーランドは拡張現実を発明しました。仮想現実とは、部屋の照明を消してシステムを動かすだけのことでした。
AR は VR より前から存在していた。AR には現実世界での使用例があったからだ。国防高等研究計画局 (DARPA) の Sutherland の給与支払い担当者たちは、ジェット戦闘機のパイロットのための視覚化ツールを必要としていた。それは、最も高速で応答性に優れたマシンによって生成される膨大な量のデータをパイロットが管理するのに役立つものだった。
ジェット戦闘機には30年近く前からヘッドアップディスプレイが搭載されており、今では飛行計器に欠かせない要素となっています。その始まりは、リアルタイム3Dコンピュータグラフィックスも発明したサザーランド氏です。ダモクレスの剣の中でレンダリングするための何かが必要だったのです。まさに驚異的な始まりでした。
軍事分野以外では、当時のコンピューターが十分な機能を発揮できなかったため、ARは停滞しました。NASAの初期のVRシステムは、現実世界との統合を避け、より容易に生成できる完全な人工世界を優先しました。現実世界を仮想世界に取り込むには、現実世界をリアルタイムでモデル化する高度な能力が必要です。
20年前、航空機大手のボーイング社は、シアトル郊外にある巨大な777組立工場において、非軍事分野におけるARの導入を先導しました。そこでは、技術者たちがARを用いて、完成機の製造に必要な無数の部品組立工程を追跡していました。ボーイング社のARシステムは、1万ページ以上にも及ぶマニュアルをディスプレイヘッドセットに投影し、組立工程に必要な技術情報を機体の機体に重ねて表示することで、組立工程の迅速化とエラーの低減を実現しました。
Google Glassは、ボーイングの取り組みに比べてそれほど進歩したとは言えなかった。この世の多くのものと同様に、Glassはスマートフォンの大量生産技術を活用し、スマートフォンのような部品を異なるフォームファクターに詰め込んだ。そして、その全てにAndroidのバージョンが動作していた。しかし、拡張現実(AR)の特徴の一つである「継続的な監視」機能は備えていた。
彼らはグラスホールではなく、時代を先取りしていた
ARとVRの重要な違いの一つは、ARは周囲の世界の画像を継続的に更新する必要があることです。これがないと、ARは何を拡張すべきか、どこを拡張すべきか判断できません。Google Glassは、サイロンのような前方カメラと、明るい赤色の「録画」LEDを搭載しており、その前にいるほとんどの人はまるでスカイネットにスキャンされているかのような感覚を覚えました。これが「グラスホール」現象の始まりとなり、地元のパブでは禁止され、社会からも疎外されました。Glassは消滅しました。役に立たなかったからではなく、「セグウェイ効果」、つまり誰もGlassを使っている人の近くに行きたがらなかったからです。
Glassが最後の息を吹き返した後(最近、セルゲイよりもボーイングのユースケースに近いエンタープライズツールとして生まれ変わりました)、Microsoftが先頭に立ってARの大きな飛躍が始まりました。Xbox Kinectの技術の一部をヘッドセットに採用したMicrosoftのHololensは、「Windows Holographic」を基盤としたARプラットフォームの商用実装としては初の実用化となりました。これは現在、Windows 10のコアAPIとして「Windows Mixed Reality」と改名され、ARデバイスとVRデバイスの両方を網羅しています。
Hololensにおいて、ムーアの法則はついにアイヴァン・サザーランドに追いついた。拡張現実(AR)を構築・維持するために必要な計算能力は、かさばるが装着感は悪くないヘッドセットに収まるようになったのだ。こうした処理サイクルはすべて、画像を生成するためではなく、現代のARの中核技術である同時自己位置推定とマッピング(SLAM)を制御するために必要だった。
マイクロソフトの3D HoloLensゴーグルがGoogle Glassに適さない理由
続きを読む
SLAMは、コンピュータービジョンと慣性センサー技術を融合させ、空間の3Dマップを作成します。HoloLensは、目の上に設置された「深度カメラ」を使って「深度マップ」を作成します。これは、Kinectがゲームコントローラーを人体にマッピングするのに使用したのと基本的に同じ技術ですが、ユーザーの方向ではなく外側に向けられています。この3Dマップは、「ホログラム」やその他の3D拡張現実(AR)を現実空間内に配置するために使用できます。視線を逸らし、再び視線を戻しても、拡張現実はそのまま残ります。なぜなら、マップが領域となるからです。
SLAMには複数の方法があります。2014年にGoogleは「Project Tango」を立ち上げ、スマートフォン対応のSLAM技術ライブラリを開発しました。高価な深度カメラは使用せず、計算負荷は高いものの低コストなコンピュータービジョン技術に重点を置きました。カメラが空間をスキャンすると、撮影した2つのフレームの差分とスマートフォンの慣性センサーからのデータを組み合わせることで、必要な3Dマップが生成されます。
Tango は 2016 年に 2 つのデバイスにのみ搭載され、その結果、「ホログラム」提供者の 8i など、少数の Android アプリ開発者の関心を集めました。
2016年7月、すべてが変わりました。Nianticと任天堂の提携により、史上最速で売れたモバイルゲーム「Pokémon GO」が誕生し、ユーザーがゲーム内コンテンツを貪欲に購入したことで、発売からわずか1ヶ月で2億ドルの収益を達成しました。こうした市場の評価を受けて、AR(拡張現実)はブレイクし、復活を遂げつつあったVR(仮想現実)を瞬く間に追い越し、テクノロジー業界の新たな主役となりました。
こうして、FAAM 企業の間で、次の新たな領域、つまり拡張現実の世界を支配するための競争が始まった。
ザッカーバーグ氏は今年の F8 基調講演で AR の将来について 20 分間議論し、スマートフォンのカメラを「新しいインターフェース」と宣伝し、AR Studio をはじめとする Facebook の開発者向けの AR ツールの豊富なライブラリを約束しました。
他の主要企業と同様に、Facebookも独自のSLAM技術を保有しています。SLAMはAR参入における大きな障壁となっているため、各社は自社のSLAMソリューションが競合他社よりも優れていると宣伝しています。しかし、各社にはそれぞれ長所と短所があります。Facebookはクロスプラットフォーム対応が求められ、様々なスマートフォンのカメラやコンピューティング能力に対応する必要があります。一方、AppleやMicrosoftなどのデバイスメーカーは、それぞれの体験を最適化できます。
Appleは長年AR事業に参入しており、2013年にはKinect開発元のPrimeSenseを買収、その2年後にはAR開発元のMetaioを買収しました。おそらくSLAMソフトウェアを狙ったものと思われます。Appleの「スペクタクル」(拡張現実のための、サングラスのような理想化されたインターフェース)については多くの噂が飛び交っていましたが、ARをサポートするハードウェアは、ほんの1ヶ月前までほとんど発表されていませんでした。
プロジェクト Tango: Google のあらゆる音とダンスを楽しめる 3D センシング スマートフォン
続きを読む
今年の世界開発者会議(WWDC)で、AppleはARKitを発表しました。ARKitは、SLAMをシームレスに提供し、CoreLocationなどの主要なiOSサービスとの統合を可能にするiOSライブラリです。ARの難解な部分は、Xcodeでスイッチをいくつか切り替え、コード例をいくつかコピーするだけで、突如として簡単になりました。Appleファンは、AppleのSLAM実装が驚くほど優れており、非常に使いやすいと称賛しました。YouTubeには、目を見張るようなデモが次々と公開されました。中でも最も印象的だったのは、街の真ん中からジャングルのような次元へとつながる「ポータル」です。
Apple はその後、iPhone X とその TrueDepth カメラを発売した。これは基本的に、体積が 1000 分の 1 ほどの Kinect で、人間の顔を正確にマッピングして識別できるほか、うんちの絵文字にマッピングできるリアルタイムのモーション キャプチャ データのストリームを生成することもできる。
TrueDepth カメラは、何億人もの人々が所有することになる最初の本格的な AR テクノロジーです。これは明らかに Apple が iOS 上で AR を展開していく方向性を示しており、今後数年以内に製品ライン全体に導入されることが期待されています。
AlphabetはProject Tangoを検索して置き換え(文字通りではないかもしれないが、かなり明白な事実)し、独自のAndroidベースのARCoreを発表しました。ARCoreは現在、GoogleのPixelとSamsungのGalaxy S8でのみ動作しますが、AppleのARCoreはiPhone 6S以降のすべてのiOSデバイスで動作します。ARCoreのデモはいくつか公開されていますが、iOS 11のリリース時に登場したARKitアプリの雪崩のような勢いはありません。iOS 11のリリース後6週間で数百ものARKitアプリがリリースされ、GoogleがARCoreを他のAndroidデバイスに普及させようとする中で、AppleはAR戦争において早期に優位に立つことができました。
マイクロソフトは次世代HoloLensの発売を2019年初頭まで延期し、ほぼ無重力のサングラスという理想に近い「第3世代デバイス」を約束しています。一方、Windows Mixed Realityは、主にVRアプリ向けの開発者向けツールキットのままです。3,000ドルをはるかに超える価格にもかかわらず、マイクロソフトはHoloLensをわずか数万台しか販売しておらず、AR開発者のエコシステムを立ち上げるには到底足りません。
Facebookは、Oculusが50万台販売台数にも届かず苦戦するなど、VR事業の誰もが認める崩壊とAR Studioアプリケーションのリリースの間で、行き詰まっているようだ。Facebookが数十億人のモバイルユーザーにAR機能を提供できることは誰も疑わないだろうが、それはいつになるのだろうか?
ザッカーバーグ、ティム・クック、サティア・ナデラが皆示唆するように、ARが次世代の偉大なコンピューティング・プラットフォームとなるなら、新たな世代の勝者と敗者が生まれることになるだろう。マイクロソフトはスマートフォン戦争に敗れ、HoloLensで力強いスタートを切ったものの、またしても敗北を喫したようだ。Googleはプラットフォームの断片化に翻弄されているようだ。2017年にARを日常体験にするための技術力とマーケティング力の両方を発揮したのはAppleだけだった。今、iOS 11、ARKit、そしてそれらをサポートする5億台のデバイスが全てだ。これは宇宙に与えた大きな変化だ。®