バーチャルリアリティヘッドセットを装着すると、視覚システムが限界を超えて拡張されているとは信じがたいほどです。個々のピクセルは見え、視野が狭いため、まるでスキーゴーグルを着けているような感覚になります。
しかし、VRは今でも私たちの視覚系が処理できる以上の情報を大量に浴びせています。エンジニアたちは、ヘッドセットのディスプレイを私たちの生物学的な許容範囲に合わせる方法に苦慮しています。もしこれが失敗すれば、VRは仮想世界をリアルに見せるために過剰な計算能力を必要とするようになり、限界に達してしまう可能性があります。
主要な課題の一つは、現在ヘッドセットに表示されるピクセルのほとんどが、ある意味で無駄になっていることです。その理由を理解するには、私たちの視覚の仕組みを考えてみましょう。私たちの視覚は、中心にある高解像度の中心窩と、それを取り囲むはるかにぼやけた周辺部で構成されています。中心窩は、動きの検知には優れていますが、細かいディテールや色彩の検知にははるかに劣るように進化しています。
「私たちの精細な解像度はすべて、中心の1度で実現されます」と、アストン大学の視覚科学教授ティム・ミース氏は言います。グラフィックカードメーカーのNVIDIAは、VRヘッドセットのピクセルの約96%が中心窩ではなく周辺部で認識されていると計算しています。
中心窩レンダリング
そのため、技術競争は「中心窩レンダリング」の開発に向けられつつある。これは、私たちが見ている方向に小さな高解像度のスポットを表示するが、処理能力を節約するために、周辺部では徐々に画質の低い画像を表示するヘッドセットである。
中心窩レンダリングと、進化が私たちの視覚系を磨き上げてきた過程には類似点がある。どちらのプロセスも、世界を視覚化する上で「どこに最も力を入れるべきか」という点に関係しているとミース氏は主張する。
ある推計によれば、視野が 180 度の場合、毎秒約 74 ギガバイトの視覚データを利用できますが、最終的に処理されるのは約 125 メガバイトに過ぎず、理論上取り込める量より「はるかに少ない」とのことです。
ミスバスターは、仮想現実で着用するローラースケートの資金を募集しています
続きを読む
周辺視野は動きを捉えることができます。例えば、茂みにライオンが忍び寄っているときなどに便利です。そして、細部まで見通せる中心窩を使って、本当に捕食者が襲い掛かろうとしているかどうかを判断できるのです、とミース氏は言います。しかし、もし視野全体が中心窩と同じ鋭さを持っていたら、すべての情報を処理するためには、おそらく100倍も大きな視神経と脳が必要になるでしょう。
しかし、私たちの視覚システムの特定の特性により、中心窩レンダリングは見た目以上に複雑になっています。まず、ヘッドセットで周辺視野をぼかすだけで、一部のユーザーはトンネル視野を経験することがあります。NVIDIAはその理由を解明しました。周辺視野におけるコントラスト（明るい物体と暗い物体の差）の存在を検知する能力は、細部を解像する能力よりもゆっくりと減衰していくのです。
「周辺部分を過度にぼかすと、視覚システムが捉えるものがなくなり、吐き気やめまいを感じます」と、GPU大手のグラフィックス研究担当副社長デイブ・ルーブケ氏は説明する。
私たちは周辺視野で人間の顔を見分けるのが驚くほど得意です。つまり、顔は他の物体よりも詳細にレンダリングする必要があるのかもしれません。「群衆の中にいる人々の顔の平均的な表情は、直接見なくても感じ取ることができるという証拠が確かにあります」と彼は言います。
中心窩レンダリングには、視線をトラッキングできるヘッドセットも必要ですが、大手テクノロジー企業もこの点を認識しているようです。昨年6月には、Appleがベルリン近郊に拠点を置き、現行世代のヘッドセットで中心窩レンダリングを実証しているSensoMotoric Instruments社を買収したという報道がありました。
完璧にするには頭痛の種
しかし、視線追跡技術を十分に優れたものにするのは「非常に難しく、最高の企業でさえ、かろうじて十分なレベルに達している」とリューブケ氏は語る。コンタクトレンズやマスカラといった要因によって追跡が狂ってしまうからだ。顔や目には個人差があるため、「人口全体に対して十分な堅牢性がない」のだ。商業的に実現するには、99.9%の人々に機能する必要があると彼は考えている（SMIは今年初め、同社の技術は現在、人口の98%に機能していると発表した）。
なぜ中心窩レンダリングを機能させることがそれほど重要なのか？昨年、オキュラスの主任科学者マイケル・アブラッシュ氏は、VRを「運転免許試験に合格できるほど鮮明にする」には「桁違いに」高い計算能力が必要だと警告した。
NVIDIAの計算によると、最高級のヘッドセットを使っても個々のピクセルが見える現状でも、VRゲームはPCモニターに比べて約7倍の計算コストがかかる。片目につき1つのスクリーンが必要となり、処理できるピクセル数が2倍になるだけでなく、VRゲームは少なくとも90Hz（フレーム/秒）で動作する必要がある。
アブラッシュ氏とリューブケ氏は共に、中心窩レンダリングがVR業界にとって非常に重要であり、視線追跡の問題は5年以内に解決されると考えています。アブラッシュ氏によると、中心窩レンダリングの解明に失敗することは、今後5年間でVRのリアリティが劇的に向上するという彼の予測に対する「最大のリスク要因」です。
VRは、画面のリフレッシュレートに関しても、私たちの視覚システムの限界に挑戦しています。モニター上のビデオゲームは30Hzでプレイできますが、VRゲームは90Hz以上で動作する傾向があります。モニターと比較すると、VRは周辺視野をはるかに広くカバーします。ミース氏によると、周辺視野は中心窩よりもちらつきに敏感です。
カナダのヨーク大学で心理学、運動生理学、健康科学、生物学の教授を務めるローレンス・ハリス氏は、私たちの視覚の中心は「動きをあまり気にしません」と説明する。「動きの検知は周辺部で最も重要で、自分の動きを伝えたり、忍び寄ろうとする動物を検知したりします。」
Nvidiaは、90Hzをはるかに超えるフレームレートを誇るVRおよびAR（MicrosoftのHoloLensのような透明なバイザーを用いて現実世界に3Dオブジェクトを重ねる拡張現実）向けディスプレイの実験に取り組んできました。昨年、Luebke氏は1,700HzのVRディスプレイを実演し、同社の研究者を含む別のチームは、16,000Hzで更新される、さらに高速なARディスプレイを実演しました。
待って
超高速リフレッシュレートの目的は、私たちが頭を動かしてからVRヘッドセットのディスプレイがその動きを反映して変化するまでの時間、いわゆるレイテンシーを短縮することです。「ある一定のレベルを超えると、周辺視野でさえちらつきを感じなくなります…しかし、それでもレイテンシーを低減することによるメリットは得られます」とリューブケ氏は言います。
Magic Leapは、その驚異的な技術で我々を驚かせた…しかし、そんな技術は未だに存在しない
続きを読む
1秒あたりのフレームレートがこれほど高くなったことで、VR内で頭を動かした際に、ほぼ瞬時にわずかな視点の変化を加えることが可能になり、レイテンシーが低減し、VR内の体が実際の動きに即座に反応しているように感じるようになる、と彼は言う。VRゲームでは、AIと物理演算は1秒あたり20フレーム以下で計算され、その後90Hzでレンダリングが行われる。そして最後に、超高速リフレッシュレートによって「その上に何かを追加」することで、動きのレスポンスをさらに向上させることができる、と彼は言う。
しかし、ある点において、VR は依然として私たちの生物学的限界から大きく遅れをとっています。つまり、現実の生活を模倣するピクセル密度にはほど遠いということです。
理論上、中心窩では、現実と一致するためには視野1度あたり約120ピクセルが必要です（ただし、ミース氏によると、実際には、人間は通常、視野1度あたり約80ピクセルより細かい部分を見ることはできないとのことです）。現在、最高のヘッドセットは水平方向に1度あたり約10ピクセルの解像度を実現しています。両軸で約10倍に拡大する必要があることを考えると、必要な解像度の増加は莫大です。「そのようなディスプレイのピクセル密度を実現する技術はまだないと思います」と、ユタ大学の網膜神経科学者であるブライアン・ウィリアム・ジョーンズ氏は述べています。
現実の完璧な複製以外には何も求めないVRマニアにとっては、1度あたり120ピクセルでも十分ではないかもしれない。2本の線を重ね、片方を少し左か右に動かすと、私たちはそれらの間のわずかな違い、目の円錐の幅よりも小さな動きにも「非常に敏感」になる、とミース氏は言う。
この感度をコンピューターモニターで実現するには、「信じられないほど」高いピクセル密度が必要で、1度あたり120ピクセルをはるかに超えるだろうと彼は言う。米空軍は、いわゆる「超鋭敏」をシミュレートするには、コンピューター画面で1インチあたり10,300ピクセルのピクセル密度が必要だと推定している。これはiPhone 7の30倍以上（そして6月に発表されたサムスンの新しいVRディスプレイが誇る、1インチあたり約850ピクセルの密度の12倍）にあたる。
ミース氏によると、このような微細な視覚は現実世界ではほとんど使われていないという。「一番近い例は、針の穴に糸を通すとか、そういう類のものだ」と彼は考えている。しかし、これはVRで現実世界の見た目を模倣することが依然として技術的な夢物語であることを思い出させる。今後10年か20年でVRで裁縫ができるようになるとは期待できないのだ。®
