ビデオマイクロソフト リサーチとオックスフォード大学が、スマートフォンを 3D スキャナーに変えるソフトウェアを公開しています。このソフトウェアがリリースされれば、3D プリント愛好家にとって便利なものになるほど高速に動作します。
IEEE Transactions on Visualization and Computer Graphicsに掲載されるこの 6 自由度 (6DoF) スキャン ソフトウェアは、すべてを携帯電話上に保存します。処理のためにクラウドや外部マシンに渡す必要はありません。
基本的な操作は非常に簡単です。ソフトウェアは、さまざまな角度（たとえば、オブジェクトの周りを歩いているとき）から見たオブジェクトの連続画像を比較して、ボリューム画像を作成します。
しかし、それを携帯電話に詰め込むということは、表面テクスチャを 3D モデリングの基礎として使用し、失われた効率的なプログラミング技術を取り戻すことを意味しました。
オックスフォード大学のロボット研究者ピーター・オンドルシュカ氏とマイクロソフトリサーチのプッシュミート・コーリ氏およびシャーラム・イザディ氏の研究者たちは、アクティブな深度センサーの必要性と過度に GPU に負荷のかかる計算という 2 つの問題を克服したいと考えていました。
研究者のモバイルフュージョンの活用：テクスチャを使って3Dモデリングを高速化
「私たちのパイプラインは、ポーズ推定のための高密度画像アライメント、キーフレームの選択、高密度ステレオマッチング、ボリューム更新、表面抽出のためのレイトレーシングという 5 つの主なステップで構成されています」と彼らは書いています。
YouTubeビデオ
計算は携帯電話の CPU と GPU に分散されており、CPU は現在の入力フレームの追跡を処理し、並行して GPU が深度推定と前のフレームの融合を実行すると彼らは指摘する。
スキャナーには他にも効率化のための工夫が数多く施されています。例えば、メモリアクセスが遅くなる可能性があるため、レイトレーシングは「すべてのレイが軸平行面に沿って同時に移動するように設計されており、ボクセルグリッドの1つのスライスにのみ一度にアクセスします」。
彼らの3Dスキャナーはカメラからの標準RGB信号のみを必要とし、毎秒25フレームで動作できるとのことです。タスクリストを見ると、これはかなり印象的な成果です。
研究者らは、Kinectと比較した3Dスキャンの誤差は約1.5cmであるため、解像度の向上が望まれると述べている。ただし、解像度は「GPUハードウェアの制約により現状では制限されている」とのことだ。また、「今後の課題」として、テクスチャが不足している、あるいは光沢が強すぎるオブジェクトでもシステムの動作を改善すること、そしてボクセル間の色のにじみを防ぐことなどが挙げられている。
研究者たちは、さまざまな携帯電話でソフトウェアをテストすることにも取り組んでいる。
この研究は 10 月に開催される複合および拡張現実に関する国際シンポジウムで発表される予定で、研究者らはソフトウェアのリリース日をまだ設定していないものの、将来的にはリリースしたいと考えています。®
