佐藤カフジのVR GAMING TODAY!
注目！ PC用VRのワイヤレス化を実現する技術“AirVR”
スマートフォン用VRアダプターでも最高品質のVRを体験できる？！
（2016/3/8 00:00）
コンシューマーVRの普及に向けてOculus Rift、HTC Vive、PlayStation VRといった高品質なVRシステムが出揃いつつあるが、それらはどれも大きな弱点を抱えている。HMDから伸びるケーブルの存在だ。
どんなにすごい映像やVRゲームの体験が用意されていたとしても、そのVRを使用する際、手足がケーブルに絡まらないよう常に気をつける必要があるというのは没入感を削ぐ原因となるし、純粋に不便で、体験の品質を下げてしまう。没入しすぎて、ケーブルに足を取られて転んでしまったら、怪我の原因にもなりかねない。それは本当の意味で“プレミアムなVR体験”と呼べるものだろうか？
怪我のリスクを負ってまでVRをやりたい！と考えるのはいわゆる“エンスージアスト”と呼ばれる一部の層だろう。しかし、もっと普通の、一般のゲーマーや、現在のVRにそれほど関心がない人も含めた広い層に普及させていくためには、ハイエンドのVRシステムにとってワイヤレス化は避けられない道だ。
これは一見、非常に難しい。しかし既に、ハイエンドVRのワイヤレス化を実現しつつある技術がひとつ存在する。韓国のClickedという企業が開発する、AirVRというシステムだ。弊誌でも2015年11月の韓国釜山で開かれたG-STARで1度取材しているが、今回改めて日本で取材することができた。
AirVRは、VR特有の高解像度・高フレームレートの映像を、一般的な家庭内にもあるWi-Fi経由でHMD側に伝送できる技術。このような技術が広く用いられるようになれば、ハイエンドVRのワイヤレス化が実現し、高品質なVRがぐっと身近でより便利なものになっていくはずだ。
高品質VR映像を無線伝送するAirVR
PCやプレイステーション 4といった据え置きマシンを母艦として使うハイエンドVRでは、高解像度・高フレームレートの映像をHMDに伝送するため、HDMI 1.3の帯域幅（10.2Gbps)を必要としている。
Oculus Riftの製品版でいうと、解像度は両眼で2,160×1,200で画素数は2,592,000 、リフレッシュレートは90Hzだから、一秒間に出力される画素数は233,280,000。1画素あたり24ビットカラーで表現する際に必要となる帯域幅は約5.6Gbpsだ。これが、帯域幅が4.95GbpsしかないHDMI 1.2でこれらのVRシステムがサポートされない理由だ。
これをそのまま無線化しようとすれば、現在普及しているWi-Fi規格では無理で、今のところ試験運用に留まっている次世代の高速Wi-Fi規格“WiGig”（最大7Gbps)が必要になってしまう。
この問題を、高速で高品質なビデオ圧縮技術と、高度な描画アルゴリズムで解決しようというのが、今回紹介するAirVRだ。
PC用VRをGearVRで見る。想像以上の画質と滑らかさに驚く
Clickedが開発中のAirVRは、現時点ではPC用VRをGearVRに出力するためのUnityプラグインという形で実装されている。組み込みは簡単で、UnityのVRシーン内に配置されているプレーヤーカメラに、AirVRの仮想オブジェクトをアタッチするだけだ。
実際に試してみると、その画質の良さとスムーズさに驚く。PCで実行されているVRシーンが無線でGearVRに伝送され、ユーザーはGearVR側のVR映像を見るわけだが、GearVR側の最大リフレッシュレートに相当する60fpsでなめらかに動作し、ヘッドトラッキングにも遅延を感じない。画質も、ほぼドットバイドットの鮮明さに見える。
H.265で高品質・高フレームレートの映像伝送
これにはいくつかのカラクリがある。ひとつは、ユーザーが見ている映像が実際にはかなり圧縮されたビデオストリームである、ということだ。仕組み的には、PC側で実行されるAirVR ServerというモジュールがVR映像をH.265でリアルタイムエンコードしており、GearVR側ではそれを復号化して表示している。
使用するWi-Fiの帯域幅はわずか24Mbpsほどで、一般的な家庭に普及している5GHz帯のWi-Fiルーター経由で低負荷・低遅延で伝送できる軽量さだ。
ただし、PC側でエンコード、Wi-Fi経由で伝送、そしてGearVR側で復号化・表示というプロセスを経るため、遅延は存在する。Clickedによると、Input-to-Photon（入力から表示まで）の遅延は現時点で100ミリ秒程度あるという。しかし、GearVRを通じて見る映像に遅延はほぼ感じられない。頭を振っても、映像の遅延で気持ちが悪くなるようなことがないのだ。これはどういうことだろうか。
端末側のタイムワープで低遅延のユーザー体験を実現
それがもうひとつのカラクリだ。AirVRのクライアント側（HMD側）では、端末から得たヘッドトラッキング情報を元に、即座に映像をワープ（ずらす）させる機能を持っているのだ。これはGearVR自体に搭載されているAsyncronous Timewarp＝非同期タイムワープと同じ概念のものだが、実装はClicked独自で、Wi-Fiを経由することによる伝送遅延を計算に含むものになっている。
このおかげで、映像の伝送そのものにある程度の遅延があっても、ユーザー自身が感じる遅延はほぼゼロ。GearVRはヘッドトラッキングの性能が高いため、AirVR使用時でもInput-to-Photonの遅延は20ミリ秒以下となる。
このようにしてAirVRでは、高画質で滑らかで、低遅延のワイヤレスVRを実現しているわけだが、副作用もある。Wi-Fi経由の映像伝送で生じる時間的な遅れを空間的な補正で補っていることから、頭を素早く上下左右に動かした時に、視野の端に少しながら描画されるべき映像が用意されていない空間が出てきてしまう。具体的に言うと、画面端に黒い部分ができる。
この副作用はVR体験を決定的にダメにしてしまうほどの弱点ではないが、多少の違和感を産むことは確かだ。Clickedではこの問題を強く認識しており、現在、何らかの方法で画面端部分もきちんと描画できる技術を開発中だという。
ハイエンドVRの無線化は近い。さらなる技術的発展も
AirVRという技術の素晴らしいところは、原理的に言えば、スマートフォンを含むあらゆるHMD端末をPC用VRの表示装置に仕立てられるところだ。しかも、PC側の能力に余裕があれば同時に複数のHMDも利用できる。現在のところはGearVRのみのサポートとなっているが、他のスマートフォン（Android端末）でも使用できるよう、開発を継続しているという。
幅広いスマートフォンに対応することができれば、PC用VRを視聴するためにOculus RiftやHTC Viveは必要なくなる。GearVRやその他のスマートフォン用HMDアダプターを、PCと一緒に利用できるようになるからだ。これだけでも、ハイエンドVRをぐっと身近なものにしてくれることは間違いない。
原理的に言えば、HMD部分はスマートフォンである必要もない。Wi-Fi受信機、H.265デコーダー、非同期タイムワープを実行するためのGPU/CPU機能が搭載されていれば、Ouclus Rift/HTC Vive/PSVRタイプのディスプレイパネルがビルトインされたHMDでも、AirVRのような技術を利用できるはずだ。
SteamVRコントローラーやOculus Touch、PS Moveのようなハンドジェスチャーが可能なコントローラーデバイスをきちんとサポートするためにはさらなる遅延の低減が必要となりそうということと、別途に位置トラッキングが実現されないかぎり本当の意味でのインタラクティブなVR体験は難しい、というのが技術的ハードルだ。とはいえ、単純に見るだけのVR体験であれば、ハイエンドVRのワイヤレス化は技術的に準備が整ったと見ていい。
アイトラッキングと組み合わせれば新次元のVRシステムが可能に？
もうひとつ付け加えておきたいのは、前回ご紹介したアイトラッキング技術に基づいたFoveated Rendering（中心窩適応型レンダリング）技術（関連記事）と、AirVR的な技術の組み合わせが持つ可能性だ。
AirVRでは、現在のところフルHD（1,920×1,080）の解像度でVR映像をエンコードしている。フレームレートはGearVRの仕様に合わせて60fpsだ。これで使用帯域は24Mbps。既に充分に立派なものだが、より高解像度・高フレームレートのHMDに対応するとしたらどうだろうか？
例えばOculus RiftやHTC Viveの解像度・フレームレートに合わせていくとすれば解像度は1.25倍、フレームレートは1.5倍で、使用帯域はほぼ倍。さらに次の世代へと考えると、エンコードの負荷や伝送遅延は増える一方で、遠からず限界がきそうだ。
しかし、映像のエンコードをFoveated Renderingと同様の基準で行なえばどうだろう。Foveated Renderingを大胆に適用すると、描画すべき画素数がざっくり10分の1くらいになる。つまり、AirVR的な技術でエンコードすべき画素数も10分の1になり、映像の圧縮と伝送の効率が10倍になるということだ。
これを最大限に活用すれば、解像度を4倍（4K2K）に、フレームレートを倍（120Hz）にしてもまだお釣りがくる。1フレームの伝送に必要なエンコードパワーや帯域幅も大幅に抑えられるので、遅延も大きく減らせるはずだ。
4K2K解像度、120Hzで駆動するワイヤレスのVRHMD！そこまでくれば、VRは既存のフラットスクリーン市場を脅かすほどの存在になれる。それが実現するのは何年後だろうか。意外と、そう遠くない時期にコンシューマー製品として誕生してくるかもしれない。AirVRの技術と一緒に！