ハイエンドVRを超低負荷で実現する“Foveated Rendering”最新動向

VR＝超高負荷という呪縛

VR向けのレンダリングはレンズ歪みを考慮した高い解像度で行なう必要があるため、GPU負荷が極端に高い。画像はNVIDIAの資料（関連記事）より。

　ご存じの通り、VRでは非常に広い視野角（低くとも90°以上）の高詳細グラフィックスをレンズに出力するため、非常に高い解像度でのレンダリングが必要にになる。例えば、Oculus RiftやHTC Viveのオフスクリーン解像度は片目あたり1,512×1,680（両眼で3,024×1,680）だ。端の部分はレンズ歪みで潰れてしまう事を前提に、中心部分の解像度を高く保つため、スクリーンそのものよりも高い解像度でレンダリングする仕組みだ。

　しかもVRHMDには高フレームレートが必要であり、上掲のRiftとViveはともに90fpsのフレームレートを必須としている。つまり1秒間に3,024×1,680の高解像度映像を90枚も描画しなければならない。これを素直に実行すれば、その負荷は4K 60fpsとほぼ同等だ。GTX 980Ti/TitanやRadeon R9 Nano/Furyといった現時点の超ハイエンドGPUでもギリギリというレベルである。

　この1年、OculusやValveといったVRHMDの開発企業は、「もとから潰れる予定の端の部分を低解像度でレンダリングする」といった方法で最適化（参考記事）を進め、GTX 970/R9 290といったミドルハイクラスのGPUでもギリギリで満足できるVRパフォーマンスが出せるように調整してきた。だが依然としてミドルクラスやローエンドのGPUでは「VRは無理です」といいようがなく、プレミアムなVRをごく一部の層のものに限定してしまう現状となっている。

　この問題──VRにはハイスペック環境が必要──には根本的な解決策があるのだろうか。

Foveated Renderingが実質的GPUパワーを数倍以上に引き上げる

Foveated Renderingの基本概念。画像はMicrosoft Researchのペーパーより。

視野角が極端に広いVR映像では、非常に大きな効果がある（関連記事）。

　あるのだ。Foveated Renderingこそが、この問題を一挙に解決しうる究極のテクノロジーだ。

　冒頭で述べたように、Foveated Renderingは「ユーザー視線の中心部分のみ高解像度で描画し、その他の部分を低解像度で描画する」というレンダリング技術であり、適切に実装されれば、GPUが描画すべきグラフィックスのピクセル数を大幅に低減することができる（参考記事）。

　それを使ってどれくらい、GPUパワーを節約できるか。30％？50％？いや、そんなものではない。画質を落とすことなく、5倍、10倍の効率化ができる。何しろ人間の目というのは、視線中心の2°くらいの角度しか、まともに高解像度で見えていない。周辺はもともとボンヤリとしか見えていないので、ユーザー視線の動きを正確・高速に検出できれば、ユーザーに全く気づかれることなく、大胆に描画解像度を落とすことができる。これにより、実質的なグラフィックスパフォーマンスは倍々レベルで向上する。

　この技術が実現し、普及すれば、現状、GTX 970/R9 290以上が必要とされているOculus Rift/HTC Vive相当の必要スペックを、CPU統合型グラフィックスを含むローエンドGPUにまで引き下げることが可能になる。また、ミドルクラス以上のGPUでは大幅に描画パワーが余るため、余ったぶんのパワーを更なる高解像度化や高フレームレート化に振り向けられる。

　そして4K解像度、120Hzといった超プレミアムVRHMDが実現する。しかもホストマシンはミドルクラスのPCで充分となり、ものによってはスマホ程度のハードウェアでも済むようになるかもしれない。これこそが、Foveated RenderingがVR業界のゲームチェンジャーとなる理由だ。VR業界以外（既存のフラットスクリーンゲーミング）も巻き込む事態になる可能性すらはらんでいる。

　かくしてFoveated Renderingは、2017年から18年にかけて登場するであろう第2世代のVRHMDでは搭載して当たり前、なければ論外というVRにとって必要不可欠の技術になる。

HMD向けの実装では先行するも、痛恨の発売延期を喫したFOVE

FOVEのHMD

アイトラッキングセンサー

　国内発のVRスタートアップ企業が開発するFOVEについては本連載で度々取り上げてきた（関連記事）。当初は2016年春の出荷を予定していたものの、去る2月20日、2016年秋へずれこむことが（発表された）。

　FOVE陣営にとっては出荷時期の遅延は痛恨の極みだが、FOVEがアイトラッキング搭載型HMDとして世界初の製品となる見込みは今も変わらず、この分野において先駆者の地位を保っていることは確かだ。

　そのFOVEでは高性能なアイトラッキングシステムの開発に合わせてFoveated Rendering技術の開発も進めており、FOVE IncのCEO、小島由香氏による最新の情報では「3倍のパフォーマンスアップ」はすでに確認済みであるという。技術的にはこれを6倍まで引き上げることも可能であるともいうので、引き続き注目していきたい。

両眼の動きを高精度に捉えるFOVEでは、視線の「深度」によるDoF（被写界深度）表現が可能

その精度を活かしたFoveated Renderingの概念。現時点で3倍のパフォーマンス向上を確認済みとのこと

The Eye Tribeはスマホ向けにもアイトラッキングを実装

アドオンタイプのアイトラッキングシステムを開発するThe Eye Tribe

　老舗Tobiiの対抗馬としてコンシューマー向けの安価なアイトラッキングシステムを販売してきた実績のあるデンマークのベンチャー企業、The Eye Tribeは、既存または将来発売されるVRHMDへのアドオン機能としてのアイトラッキング技術を開発中だ。つい先日にはFoveated Rendering技術のデモ映像を公開し、GPU負荷が2分の1～3分の1になる様子を披露している。

　The Eye Tribeの独自性として面白いのは、Oculus Rift等のPC用HMDのみならず、GearVR等のスマートフォンVRアダプター向けにもアイトラッキング機能を提供しようとしているところだ。Foveated RenderingによるGPU負荷の低減は、もともとのパフォーマンスが不足しているスマホVRには計り知れない恩恵があると見られる。The Eyt Tribeがアドオン用のアイトラッキングシステムを安価に供給することができればスマホVR業界において変革をリードする存在になれるかもしれない。

Foveated Renderingの効果を描画負荷で可視化した例。GPU負荷が90%台から30％台と、3分の1近く低減している

業務用アイトラッキングシステムの老舗SMIは250Hz表示を実現する

SMIも既存のHMDにアドオン的に装着するシステムを開発

視線位置に合わせて3段階の解像度で描画するソリューションで、250Hz描画を実現したという

　高価な（100万円単位）の業務用アイトラッキングシステムを手掛けてきた老舗のSMIも、アドオン型アイトラッキングシステムをVRHMD各社にOEM供給すべく、システムの開発を行なっているようだ。

　1月にSMIが公開したFoveated Renderingデモ映像で興味深いのは、負荷低減によるメリットをフレームレート向上に振り向けた内容になっていることだ。公開動画の中ではFoveated Renderingにより描画フレームレートを250Hzに引き上げているとしている。これは映像の残像感や遅延をこれまで以上に減らす上で効果的なソリューションとなる。

　さらにSMIはThe Eye Tribeと同様に、スマホVRアダプター向けのアイトラッキング技術も開発している。現時点ではGearVRに組み込んでFoveated Renderingを行なっている動画が公開されているが、このようにスマホVRの性能を底上げしていく方向には巨大な市場が存在するはずだ。

　このカテゴリーには上述のFOVE、The Eye Tribe以外にも、業務用からコンシューマー向けまでのアイトラキングシステムを手広く手掛けるTobii（Steelseriesとタイアップした『Sentry』がゲーマーには有名だろう）といったライバルも存在するため、どの企業が先んじるかについては全く先が読めないところだ。

　いずれにしても、アイトラッキング機能およびFoveated Renderingの技術は、次の世代のVRHMDには「かならず」搭載されるものになるはずだ。

　そうなれば、ハイエンドVRを実行できるPC環境はミドルクラスからローエンドまで広がり、スマホVRもいまのPC向け並みに高品質化していく。ユーザーにとってはプレミアムVRの手軽さ、アクセシビリティが大幅に向上する。本当の意味でVRが市井に普及していくための次のステップは、まちがいなくそこだろう。