現在、ハイフレームレートのARメガネ(HMD)を検討中ですが、そもそも何故ハイフレームレートが必要か少し述べておきます。
人間の目は認識の上限として60Hz～120Hz程度までしか認識できないのでそれ以上は不要なはずだ、という理解をしている人も多いのではないかと思います。
それが成立するのは、固定されたモニタの中の情報を相手にしている時だけです。モニタの概念を飛び越して、現実空間に情報を重畳しようとした瞬間にその理屈は通用しなくなります。
ARにおいては、解像度劣化の問題と、遅延の問題が引き起こされますので、順に説明します。
以下に、超へたくそな絵を使って説明します。
運転中に、歩行者なり標識なりを見ながら、安全確認のために首を振るなんて事はよくあるシーンです。
3次元で普通に暮していれば、自分も相手も動きながら物を見ます。モニタのように止まっていてはくれません。
ここで、上の図を見てください。仮に視野の右端にあったものが１秒後に右端に来る程度にゆっくり首を振ったとします。実際１秒は結構ゆっくりです。
で、ゆっくりにも関わらず、画面上のピクセルとしては画面の端から端となると1000ピクセル以上かるく移動することになります。
もしモニタが60Hz程度であれば、1コマの表示中に視点は16ピクセル以上を跨ぐ異なります。つまりこの時点で解像度が1/16以下に下がります。当然、肉眼ではくっきり見えるものが、AR空間に限定して相対的な運動によって急に解像度が落ちることになります。
ためしに肉眼で、首を左右に振りながらこの文章を読んでみてください。くっきりと普通に読めますよね。この当たり前のことが現行の通常フレームレートのHMDだと出来ないのです。 これでは電脳コイルの世界なんて不可能です。
そして解像度よりも、もっともっと重要なのは遅延の問題です。一般的な 60Hz のモニタ表示の場合、1コマが16.6ミリ秒の時間となります。16.6ミリ秒あれば、時速60kmで移動時に27cm程度移動します。
そもそもHDMIなどの映像伝送規格は、1コマの転送だけで16.6ミリ秒掛かってしまうので、カメラとPCとHMDを繋ぐと、転送時間だけで 33.3ミリ秒かかります。これに撮影時間(露光時間)や、演算時間、表示装置の駆動時間などが加わります。あっという間に1m程度のずれが出来上がります。
歩行者が体数個分ずれて表示される世界で、自転車や自動車の運転なんてできるでしょうか？
ゲームとしてのVR/ARは条件が限定されるので十分実用ですが、普通の生活空間でAR/VRを使おうとすると、とたんにスペックが不足します。既存の映像規格やシステムのアーキテクチャ自体大きくを刷新する必要があるのです。
実際、解像度をフルHD -> 4k -> 8k と増やしていくより、解像度はフルHD程度でよいので、フレームレートを 16倍にするほうが、より実用的な方向への応用が広がるのではないかと考えています。
正直、筆者は1000fps程度では、生活空間にリアルタイムコンピューティングを持ち込むのに全然不足していると考えています。なので、まだまだこれからなのですが、まずは第一歩の実験ができたかなと思っております。
デバイスとしてはLED系は高速駆動向きのはずです。Sonyのイメージセンサなどハイスピード撮影できるものが増えてきたので今後ますますいろいろな事が出来るのではないかと思っています。
最後に、OLED（有機EL)の1000fps描画が描画だけ動いたので動画を張っておきます。
これに、高速度カメラ映像の重畳や、360度映像の張り込みなど、いろいろやれたら楽しそうだなと企んでいる次第です。
コメント