超能网2023-01-25 01:11:02
(资料图)
一直以来，VR视频都停留在了180度或者360度这个阶段，只是分辨率在不断的提升，而6DoF的视频则进展缓慢。毕竟在6DoF下面，人的视角可以随意移动，这对于前期的拍摄制作和后期的存储和播放来说都是一个巨大的挑战。
援引MIXED的消息称，Meta的Reality Labs和卡内基梅隆大学、马里兰大学的研究人员现正研究一种名为HyperReel的渲染方法，可以以更低的内存占用实现高分辨率实时渲染。跟目前主流的AI学习方法如NeRFs不同，HyperReel利用AI学习计算光线与物体之间的交点，而非NeRFs的光线路径。
性能方面，HyperReel能在RTX 3090上实现每秒6.5帧至29帧的播放速度，这主要跟场景和模型尺寸有关。不过最好的29FPS是在Tiny模型上实现的，分辨率很低。
在文件大小方面，NeRF每帧的大小约为17MB，谷歌的沉浸式光场视频每帧大小为8.87MB，而HyperReel每帧只有1.2MB大。虽然目前HyperReel仍然不适合用于VR视频串流，但文件更小意味着日后实现这个功能会更容易。
总的来说，HyperReel仍然是一个实验室项目，距离实时VR应用如直播等还有一段距离。因为实时的VR视频应用需要达到72FPS的渲染帧率，还得加上立体声。不过Meta同时表示，HyperReel是基于原版PyTorch实现的，未来还拥有提升空间。
