Jaunt分享关于其虚拟现实电影技术的细节

0
Arthur_van_Hoff_JanutVR
Arthur van Hoff, Janut VR CTO

Jaunt VR 电影公司的 CTO Arthur van Hoff 出席了上周的第十届硅谷虚拟现实线下聚会(SVVR Meetup),并分享了他们对于虚拟现实电影解决方案的一些技术细节。这次演讲可以算作一个里程碑,因为这是第一个使用 360° 3D 摄像机拍摄下来的硅谷虚拟现实聚会演讲。

 

关注加速Do的话你可能还会记得大概在一个月以前 Jaunt VR 宣布进行了680万美金的融资。而这次演说,Arthur van Hoff 则是分享了关于技术方面的事情。


 

摄制

Jaunt_camera

Jaunt 摄像装置是通过一个 3D 打印模套上14个 GoPro 摄像机组合而成的。每个摄像机都能以60帧/秒的速度拍摄 1080P 的高清视频。组合在一起,每秒的数据量将达到17亿像素。

靠外的摄像头呈垂直排列以便达到垂直角度的最大视角。


 

处理

nv_cuda

处理数据本身即是挑战。不仅仅在于其庞大的数据量,将这14个 2D 视频渲染成 360° 3D 视频也不是简单的事情。每一帧的每一个摄像头拍出来的分画面色调都必须一致,白平衡也要调整好,镜头形变也需要进行校正,最终的画面还需要被弯曲,缝合好,才能形成最终可被观看的一帧视频。

这个后期处理的过程是通过 CUDA (nVidia 显卡专用的并行计算平台)技术来进行加速的,不过目前每秒钟的 360°3D 视频仍然需要20秒才能渲染好。当然,以后这个成绩会逐渐进步。

最终的视频由 H.264 编码,形式是圆球状的立体3D。当被问及视频的格式以及是否是 Jaunt 的专利时,van Hoff 给出了肯定的回答,并说目前并没有任何其它的视频格式来容纳此形式的视频。然后,他表示非常愿意和他人合作来确立行业标准格式。

目标是每只眼都能达到 4K 的分辨率 (同时有足够支持生成 8K 效果的数据),因为目前的体验效果的瓶颈明显是显示质量。


 

制作

原始视频需要经过编辑才能成为让人欣赏的作品,因此 Jaunt 的目标是让专业人员可以用他们惯用的工具来对虚拟现实视频进行剪接、过场、增加特效、进行色彩校正等等。此外,声音也必须和场景的表现位置一致。Jaunt 使用 Ambisonic 来录制音效,然后映射到场景里对应的位置。Jaunt 播放器会在观众转动脑袋时将声音调整到对应位置。

通过使用现有的标准工具,额外的技术培训成本也会大幅降低,也能让人们更愿意采用 Jaunt 的虚拟现实视频解决方案。

当然,这并没有解决制作 360° 3D 视频时可能遇到的其他问题。比如,既然没有“后台”,那么工作人员应该在哪里?你如何让观众知道该看哪里以致于他们不会错过关键的故事情节,尤其在某些事发生在观众“身后”的时候?而且,由于摄像机的移动被极大地限制了(因为这会导致较大的晕眩反应),那该如何改变讲述故事的方式?这些全新的制作方式的挑战,需要电影工业合力在前进的道路上解决。


jaunt_video

目前为止,Jaunt 对于具体内容的面市时间守口如瓶。他们的内容都是基于 Oculus Rift 的,但是 Jaunt 称他们会对其他头戴设备进行支持。比如一个 iOS 的观众会被提供一个“世界之窗”,当你转动你的苹果设备时可以看到场景不同的部分。目前他们计划提供一些短小,大概五分钟左右长度的视频来让公众了解这种媒体形式。

如前文提及,第十届硅谷虚拟现实线下聚会通过 Jaunt 摄像装置进行了全程记录。让我们期待最终视频放出来的时刻吧。


Via: RoadtoVR

LEAVE A REPLY

Please enter your comment!
Please enter your name here