黎颢的面部表情捕捉完全解密

0

黎颢他们团队已经把论文和视频放出来了,看完之后,其工作原理就一清二楚。

用的是 Intel RealSense 25厘米焦距的摄像头。通过整合在海绵中的 Omega 6mm KFH-series 350 ohm 压力测量器来检测被挡住的面部表情,摄像头捕捉下面部表情。至少目前来看,这个整合方案相当不错,需要改进的可能就是延迟和让摄像头离面部更近一点了。

haoli1

目前,它还需要离线的校准训练过程,让30赫兹的光学捕捉信号能和1000赫兹的压力数据融合。

当然,其局限性也是有的,黎颢他们已经把未来需要改进的方向列出来了:“尽管对于消费者来说已经可以接受了,目前的流程还是需要完整的面部表情校准过程。未来我们计划消除这个过程,这可以通过更加优化的回归模型和初次校准来达到。”

所以呢,我们可以注意任何在 CV1 CV2 的海绵中加入压力感应器的信息了。显然,这对于未来的社交体验是极大的提升。

haoli2

按常理来说,这种级别的技术离实现还有很远。但看到黎颢他们团队用如此优雅的方式美妙地解决了这个问题,不得不感叹 VR 相关技术进步之快。

主要作者中四位来自南加州大学 (黎颢, Kyle Olszewski, Lingyu Wei),而 Laura Trutoiu 来自 Oculus research。

论文下载

视频:


Source:Haoli

LEAVE A REPLY

Please enter your comment!
Please enter your name here