从1小时到3.5分钟！Meta数据采集新算法：告别VR头显手机一扫就行

近日，据天眼查App显示，北京字跳网络技术有限公司申请的“数字人生成方法、装置、存储介质和电子设备”专利公布。摘要显示，本公开能根据单张目标人脸图像，自动生成与图像中人脸的脸部特征相似的数字人。
而搞定这样的人脸3D建模需要几步？
根据扎克伯格元宇宙计划里的核心部门——MetaRealityLabs研究，一部手机+3.5分钟就可以搞定，在这3.5内收集数据就足以生成高保真、可驱动的真实3D人脸头像，该研究的论文已经被SIGGRAPH2022接收。

文章图片
这个研究表明，采集人脸只需要用到一部带有深度摄像头的智能手机。在实验中，研究人员采用的是iPhone12 。整个过程为：
获取每一帧人脸图像中的几何形状和纹理；
对输入的RGB图像进行人脸标志检测和人像分割；
对模板网格进行拟合和变形，以匹配检测到的人脸标志物、分割轮廓和深度图；
对每一帧图像的纹理进行解包，而后汇总得到完整的人脸纹理。
在进一步完善模型的过程中，还需要采集65种特定的表情：
最后，该方法输出的3D人脸头像不仅能与用户外观高度匹配，通过全局表情空间，还能对其进行进一步的驱动、控制。
研究人员表示，整个采集过程大概要花费3.5分钟。

文章图片
【从1小时到3.5分钟！Meta数据采集新算法：告别VR头显手机一扫就行】需要说明的是，建模的过程不是实时的，数据处理还要花费数小时的时间。当然如果这个技术用在产品上，这些计算会交给云端GPU ，无需用户自己的算力资源。
不过相较于2019年Meta用132个摄像头的专用捕获装置生成3D人脸的巨型装置，采集时间就得花费1个小时左右，时间上得到了大幅度地提升。

文章图片

文章图片
与Pinscreen提出的“一张照片构建3D数字化身”（CVPR2021）的方法相比，该方法能生成更具真实感的人脸模型。
“我想说的是，未来十年的一个重大挑战是，我们是否可以实现与面对面互动无法区分的远程Avatar互动。 ”该项目负责人之一的Sheikh说。
不过，作者也指出了该方法的局限性：hold不太住长发和眼镜，容易产生伪影。另外，该方法对于光照条件也有一定要求。
作者提到，这一方法适用于VR应用。也就是说，在VR的世界里，以后你可能就不必顶着一张卡通脸登场了。

文章图片
扎克伯格是这么描述未来的：你可能会用一个充满表现主义的人像玩儿平常的游戏，而用一个更逼真的人像来参加工作会议什么的。
当然， Meta在达到保真度之前，还有很长的路要走，但看看演示中的形象，这个目标实现的希望还是不小的。
“如果说之前离实现还差十个奇迹那么远，如今可能只差五个奇迹了。 ”
(7961851)