NVIDIA用照片造出逼真3D乐器，大秀爵士乐表演，论文入选计算机视觉顶会( 二 )

文章图片
在任何传统图形引擎中，创作者都能轻松为形状调换由NVIDIA3DMoMa生成的材质，就像给网格穿上不同的衣服一样。

文章图片
例如，该团队对小号模型采取了这种做法，将原来的塑料材质，快速更换成黄金、大理石、木材或软木。
创作者可以将新编辑的物体放入任何虚拟场景中。 NVIDIA团队将这些乐器放入了经典的图形渲染质量测试康奈尔盒中。

文章图片
他们证明了虚拟乐器对光线的反应与在物理世界中完全一样：闪亮的铜管乐器反射出亮光，哑光的鼓皮则会吸收光线。

文章图片
这些通过逆渲染生成的新物体可以作为复杂动画场景的构成要素。

文章图片
虚拟爵士乐队
三、高效的逆渲染方法，整体研究思路概述总体来说，研究人员提出了一种高效的逆渲染方法，能从多视角图像中提取具有空间变化的材料和环境照明的未知拓扑三角网格，它们可以部署在任何传统图形引擎中而未经修改。

文章图片
研究方法的概述
NVIDIA团队假设在一个未知的环境光照条件下，有相应的摄像机位姿和背景分割掩模来指示这些图像中的物体，进行3D重建。
该方法学习曲面网格的拓扑和顶点位置，而无需对3D几何图形进行任何初始猜测。其目标表示由三角网格、空间变化的材质（存储在2D纹理中）和照明（一个高动态范围的环境探针）组成。
该方法的核心是基于可变性四面体网格的可微分曲面模型，并通过一种新的可微分分割和近似方法将其扩展到支持空间变化的材料和高动态范围（HDR）环境照明。
研究人员使用高度优化的可微分光栅与延迟遮光，联合优化几何、材料和照明。生成的3D模型无需转换，就能部署在手机、web浏览器等任意支持三角渲染的设备上，并以交互速率呈现。

文章图片
NVIDIA团队从2D监督中联合学习拓扑、材质、照明，重建三角网格，无需修改即可在标准游戏引擎中使用
实验表明，该研究提取的模型可用于场景编辑、材料分解和高质量视图插值，所有这些模型都在基于三角形的渲染器（光栅器和路径跟踪器）中以交互速率运行。
结语：将助力简化创意团队的工作流程在论文最后，本篇论文作者提到，这项研究的主要限制是简化了阴影模型，没有考虑全局照明或阴影。这一选择是有意加速优化，但受制于材质提取和重照明。
随着可微分路径追踪的研究取得新进展，研究人员期待在未来的工作中去除这一限制。其他限制还包括静态照明假设、没有优化摄像机位姿、训练期间高计算资源和内存消耗等。
当然，每当涉及场景重建方法，大众普遍会关心深度伪造问题。对此，研究人员称尚未察觉或预见到其方法的负面用途。
【NVIDIA用照片造出逼真3D乐器，大秀爵士乐表演，论文入选计算机视觉顶会】总的来说， NVIDIA这项能帮助创作者快速将2D照片变成3D物体、兼容现代3D引擎和建模工具的新研究，将有助于进一步简化建筑师、设计师、概念艺术家和游戏开发者等创意团队的工作流程，为他们腾出更多发挥创意的时间。