NVIDIA用照片造出逼真3D乐器，大秀爵士乐表演，论文入选计算机视觉顶会

文章图片
智东西（公众号：zhidxcom）
作者|ZeR0
编辑|漠影
智东西6月21日报道，今日，英伟达研究院（NVIDIAResearch）的新研究在全球计算机视觉三大顶级会议之一CVPR2022（计算机视觉与模式识别会议）上亮相。
NVIDIA提出的3DMoMa逆渲染流程方法，展示了一种能将2D照片变成3D物体的新方法。图形创作者可以快速将物体导入图形引擎，并修改比例、改变材质或尝试不同的照明效果。
本周，关于3DMoMa的论文将在CVPR上发表。其论文名为《从图像中提取三角形三维模型、材质和照明》（ExtractingTriangular3DModels,Materials,andLightingFromImages）。这将是NVIDIA在本次CVPR上发表的38篇论文之一。
论文地址：https://arxiv.org/abs/2111.12503
项目地址：https://nvlabs.github.io/nvdiffrec/
一、用2D照片快速生成3D物体3D内容建模既需要艺术建模技能，又需要掌握计算机技术知识。而实现自动化3D建模，可以节约大量的生产成本，或加速更多样化的内容创建。
其中，逆渲染是将一系列静态照片重建为3D物体或场景模型的技术。 NVIDIA图形学研究副总裁DavidLuebke称：“该技术长期以来一直是统一计算机视觉和计算机图形学的关键。 ”
他谈道：“NVIDIA3DMoMa渲染流水线能将逆渲染问题的每个部分表示为GPU加速的可微分组件，然后使用现代AI机器和NVIDIAGPU的原始算力快速生成3D物体，且创作者可以在现有工具中自由地导入、编辑和扩展这些物体。 ”

文章图片
为了使艺术家或工程师能够充分利用3D物体，其形式应能够导入游戏引擎、3D建模器和电影渲染器等各种被广泛使用的工具。
带有纹理、材质的三角网格形式，就是此类3D工具使用的通用语言。

文章图片
三角网格是用于定义3D图形和建模形状的基本框架。游戏工作室和其他创作者习惯于使用复杂的摄影测量技术来创建3D物体，这需要耗费大量的时间和精力。
近期的神经辐射场（NeuralRadianceFields）研究可以快速生成物体或场景的3D模型，但并不是使用易于编辑的三角网格形式。
当在单个NVIDIATensorCoreGPU上运行时， NVIDIA3DMoMa能在1小时内生成三角网格模型。该流水线的输出结果与创作者现在使用的3D图形引擎和建模工具直接兼容。
流水线的重建功能包括3D网格模型、材质和照明。网格就像由三角形构建的3D形状混凝纸浆模型。有了它，开发者就可以依照自己的创意对物体进行修改。材质是叠加在3D网格上的2D纹理，就像人的皮肤一样。 NVIDIA3DMoMa通过对场景光线进行估算，使创作者能够在日后修改物体上的照明。
相比之下，近年来许多类似的3D重建研究，或者不能轻松支持场景编辑操作，或者牺牲了重建质量，在神经网络中编码的材质也不能轻易地被编辑或提取成与传统游戏引擎兼容的形式。
二、为虚拟爵士乐队调校乐器为了展示NVIDIA3DMoMa的功能， NVIDIA的研究和创意团队首先从不同角度收集了五种爵士乐队乐器（小号、长号、萨克斯、架子鼓和单簧管）的约100张图片。

文章图片
NVIDIA3DMoMa将2D图像重建为每种乐器的3D表示，并以网格形式呈现。
然后， NVIDIA团队将这些乐器从原始场景中取出，并将其导入NVIDIAOmniverse3D模拟平台中进行编辑。