用GAN消除视频会议模糊，神奇的Vid2Vid Cameo模型( 二 )

此外， NVIDIAVid2VidCameo还可利用AI从专业摄像头或智能手机拍摄的标准2D视频中捕捉面部动作和表情，协助动画师、照片编辑师和游戏开发者轻松制作脸部动画。
三、视频会议的网络带宽成本最高可降低90%
NVIDIAVid2VidCameo能够辨识脸部的20个关键点，而这些关键点可以针对包括眼睛、嘴巴和鼻子在内的位置进行编码。接着模型会从通话者的参考图片中撷取这些关键点，并将这些关键点可以提前发送给其他的视频会议参与者。
如此一来，视频会议平台只需发送参会者脸部关键点的移动情况数据，而不用在每一个与会者之间发送庞大的直播视频流。而对接收者来说， GAN模型在接收端使用这些信息合成一个模仿参考图片外观的视频内容。
【用GAN消除视频会议模糊，神奇的Vid2Vid Cameo模型】由于关键点的分布十分稀疏，比全像素图像的数据量小得多，因此发送的数据要少得多。而Vid2VidCameo通过来回压缩及发送头部位置和关键点，而不是完整的视频流，可以让视频会议的网络带宽成本最高可降低90% ，从而提供更流畅的用户体验。同时，该模型可以进行调整，传输不同数量的关键点，以实现在不影响视觉质量的条件下，适应不同的带宽环境。
四、视频会议和直播软件开发团队的新Pick
作为NVIDIA研究团队的重要成果之一， Vid2VidCameo将网络瓶颈问题转化为计算任务，从而借助本地或云端资源更轻松地解决此类问题。 Vid2VidCameo也可用于直播软件，制作表演者说话、唱歌或移动头部的视频片段。此外，它还可减少了对高网络带宽的依赖，这不仅为提供商削减了成本，也为最终用户提供了更流畅的视频会议体验，成为视频会议和直播开发团队解决因网络所造成画面卡顿及模糊问题的新选择。
Vid2VidCameo很快将在NVIDIAVideoCodecSDK中作为AIFaceCodec推出。 SDK支持免费下载，还可与NVIDIAJarvis平台搭配用于对话式AI应用，包括转录和翻译；也可与3D人体姿态估计工具协作，像Notch和Pixotope等公司，创作者们使用NVIDIAVid2VidCameo和3D人体姿态估计工具，将自己的动作传输到虚拟角色，从而快速制作数字角色上的特定动作。
之后，我们还将陆续介绍NVIDIA研究团队推出的计算机视觉、深度学习模型以及有意思的交互式Demo ，如NVIDIAGauGAN360 ，可将粗略的草图变成可用于3D场景的360度环境。
体验更多人工智能和深度学习互动Demo ，点击【https://www.nvidia.cn/research/ai-demos/?ncid=pa-so-wech-929496-vt16#cid=_pa-so-wech_zh-cn】立即体验“NVIDIAAI互动Demo” 。