所以,需要使用去交错的办法,来将隔行扫描的信号转换为逐行扫描信号 。
传统常见的去交错方法,一般是把连续的两个场直接拼为一帧,不做任何修改 。
但是每个场之间的拍摄时间还是会存在细微变化,如果这一刻拍摄物体正在移动,就会导致去交错后的图像会出现“拉丝”问题 。
文章图片
针对这个问题,AI这次使用的是基于运动补偿的多帧去交错算法 。
和传统方法相比,这种方法的大致原理是根据邻近场使用动态估计,去预测画面中的物体移动并得到动态向量,根据前一个场及动态向量就能重建出一个新的场,然后将此两个场并完成反交错 。
它的特点是泛化性更强,细节处理能力更好 。
从结果来看,修复后吉他手的手部伪影完全被去除了,轮廓也清晰了起来 。
文章图片
第二个不同之处,便是对人像的着重修复 。
演唱会录像中势必会存在大量的人像镜头,很多还是怼脸大特写,歌迷格外关注的镜头往往也是这些部分 。
但受限于当年的拍摄设备水平,最终呈现的效果很容易是人和背景糊成一片,五官轮廓也不清晰 。
【明星|黄家驹演唱会31年后重映!1小时播放破亿】针对这一问题,这次修复中使用了火山引擎自研的自适应人像增强算法 。
这种方法基于深度学习模型,会在消除人脸整体的模糊和压缩损伤的同时,进一步对五官进行重建 。
比如之前不少网友说,修复后影像里,黄家驹的眼睛都有了光、眼线都能看得一清二楚 。
文章图片
这就是因为算法对眼睛部分进行了重建,并补足了更多细节 。
文章图片
除了五官以外,这一算法还能兼顾皮肤纹理、头发丝等方面的细节处理,可以让修复后的人脸更加真实 。
此外,考虑到演唱会中拍摄到表演者的脸部不只有正面,算法还考虑到侧脸、俯视、仰视、被话筒遮挡等多种情况,可以解决很多极端情况下的修复问题 。
文章图片
第三方面,体现在色彩亮度增强上 。
据技术提供方火山引擎介绍,原片中其实存在大量过曝、死黑场景,色彩还原度也不够高 。
而这些问题不是简单调节亮度或色彩就能解决的 。
就拿死黑场景举例,因为影片本身还存在很严重的底噪,如果直接把偏暗场景调亮,底噪也会被同时放大 。
至于色彩方面,还需要平衡好修补褪色和保留复古感两方面因素 。
在这方面,火山引擎是根据具体片源的效果,依据美学评分对不同方面进行调整 。
并能根据不同帧的色彩统计信息进行分区域自适应亮度增强,从而找到最佳的明暗平衡效果 。
文章图片
据技术人员介绍,以上几方面工作几乎都是由AI完成的,人工参与的只有一些调参部分 。
- 这波挺圈粉
- 被明星告上法庭的丰巢,开始兼职洗衣服
- 明星直播带货销售额惊人,却被爆数据弄虚作假,果真隔行如隔山
- 美女|模仿卡塔尔小王子被骂无知 美女明星金晨回应:网友不买账
- MCN3.0时代来了,众乐互娱解锁电竞明星的成功之道!
- 运营商|这一品牌又出明星产品,低价高配再次诠释性价比之王
- 高质量发展|明星求婚,白宫入侵,战场投弹,无处不在的大疆无人机到底有多牛?
- 中国制造|中国制造让诸多外媒赞叹:不只智能手机,“明星机车”也有新进展
- 继NCT和威神V之后,东方神起和SuperJunior也要举办线上演唱会
- 沈梦辰卖二手翻车了?“原味”这个词备受争议,明星缺这点钱吗?
