芯片|自研芯片V2来了 vivo：没人比我更懂计算摄影( 二 )

苹果大家很熟，我们就借由vivo这颗V2自研芯片来看看计算摄影是怎么在软硬件之间交织的。
与初代相比， V2这次迭代非同小可。它采用AI-ISP架构，将传统ISP低延时、高能效的特点进一步带入到AI实时处理运算架构中。
首先是通过与联发科天玑9200的联调与深度合作， vivo在天玑9200上可以借助自研芯片和SoC的双芯配合来突破原有性能上限，满足计算摄影暴增的算力需求。
从具体实现方式来说， V2采用了异构多芯片计算方式， vivo称其为FIT双芯互联技术。

vivo将两颗芯片做了一个分工，将大型复杂算法模块拆分，把算力密度小、网络结构复杂的小模型部分，通过软件部署在平台NPU上；把算力密度大、数据吞吐密集的大模型部分，部署在V2硬件上，让它们处理各自擅长的运算模块。发挥平台和外挂芯片的各自优势，做出1+1>2的效果。
计算性能上去了，往往带来的是功耗的提升，这也是传统外挂芯片难以回避的问题。
vivo对此给出的答案是专芯专用，通过芯片的定向设计达到实际功耗的降低及用户体验的提升。
V2的AI计算单元上选择了更适合做复杂成像运算的DLA加速器而非传统的NPU ，并且专门搭载了更大的片上缓存，让V2的片上SRAM容量较V1提升了40% ，达到等效45MB 。跳出行业常用的外存DDR架构的好处是最大程度避免内存瓶颈限制数据运算效率，同时减小了影像计算中的延迟问题，为低延迟计算影像铺平了道路。

vivo将其称为全硬化定制设计近存DLA
并且在些特定场景下只调用V2自研芯片。例如V2专门内置了10bit的MAC单元以满足针对专业视频的10bit色深处理需求，据vivo称，这样相较平台SoC软件部署所采用的合并运算方式， 10bit算力密度提升了4-6倍的巨幅提升。
芯片进步，为计算摄影应用带来什么改变？双芯互联保证能同时高效运行不同架构的算法模型。近存DLA缩短了影像在整个手机拍摄管线中的处理时间，同时做好功耗控制。拥有独立影像芯片的vivo ，可以在此基础上对其摄影算法进行更进一步的软硬结合来提升效果，而本次双芯技术沟通发布会中重点讲述的技术也是其算法提升的表现。我们可以借此一窥——技术进步会带来哪些计算摄影新方向？
1、部分解决手机相机镜组光学素质的局限性
手机相机受限于手机本身的厚度，镜头模组难以靠堆叠镜片来进行画质矫正。在已大量使用非球面镜片等设计下，相较相机镜头在解析度，色差、色散上仍有不小差距，尤其是长焦端。通常的解决方法是更换参数更高的镜头，通过机身设计来掩饰增大的镜组体积。
而vivo在发布会上提出了一种新思路，是和蔡司联合研发的一种计算光学算法，预先对每款手机的摄像模组特性做建模分析，预估光学缺陷并做动态补偿，弥补手机相对薄弱的光学性能。

vivo展示的蔡司光学超分算法样张对比，据称可以恢复5倍以上焦段约35%的清晰度信息。
2、提升暗光下的极限拍照能力
夜景模式几乎每一家手机厂商都有尝试，有两条常见路线：一条技术路线为拍摄多张画面，通过算法进行多帧合成，尽量还原真实场景。另一条技术路线是依靠AI模型预训练，再对画面进行推算，谷歌相机就是最典型的例子。但无论是哪种方案，都需要图像处理芯片在短时间内对大量画面的存储调度和计算。