手机厂商们的真假AI相机

美国消费电子协会首席经济学家肖恩•杜布拉瓦茨在他那本《数字命运》中提到了这样一个观点：

数字技术和设备的蓬勃发展，预示着一个人类新时代的开始。除了数字硬件的风靡，人类未来十年的生活将以“全数字化”和“物联网”为特色。数字化所带来的数据浪潮将以闻所未闻的量级席卷我们的世界，渗透进我们的生活。

可不是，多数人想不到的我们一张自拍照的背后，都在不断融入数字化和AI。

2017年谷歌在Pixel 2代手机上加入了自研AI单元，首次实践“AI计算拍照”。此后，用AI改善拍照质量似乎就成了手机厂商们的共识。

谷歌此举甚至还在“倒逼”华为海思、联发科等厂商在最新的SoC硬件上提供AI组件，方便手机厂商进行AI相关的功能开发。

一股芯片级AI相机的潮流席卷而来，不同流派、不同公司在标准、技术之间相互争鸣，共同推动了技术的演进。

一

AI相机流派

营销也好，实打实的进步也好，为了追赶AI这个概念，手机厂商、处理器厂商都在打AI牌。以至于芯片甚至在相机这个点上都在拼AI。不过，出于成本考量，AI相机正在形成不同流派。

1、APP算法加强派。算法加强派只能算是营销噱头，主要集中在千元机上。

和美图秀秀这类应用通过算法修改图片差不多，可以理解为手机相机APP自带算法调整功能。红米Note5、vivo X21这类市面上的“千元双摄”大多用的是是这种方式。

APP自带算法调节的确可以让照片增强对比度或是通过算法加强景深。问题在于，本身硬件有限，芯片和摄像头里都没有专门的AI处理单元，一到夜晚就会导致画质不佳，原图成像不佳，APP也很难有太大的作为。

2、摄像头+云计算派，在摄像头区域里有一颗专用图像处理协处理器。

即ImageProcessing Unit （IPU），专门用来结合云计算与算法集群处理AI拍照与视频任务，谷歌Pixel 2就是最典型的案例，这也是为什么Pixel 2单摄像头就能搞定其他双摄像头背景虚化的主要原因。

这颗IPU是一颗可编程处理器，共有8个核心，每个核心有512算术逻辑单元（ALU）。在移动设备上，ALU每秒能进行超过3万亿次运算。ALU主要是用Halide来进行图像处理，用TensorFlow处理机器学习。

从营销的角度来看，这套技术基本只有谷歌能用，能实现的功能及支持的第三方应用有限，须要搭载谷歌自研芯片也增加额外成本，基本上只会被Pixel的极客用户认可。国产手机厂商的双摄、三摄、四摄可以在直接观感上征服用户，何必用单摄。

3、芯片处理器派，也就是在芯片处理器中，加入了一颗用于AI计算的芯片。

华为、苹果、三星接连在处理器中加入了独立神经网络处理单元，称作为NPU——比如华为麒麟980。

联发科其实比高通、三星都走得更快一些。早在2018年3月，联发科就改进加强了AI硬件处理单元，将其称之为APU。当时发布的Helio P60直接加入了双核APU——也就是两个独立AI处理单元。这样的处理单元专门用于应付拍照、视频操作。2018年底发布的Helio P90，其中AI专核已升级为APU2.0，为手机提供了强大的边缘AI算力。

联发科在这几个派别的争论中还提出了真AI相机的标准，实现芯片级的真AI相机——从图像传感器sensor尺寸、AI性能、ISP技术三个维度为用户打造真正的AI相机。

高通依旧执着于CPU/GPU/DSP模式期间，联发科已经迭代了三代APU产品，已经在芯片中采用了提升AI性能，改善用户相机体验的策略。

在APU 2.0 架构的支持下，当手机在多核多线程处理AI 任务时，手机反应速度能更快、更省电。AI运算效率提升了，功耗和所需的带宽更少了。

二

芯片派的崛起

在2018年年末，APP算法加强派基本已经被主流手机厂商淘汰，至少是在旗舰机上淘汰。摄像头+云计算派太过小众，而且不适应国内营销环境，同样没能成为主流。芯片处理器派则是跃升为了所有手机厂商的第一选择。

原因很简单，手机相机硬件、用户应用需求以及相机自身玩法越来越多样了，很多问题只能靠硬件来解决。

就像过去手机处理器“核战”的年代，双核、四核、八核、十核就是带动性能的最佳方式。用AI芯片这种硬件思路面对所有用户问题，同样是最简单、最直接、最干脆也最有效，但也需要技术积累的作法。

1、手机相机成像的整体升级

手机相机CMOS有个核心参数，是CMOS的整体尺寸，俗话说“底大一级压死”，好的旗舰机Sensor像素尺寸≥1.55μm，大底往往在暗光环境中可以捕捉到更多信号，画面更纯净，噪点也更少，夜晚表现往往非常突出。目前市场上符合这一标准的传感器有MIX586，MIX378，MIX380等。

大底当然也有坏处——它需要处理的数据更多。过去原本做ISP影像处理的相机DSP在Sensor像素尺寸≥1.55μm的大底上就会显得相对吃力，容易导致相机发热，功耗增加。除非手机性能真的足够强劲，才能带得动≥1.55μm的大底。

（高通骁龙845的图像处理策略）

未来≥1.55μm的大底必然是中高端手机的标配，想要施展人工智能的作用，必须要有强大的AI性能支撑。同时，芯片上的ISP带来强劲图像处理能力可以提升画质表现。联发科提出的“真AI相机”概念：CMOS Sensor传感器像素≥1.55μm，AI性能跑分≥21000分，Imagiq 三核ISP技术，三个指标加持，才是“真AI相机”，的确是保障手机AI相机的功能性和成像表现的基础。

联发科Helio P90的三核ISP技术带来了强劲的图像处理能力，可以提升画质表现，能够轻而易举带动≥1.55μm的大底。所以你可以看到，2018年年末，高通在骁龙720以及骁龙855上都加入了NPU模块，目的就是跟上行业潮流。

2、短视频、直播创作的风潮

短视频、直播的风潮同样在侧面壮大了AI芯片派。2018年，互联网行业最热的概念除了AI，就是短视频——抖音、快手、微博、微信都在加强短视频功能。用户通过短视频创作内容、分享生活已经成了一股潮流。短视频社交甚至也在成为巨头们发力的方向。今日头条推出了多闪，微信则是在推出即刻视频。

不过，我们不得不说，现在大部分视频都是“AV画质”。不仅分辨率不够高，画面抖动也太厉害。原因就在于大部分手机的摄像头没办法处理如此大体量的数据，而且受到了网络带宽的影响。

随着2019年5G手机的发布，未来用户使用短视频的需求只会愈加庞大。芯片厂商也不得不跟进——加上了专门的摄像头AI处理单元。

像联发科Helio P90这样的处理器，因为具备AI智能ROI区域侦测技术，可以实现重点区域编码，提升视频码率和压缩质量，直播画面时可以更清晰。在多个直播平台都有明显的画面质量提升。5G时代即将到来，视频必将是内容层面的主流趋势，这项技术抓住了视频平台的痛点。

我们可以断言，2019年-2020年，AI处理单元的视频处理能力会成处理器标配。

3、相机的玩法越来越丰富多样

事实上，相机的玩法也越来越多样丰富，比如说苹果的FaceID和Animoji等一系列功能。甚至连百度输入法之类的第三方软件也在安卓机上照搬Animoji。

Animoji的原理是通过一个ARKit应用来记录实时更新的面部网格。使用深度映射来绘制脸部的二维纹理。最终的效果十分逼真，模仿出3A级游戏中的那种动画效果。玩过3A级游戏的用户都知道，游戏画面渲染对处理器要求非常高。挪到手机上拍摄时同样如此——这对相机处理的能力要求也极高。

另外，安卓厂商还在探索其他玩法，比如实时虚拟化身、实时多物识别、焦点直播、人像留色、人脸侦测、AI降噪抓拍、AI降噪夜拍——这些都需要芯片级的AI处理能力来支撑，联发科 P90这样的处理器恰恰具备这些功能，能够过往旗舰机上才具备的功能，搬运到中高端手机上，让大众都能享受这些玩法。

三

新的超车赛道

过去芯片处理器市场是个简单的上下游关系——上游处理器厂商供货，下游手机厂商采购。在这种关系之中，处理器厂商往往掌握了话语权，一款芯片采购量、采购价，基本都是由处理器厂商说了算。

但是在今天，处理器的CPU+GPU性能已经不再是评价一款芯片的唯一因素。在处理器甚至还要考虑AI处理器的性能。

像在AI Benchmark上的跑分中：麒麟980为21526分，联发科Helio P90为25645分，刚刷新的高通骁龙855为27356分，位居榜首。

可以说，AI芯片正在成为处理器战场的超车赛道。过去芯片厂商在和手机厂商的关系，在生态链中的地位是绝对领头羊，掌握了垄断式的话语权。但现在已经不是单个厂商自娱自乐，控制CPU、GPU性能就能左右手机厂商时代了。

因为芯片厂商不仅仅需要根据手机厂商的需求去提升AI算法、算力，还需要和互联网巨头以及人工智能公司合作，推进AI的生态发展。因为很多AI应用也需要处理器厂商和第三方互联网厂商共同合作实现。

比如说AI处理器的人体姿态识别这样的技术，并不是靠处理器厂商一家实现的，它需要旷视这样的厂商作支撑。旷视科技就和芯片厂商共同合作开发出了包含安全人脸识别解锁、先进影像处理、单镜头背景虚化、智能物体以及手势识别、智能相册分类等AI 应用。

在类似这样的合作中，产业链是个相对平等互动、携手共进的关系，它更像是一个开放合作的生态，而不是过去垄断打压的一言堂。真AI相机，并不是靠一家厂商自己闷头开发而成的，而是更多厂商共同合作、对接、制定标准形成的。联发科在这方面恰恰比一些垄断性巨头姿态更平，做得更好。

垄断、霸权，在AI产业链与手机芯片日益融合的环境下，对用户、对自身并没有太多好处，甚至还在阻碍行业的进步。开放、合作，才是保持行业进步的动力。

文章来源: https://www.toutiao.com/group/6650000707690693124/