10月27日，由雷锋网 & AI掘金志主办的「全球AI芯片·城市智能峰会」，在深圳大中华喜来登酒店盛大召开。

延续雷锋网(公众号：雷锋网)大会一贯的高水准、高人气，「全球AI芯片·城市智能峰会」以“城市视觉计算再进化”为主题，全面聚焦城市视觉与城市算力领域，是业内首个围绕“算法+算力”展开的大型智能城市论坛。

峰会邀请到了极具代表性的14位业内知名专家，世界顶尖人工智能科学家、芯片创业大牛、产业巨头首席技术高管、明星投资人齐聚，为行业资深从业者们分享前瞻的技术研究与商业模式方法论。

其中，苏州科达首席科学家、前博通图像事业部资深科学家章勇作为下午场的第五位演讲嘉宾登台，围绕《AI超微光技术与边缘算力选择》这一主题发表了精彩演讲。

章勇表示，目前深度学习技术主要应用于模式匹配和图像识别，例如人脸识别、车辆特征提取、视频结构化等。而科达则将这种深度学习技术应用到前端传感器图像增强处理技术领域，直接对前端图像传感器输出的裸数据进行图像恢复，最大化还原低照度环境下的实际图像效果。

这种处理技术的好处是，它突破了传统摄像机中ISP技术的局限性。目前ISP由数十个图像处理模块组成，数百个参数需要人工根据经验进行调整，不仅费时费力，而且由于传统算法的局限性，难以在低照高噪声的情况下显示出图像中有用的信息。而AI超微光技术对传感器数据直接进行处理，运用神经网络完成输入图像到输出图像端到端的非线性映射。不仅如此，相对于增强补光，以及多目多光谱设计的硬件解决方案，独创的深度学习图像增强算法，可在大幅减少卡口对补光灯的依赖的条件下，提升图像亮度，且充分还原物体颜色与纹理等细节信息。

另一方面，这项技术也对边缘侧芯片的算力提出了巨大挑战。面对市场上琳琅满目的芯片，科达结合超微光技术的场景特点，提出了六项边缘算力芯片的筛选标准————模型运行评分、工具链有效性、灵活性、成本、非AI功能、TOPS/W。

依托于精简优化的算法和所选择的边缘算力，苏州科达创新性地完成了AI超微光在边缘侧的实现任务，已经形成了产品系列并申请了多项专利。

以下是章勇的全部演讲内容，雷锋网做了不改变原意的整理与编辑：

很荣幸有机会跟大家分享我们的新技术——AI超微光技术。

我今天的演讲要从摩尔定律开始讲起。摩尔定律说的是，集成电路上可容纳的元器件数目每隔18-24个月就会增加一倍。其实AI界也有一个摩尔定律，是由IBM和UIUC的两位学者提出的，说的是Xiv.org上的人工智能相关论文数量每隔18-24个月会增加一倍。今年6月份我去美国参加CVPR，在会场看到了CVPR论文的统计，发现它确实符合这个规律，2019的CVPR论文数呈现了倍增的趋势。

最近我们时常听到一些关于AI的悲观论调，认为现在的AI是伪AI。但从学术界的趋势来看，我们有理由坚信AI将在不远的将来迎来持续爆发。

在人工智能落地的诸多领域中，视频监控无疑是最成功的。视频监控的发展经历了四个阶段，从2005年以前的模拟视频监控时代，经过网络数字监控时代和高清数字监控时代，最终在2015年步入了人工智能的新纪元。

过去五六年，苏州科达每次参加安博会的主题都和AI紧密相关，今年我们的主题是“AI实战派”。这也从侧面说明AI已经在视频监控领域生根发芽了。

那么，AI可以为视频监控做些什么呢？概括来说，它可以用先进的深度学习算法——比如检测、分类、回归、跟踪算法，衍生出对应的视频监控应用，比如人员属性、车辆属性、视频结构化等。人员属性包括人脸识别、人像检测、年龄识别、性别识别等；车辆属性包括司乘人脸、车窗检测、挂件检测等等；视频结构化则可以把人、车、道路的关系用语义的方式描述出来。

刚才说到的这些应用，基本都属于图像理解和图像分析的范畴，是计算机视觉里的高层视觉和中层视觉任务，其主要目的是对图像进行分析，提取里面的语义。相比之下，低层视觉任务过去在视频监控领域的应用并不多。这次安博会，苏州科达带来的主要技术突破——AI超微光技术，本质上就是一项用AI加持的低层图像处理技术。具体来说，它是一项基于深度学习算法，在边缘侧实现低照度图像增强的技术。

为什么我们把低照微光作为AI的主要应用场景呢？因为低照微光是视频监控领域的一大痛点。摄像机的成像原理与人眼类似。人眼成像要先有光源照射在目标物体上，光线被反射进入人眼视网膜成像。监控摄像机也是同样的道理，反射光进入镜头后由图像传感器进行光电转化，经过ISP处理，最终将图像展现在我们面前。不难发现，照度是成像的关键。我们常说伸手不见五指，太黑了人眼看不清，其实太黑了摄像头也拍不出来。

视频监控有一个特点，光天化日之下发生违法犯罪事件的概率非常小，大部分有用的视频监控信息都是在光线不好的时间段采集的。因此低照成像技术的应用场景非常广泛，包括平安城市、雪亮工程、酒店、住宅小区等等。几乎所有视频监控摄像机都会注明它的低照度指标，这说明低照度是视频监控摄像机的基本特性。

摄像机成像的过程中有许多噪声如影随形，包括热噪声、电流噪声、空间噪声等等。如果图像信号很弱，噪声很强——也就是信噪比很低，图像就会完全淹没在噪声里。比如下面这页ppt中的图片，左边的图片还能看清是一个小伙子，右边的图片就完全看不清了，毫无价值。所以监控的重点不是拍到而是拍清，要给人家有用的信息，能分析出里面的具体内容。

那么，我们怎来解决低照监控的问题呢？最简单的办法，既然光线不足，那我强化补光就是了。但这样一来也造成了很严重的光污染，对此相信大家都深有体会，比如晚上开车回家的时候被爆闪灯晃得睁不开眼。除了用户体验差，这种做法也很浪费资源，会增加系统的开销，因为每个摄像机旁边都要装一个灯，非常可怕。

第二种做法是堆叠摄像机硬件。几年前有一个技术特别热门，叫做超星光技术，它的做法是采用超大光圈和高灵敏度的传感器。这项技术的缺陷在于，超大光圈会影响拍摄的景深。在摄影领域，超大光圈可以产生一些特殊的艺术效果，但对视频监控来说它却是负面效果。此外，高灵敏度传感器原来是用在军事领域的，将它迁移过来无疑会大幅推高设备的成本。

这个做法下还有一个分支，叫做黑光技术，是前两年大家非常追捧的新技术。它采用的是多目融合的技术，通过两个镜头分光，或者一个镜头里有两个传感器，对可见光和红外光进行多光谱融合。这也带来了三点问题：一是成本增加；二是两条光路融合，必然会导致分辨率下降；三是它无法拍摄红外反光比较强烈的物体，也无法穿透红外透光率低的玻璃。最后一点问题非常严重，因为现在绝大多数人为了隔热都会在车窗上贴膜，它的作用实际上就是防红外穿透。

第三种做法是通过复杂的ISP提高图像质量。传统方法是提高ISP数字增益，提高图像亮度，但数字增益不区分图像信号和噪声，把噪声也加大了，所以基本没什么用。还有一种方法是放慢快门速度，但这样一来就没办法捕捉高速运动的物体了，而现实中我们需要捕捉的又往往是高速运动的车辆和人，所以这个方法也行不通。还有就是各种各样的降噪算法，比如空间和时域的降噪。这些算法本身挺好，但遇到低照的情况，由于信噪比太低，它在过滤噪声的同时也会把图像信号过滤掉，结果就是图像非常模糊。

正是因为存在这样或那样的痛点，我们开始思考能不能把AI用到低照监控当中来。

摄像机ISP是一个从输入图像到输出图像的非线性映射，我把它描述成f(x)，也就是一个二维的函数。我们知道，深度学习网络对非线性函数有很好的逼近能力：首先，它的网络非常深非常复杂；其次它的每个神经元里都有若干个加权函数，同时精密函数也是非线性的。所以我们采用了这样一个方法，即对低照度场景进行有监督的深度学习训练，让神经网络在传感器输出的数据中自动寻找并增强图像中的有用信息。这个想法非常好，我们尝试后也发现，它在算法模拟上是可以成功的。

整个处理流程大致是这样的：前面输入的过程不变，光线经过普通的镜头和传感器完成光电转换后，用深度神经网络代替原来的ISP，把bayer图像输入到这个深度神经网络后，输入的就是人眼想看到的ISP图像。这种做法还带来了一个附加的好处，因为现在ISP已经进入了完全不可知的领域，它里面有数百个模块，每个模块又有非常多的参数要调整，完全是ISP工程师靠经验堆叠起来的，所以ISP工程师非常值钱，而我们的方案可以省略对ISP参数的调整。

这个想法虽然很好，但在边缘端实现起来还是会对算力提出非常大的挑战。一般的图像分析和理解任务，首先要对图像进行裁剪和缩小，缩小到24×24或者300×300像素。也就是说输入神经网络的都是经过大幅度缩小的图片，输出的则是提取出来经过编码的特征。

在AI超微光任务中，需要对逐个像素进行操作，而且图片通常是1080P、4K甚至1200W像素的，同时我们还要对每个颜色通道进行处理，输出的数据是输入的三倍。因此，AI超微光任务对算力和存储都提出了非常高的要求。此外，这个过程是在边缘端实现的，还面临着成本和功耗上的限制，所以选择一颗合适的边缘侧算力芯片至关重要。

面对市场上琳琅满目的芯片，我们不禁陷入了困惑，到底该怎么选择呢？有几个参考指标：

最后给大家展示一下AI超微光的效果。

大家看下面这页ppt，左边图片中的灯光参数非常亮，右边则换成了比较弱的补光，两张图片都是在卡口场景。但是我们看拍出来的图片，左边图片是看不见车里的人的，因为有防透膜，右边则可以清楚地看到人脸并进行人脸识别。

下面这页ppt是夜景，左图的灯非常亮，右图的灯实际比路灯还暗。我们可以看一下夜间抓拍的效果，左图中的行人基本已经看不见了，而右图中的行人经过超微光技术增强后清晰可见。因此超微光技术在夜间的应用有着非常重要的价值。

最后来看看人员卡口场景。下面ppt中左边这一组是传统人员卡口和超微光技术的对比。小区如果有非常亮的补光灯，是一件令人头疼的事情。我们可以看到，传统人员卡口的卡噪点多、图像暗，基本看不清楚，右边用了超微光技术后就清晰多了。

右边这一组是黑光技术与超微光技术的对比，两张图的明暗程度完全不一样。右边用了超微光技术，不需要很强的补光就可以把人脸恢复的非常清晰。

我的分享就到这里，希望大家有时间到我们展台来看看AI超微光这款新品。 谢谢大家！