一文了解“工业相机”

2019-08-07 22:10发布

站内文章 / 移动开发

71 0

女 | 书童

私信

据麦姆斯咨询介绍，典型的机器视觉系统主要由光源、镜头、工业相机、图像采集卡或图像处理器，以及控制输出单元等硬件构成。其中，工业相机是机器视觉系统最核心的组件，其本质的功能就是将光信号转变成为有序的电信号，再将该信号模数转换并送到处理器后以完成图像的处理、分析和识别。选择合适的工业相机是机器视觉系统设计的重要环节，工业相机类型不仅直接决定所采集到的图像分辨率、图像质量，同时也与整个系统的运行模式直接相关。

工业相机有多种分类方法，比较常见有：按感光芯片的类型分CCD（电荷耦合器件）和CMOS（互补金属氧化物半导体），根据输出色彩分为黑白和彩色，按像元的排列方式可分为线阵和面阵，按成像维度可为二维（2D）和三维（3D）等。本文将针对这四类分法，研究和讨论工业相机的基本原理及技术发展。

1. 工业相机与普通数码相机的差异

图1 工业相机与普通数码相机

机器视觉的主要目的是代替人眼来做测量和判断，所以工业相机通常被安装在工厂快速运转的流水线上，在一些不适于人工作业的危险环境或者人眼视觉难以满足要求的场合。虽然在成像原理方面，工业相机与普通数码相机相差无几，但为满足工业检测特殊需要，工业相机具有较高的图像稳定性、高传输能力和高抗干扰能力等特点，在拍摄速度、精度和可重复性等方面，都远胜于普通数码相机，而且价格也高很多，堪称相机中的“高富帅”。

表1 工业相机和普通数码相机的比较

2. CCD相机和CMOS相机

图像传感器是工业相机的核心感光元件，当前图像传感器主要分为电荷耦合器件（Charge Coupled Device，CCD）和互补金属氧化物半导体（Complementary Metal Oxide Semiconductors，CMOS）两种。

CCD和CMOS图像传感器感光原理类似，基本上都是利用感光二极管（photodiode）进行光与电的转换，将图像转换为数字信息，它们的主要差异在数字信号传送方式的不同。如图2所示，CCD图像传感器每一行中每一个像素（pixel）电荷信号都会依序传送到下一个像素中，由最底端的部分输出，再经由传感器边缘的放大器进行放大输出；而在CMOS图像传感器中，每个像素都会连接一个放大器及模数转换电路，用类似内存电路的方式将信号输出。正是因为结构和工作原理的差异，导致CCD和CMOS图像传感器具有不同的特性。CCD图像传感器在灵敏度、分辨率，以及噪声控制等方面均优于CMOS图像传感器，CMOS图像传感器则具有低成本、低耗电以及高整合度的特性。

图2 CCD和CMOS图像传感器芯片结构

随着CCD与CMOS图像传感器制造技术的不断进步，两者的差异正在逐渐缩小，例如CCD图像传感器不断降低耗电量，以期应用于移动通讯市场，例如近年来基于CCD的ToF图像传感器进入市场；CMOS图像传感器则持续提升分辨率与灵敏度，以期应用于更高级的影像产品市场。虽然业界普遍认为CMOS取代CCD是必然趋势，在2015年CCD图像传感器的主要制造商索尼公司（Sony）甚至发布了其终止量产CCD的时间表。不过目前来看，很多工业或专业应用领域基于CCD图像传感器技术仍占据重要地位，在相当长的一段时间内，两者应该是共存的关系。其实，CMOS图像传感器的最大的优势是能够与图像采集和信号处理等功能集成实现片上系统（SoC），随着机器视觉系统从基于PC的板级式视觉系统向能嵌入更多功能、更小型的智能相机系统发展，CMOS图像传感器必将成为最后的赢家。

3. 黑白相机与彩色相机

无论是CCD还是CMOS图像传感器，其原理都是将光子转换为电子，其中光子数目与电子数目成比例。对每个像素，统计其电子数目就形成反映光线强弱的灰度图像，也就是说CCD和CMOS图像传感器是“色盲”，不具备辨色的能力，只能形成黑白图像，如图3（左）。

左：黑白模式；中：三棱镜模式；右：拜尔滤波片模式

图3 不同色彩模式的工业相机

为了获得彩色图像，通常使用三棱镜或滤光片的方法采集颜色信息。三棱镜模式：采用三棱镜将射入的光分成三束，每束光都由不同的内置光栅来过滤出某一种三原色，然后使用三块CCD分别感光，如图3（中）。然后再将这三张图像合成一张高分辨率、色彩精确的图像。由于该方法需要三块感光芯片，造价比较昂贵。

如果考虑到价格因素，柯达的拜尔（Bayer）提出了一种廉价的折中方案：只用一块图像传感器，就解决了颜色的识别。他的做法是在图像传感器前面，设置一个滤光片，上面布满了滤光点，与下层的像素一一对应。如图3（右），Bayer滤光片上的滤光点的排列是有规律的：每个绿点的四周，分布着2个红点、2个蓝点、4个绿点。由于人眼对绿色最为敏感，所以绿色是红、蓝的两倍。由于每个滤光点只能通过红、绿、蓝之中的一种颜色，但是在输出时，所有像素都应该有这三种颜色的信息，被滤除的两种颜色分量值在后期的算法处理中通过插值法来补回。

Bayer滤光片的方法显著优点在于它能节省成本，当前绝大多数彩色相机都采用此项技术。不过，黑白相机采集的是所有波长的光子，而Bayer彩色相机仅接受RGB三个波段的光子，并且会做一个去马赛克的邻域平均操作，因此无论是光通量还是细节表现均弱于灰度相机，如图4，对比了彩色相机与黑白相机在相同环境下的成像。所以，如果不需要颜色作为检验需求时，工业相机一般选择黑白相机，因为在拥有相同的分辨率前提下，黑白相机精度更高。

图4 彩色相机成像细节（左）；黑白相机成像细节（右）

4. 线阵相机和面阵相机

工业相机根据像元的排列方式可分为线阵相机和面阵相机，线阵、面阵相机都有各自的优点和缺点，适用于不同应用环境。

图5 面阵相机（左）与线阵相机（右）

线阵相机，顾名思义是被测视野呈“线”状，它的传感器通常只有一行感光元素，以“线”扫描的方式连续拍照，再合成一张巨大的二维图像。在某些应用中，如高频扫描和高分辨率的场合，相比面阵相机，线阵相机具有特定的优势。举例来说，如图6，检测圆形或柱形物品时，可能需要使用多台面阵相机，才能覆盖到物品的整个表面。但如果我们将物品置于一台线阵相机前面，然后旋转物品，通过这种方式将图像展开，我们可以采集到整个表面的图像。而且，线阵相机也更容易安装到狭小的应用空间，比如在相机必须通过输送带上的滚轴来查看物品底部的情况。另外，相比传统面阵相机，线阵相机通常也能够提供更高的分辨率。由于线阵相机需要物品进行运动来创建图像，它们通常非常适合用于检测处于连续运动状态的产品。

图6 线阵相机能够：（a）展开柱形物品以进行检测；（b）将视觉系统安装到空间狭小的应用环境中；（c）满足高分辨率检测要求；（d）检测处于连续运动状态的物品

相比线阵相机，面阵相机是以“面”为单位来进行图像采集，面阵相机的传感器拥有更多的感光像素，以矩阵排列。面阵相机可以一次性获取完整的目标图像，比线阵相机具有更快的检测速度。大多数常见的检测相机都基于面阵扫描，包括测量面积、形状、尺寸、位置，甚至温度，不过面阵相机每行的信息没有线阵多，帧幅率有限。相机像素通常用万为单位表示，以矩阵排列，比如1百万像素相机的像素矩阵为W x H（宽 x 高）=1000 x 1000。相机的分辨率是指一个像素表示实际物体的大小，用um x um表示，数值越小，分辨率越高。分辨率是由选择的镜头焦距决定的，同一种相机，选用不同焦距的镜头，分辨率就不同，如图7。在表现图像细节方面，不是由相机的像素多少来决定的，而是由分辨率决定的。同等分辨率条件下，像素越多，可以成像的区域面积越大。虽然清晰度并不是由像素决定，但是像素大的相机，可以减少拍照次数，从而提高了速度。

图7 同一种相机，选用不同焦距的镜头，分辨率就不同

5. 从平面（2D）走向立体（3D）

无论线阵相机还是面阵相机都只能实现2D成像，缺乏深度的信息，随着检测精度和应用场景复杂度的增加，2D相机越来越难堪重任，可以测量距离和进行三维建模的3D相机应运而生。随着3D视觉技术不断突破，3D相机在精度、速度和灵活度方面远超2D相机，在许多传统视觉“痛点性应用场景”中大显身手。

图8 2D检测和3D检测的差异比较：2D检测根据灰度信息进行外观尺寸的检测和识别，而3D检测则利用包含高度信息在内的（XYZ坐标）条件进行检测辨别

根据测量原理不同，主流的3D相机一般有三种方案：飞行时间法、结构光法、双目立体视觉法，简单介绍如下：

（1）飞行时间是从Time of Flight直译过来的，简称ToF。其测距原理是通过连续发射经过调制的特定频率的光脉冲（一般为不可见光）到被观测物体上，然后接收从物体反射回去的光脉冲，通过探测光脉冲的飞行（往返）时间来计算被测物体离相机的距离，见图9。

图9 飞行时间测距原理

（2）结构光法就是使用提前设计好的具有特殊结构的图案（比如离散光斑、条纹光、编码结构光等），将图案投影到三维空间物体表面上，使用另外一个相机观察在三维物理表面成像的畸变情况。如果结构光图案投影在该物体表面是一个平面，那么观察到的成像中结构光的图案就和投影的图案类似，没有变形，只是根据距离远近产生一定的尺度变化。但是，如果物体表面不是平面，那么观察到的结构光图案就会因为物体表面不同的几何形状而产生不同的扭曲变形，而且根据距离的不同而不同，根据已知的结构光图案及观察到的变形，就能根据算法计算被测物的三维形状及深度信息，见图10。

图10 结构光测距原理

（3）双目立体视觉法仿人眼成像原理，通过计算空间中同一个物体在两个相机成像的视差得到物体离相机的距离，其算法也是根据三角关系计算，见图11。

图11 双目视觉测距原理

这三种3D视觉方案在检测距离上、精度、检测速度各有优缺点，适用于不同的应用场景，目前处于三国鼎立之势，如表2。结构光方案优势在于技术成熟，深度图像分辨率可以做得比较高，但容易受光照影响，室外环境不适宜使用；ToF方案抗干扰性能好，视角更宽，不足是深度图像分辨率较低，主要用于简单避障和视觉导航，不适合高精度场合。双目方案，成本相对前两种方案最低，但是深度信息依赖纯软件算法得出，此算法复杂度高，难度很大，处理芯片需要很高的计算性能，同时它也继承了普通RGB摄像头的缺点：在昏暗环境下以及特征不明显的情况下并不适用。当然这三种方案在发展过程中也有一些互相融合趋势，如主动双目+结构光，取长补短，使3D相机能适应更多的场景。也有一些场合可同时使用，如智能手机前置基本确认会采用结构光来做人脸识别，但是后置用来做增强现实（AR）应用，结构光和ToF方案都有应用机会。

表2 3D视觉方案优缺点比较

纵观机器视觉的发展，主要经历了从黑白到彩色、从低分辨率到高分辨率、从静态到动态、从2D走向3D演变过程，工业相机作为核心硬件，其技术的迭代变化也是遵循相应的发展。随着工业自动化以及机器视觉应用领域多元化发展，工业相机市场也随着机器市场的火热而水涨船高。虽然目前高分辨率、高速等高端工业相机技术还主要掌握在国外大厂手中，包括基恩士、康耐视、Basler、AVT、Teledyne DALSA等，不过随着国内相机厂商技术的不断积累和突破，国产工业相机品牌也开始从低端市场开始逐步取代进口，如大恒图像、华睿科技等。我们相信随着全球制造中心从欧美向亚洲转移，中国从制造大国向制造强国的升级和转型过程，在市场和政策利好的背景下，这对中国的工业相机厂商而言，正是突破和迎头赶超的好时机。