机器视觉那些事

原创

EatRice

修改于 2025-04-09 11:23:57

760

导言

经常“打螺丝“的”吃席“观众就会发现，你看这个手机屏幕有没有划痕、这个构件有没有缺陷，要左手拿个电灯，右手拿起这个物品，反复的看反复的摸，大概耗时一分钟以上，一坤时以下，这个物品就被你”品鉴“出来了。如果后面”老板“发现还有被你遗漏的问题，”两电炮“是难免的。就像那句话：使卵石臻于完美的，并非锤的打击，而是水的且歌且舞，真正推动变革的并非被动应付，而是主动求索的精神，追求效率的操作者，为突破人工检测的局限，摸索出了机器视觉这个东西。

不能再水了，再水你们要给作者我”两电炮“了。下面就介绍机器视觉是什么，怎么用，以及后续相机像素和镜头选型（没有推荐广告，放心食用）。

1. 机器视觉是什么

机器视觉是通过光学的、非接触的传感器自动地获取和解释处理一个真实物体的图像以获取所需信息或用于控制机器运动或过程。不少人会把计算机视觉（cv）等同于机器视觉，其实不然。计算机视觉更多注重图像信号本身的研究以及和图像相关的交叉学科研究，而机器视觉在其基础上还需要考虑机器的运动等更加现实的问题。

2. 机器视觉系统的核心组成

机器视觉系统主要包含：图像采集、图像处理、特征提取、判决和控制。具体如下图可以看到，流水线设备将构件推送到摄像头视野内，通过一定间隔时段拍照、上传、后台处理、条件判断，最后控制流水线部分单元开关。

3. CCD与CMOS差异

CCD与CMOS是两种不同的感光器件作为相机的主要组成部分，以下描述了两者之间的差异。

4. 相机像素及镜头选型案例

实际场景下，需要对特定大小的构建，规定的工作距离下选择相机像素大小，本文通过引入”一个 100×100 毫米的产品在 50 厘米工作距离下的测量需求“为例进行案例分析（具体看下方详细内容）。

结尾

这篇文章旨在帮助想要学习机器视觉，但却不知道如何了解该领域的同学，或具有一定经验的工程师进行细节了解。如果你对机器视觉感兴趣，想了解更多技术细节，可以阅读下面详细细节或在欢迎在评论区留言。

机器视觉那些事

机器视觉

机器视觉（MV,Machine vision）技术涉及数字图像处理技术、模式识别、自动控制、光源和光学成像知识、模拟与数字视频技术、计算机软硬件和人机接口等多学科理论和技术1。美国制造工程师协会(SME,Society of Manufacturing Engineers)机器视觉分会和美国机器人工业协会(RA,Robotic Industries Association)的自动化视觉分会对机器视觉的定义：“机器视觉是通过光学的、非接触的传感器自动地获取和解释处理一个真实物体的图像以获取所需信息或用于控制机器运动或过程”。因此由于视觉传感的检测方法以其可靠性高、无接触、包含信息丰富等优势得到了学术界和工业界的广泛关注。

机器视觉和计算机视觉的区别

计算机视觉和机器视觉是有一定区别的2。机器视觉虽然在学科分类上与计算机视觉认定为人工智能领域，但机器视觉更多的专注于广义的图像信号处理（激光、摄像头）和自动化控制（生产线）方面的应用。而对于计算机视觉更多注重图像信号本身的研究以及和图像相关的交叉学科研究（医学图像分析、地图导航）。因此在向机器视觉学习的过程中还需要继续学习集成控制、物理学、图像获取（摄像学，影像学）、生物学、数学、机器学习。

机器视觉可能涉及到的学科，图源《Wikipedia 维基百科》

计算机图像处理在检测手段的分类

基于视觉传感的检测方法主要可分为基于显示特征提取的检测方法和基于深度学习的检测方法。

基于显式特征提取的检测方法一般遵循图像预处理、特征提取、特征选择、特征分类的技术路线。在图像预处理阶段主要是对图像进行滤波、增强和边缘检测等操作。在特征提取阶段主要是从几何、色彩和梯度空间提取的尺寸、像素和纹理特征。在特征选择阶段主要通过主成分分析、独立成分分析等算法对特征维度进行降维。在特征识别阶段主要通过支持向量机、逻辑回归和感知机等方法对特征模式进行识别，进而完成的分类。由于基于显式特征提取的检测方法其特征识别的全过程由人工设计，然而，过高的人工参与程度导致无法充分利用大样本数据的信息，使分类识别效果的优劣严重依赖专家水平。同时，复杂的模型往往导致难以实现全局最优3。

近年来随着深度学习与计算机视觉的融合，使得机器视觉在检测能力上进一步得到了提高。简单来说，深度学习最常见的应用场景包括：

图像分割4：把图像拆分成多个“块”——每个块里的像素在性质上是相似的，比如同一个零件或同一种颜色，从而方便后续的精细识别。
图像分类5：给图像打“标签”——在工业领域，这往往用于区分产品是否有瑕疵，或区分不同类别的缺陷类型。通过这两种方法，我们能让机器“看懂”图像中哪里需要关注、哪里需要标注，进一步提升检测的准确度和效率。

机器视觉系统

一个完整的机器视觉系统的主要工作过程如下:

工件定位传感器探测到物体已经运动至接近摄像系统的视野中心，向图像采集单元发送触发脉冲;

图像采集单元按照事先设定的程序和延时，分别向摄像机和照明系统发出触发脉冲;摄像机停止目前的扫描，重新开始新的一帧扫描，或者摄像机在触发脉冲来到之前处于等待状态，触发脉冲到来后启动一帧扫描;
摄像机开始新的一帧扫描之前打开电子快门，曝光时间可以事先设定;
另一个触发脉冲打开灯光照明，灯光的开启时间应该与摄像机的曝光时间匹配;
摄像机曝光后，正式开始一帧图像的扫描和输出;
图像采集单元接收模拟视频信号通过AD将其数字化，或者是直接接收摄像机数字化后的数字视频数据;
图像采集单元将数字图像存放在处理器或计算机的内存中;
处理器对图像进行处理、分析、识别，获得测量结果或逻辑控制值;
处理结果控制生产流水线的动作、进行定位、纠正运动的误差等。

归纳起来机器视觉系统包含以下内容：

①图像采集:光学系统采集图像，图像转换成数字格式并传入计算机存储器。

②图像处理:处理器运用不同的算法来提高对检测有重要影响的图像像素。

③特征提取:处理器识别并量化图像的关键特征，例如位置、数量、面积等。然后这些数据传送到控制程序。

④判决和控制:处理器的控制程序根据接收到的数据做出结论。例如:位置是否合乎规格，或者执行机构如何移动去拾取某个部件。

视觉传感器（图像获取）**

广义的视觉传感器主要由光源、镜头、图像传感器、模数转换器、图像处理器、图像存储器等组成。

狭义的视觉传感器是指图像传感器,它的作用是将镜头所成的图像转变为数字或模拟信号输出，是视觉检测的核心部件，主要有CCD图像传感器和CMOS图像传感器。

1. CCD图像传感器

CCD (Charge-Coupled Device）中文全称为电荷耦合元件。CCD图像传感器主要是由一个类似马赛克的网格、聚光镜片以及垫于最底下的电子线路矩阵所组成,其外形如图所示。

2. CCD相机外形及构造

CCD是一种特殊的半导体器件，能够把光学影像转化为数字信号。CCD上植入的微小光敏物质称作像素。一块CCD上包含的像素数越多，它提供的画面分辨率也就越高。CCD的作用就像胶片一样，但它是把光信号转换成电荷信号。CCD上有许多排列整齐的光电二极管，能感应光线，并将光信号转变成电信号，经外部采样放大及模数转换电路转换成数字图像信号。

由于CCD 的体积小、成本低，所以广泛应用于扫描仪、数码相机及数码摄像机中。目前大多数数码相机采用的视觉传感器都是CCD。

3. CMOS图像传感器

CMOS(ComplementaryMetal-Oxide Semiconductor)中文全称为互补性氧化金属半导体。CMOS图像传感器是利用CMOS工艺制造的图像传感器，主要利用了半导体的光电效应，和CCD的原理相同，其外形如图所示。

CMOS图像传感器与CCD图像传感器一样，可用于自动控制、自动测量、摄影摄像、视觉识别等各个领域。

4. CCD和CMOS图像传感器差异

CCD和CMOS图像传感器具有以下差异。

制造上的差异CCD和CMOS同为半导体，但CCD是集成在半导体单晶材料上;CMOS是集成在金属氧化物的半导体材料上。
工作原理的差异；主要区别是读取视觉数据的方法，CCD从阵列的一个角落开始读取数据;CMOS对每一个像素采用有源像素传感器及晶体管，以实现视觉数据读取。
视觉扫描方法的差异CCD传感器连续扫描，在最后一个数据扫描完成之后才能将信号放大;CMOS传感器的每个像素都有一个将电荷转化为电子信号的放大器。
感光度的差异 CMOS每个像素包含了放大器与A/D转换电路，过多的额外设备压缩单一像素的感光区域的表面积，因此在相同像素下，同样大小之感光器尺寸，CMOS的感光度会低于CCD。
分辨率的差异 CMOS每个像素的结构比CCD复杂，其感光开口不及CCD大，相对比较相同尺寸的CCD 与 CMOS感光器时，CCD感光器的分辨率通常会优于CMOS。
噪声的差异 CMOS每个感光二极管旁都搭配一个ADC放大器，如果以百万像素计，那么就需要百万个以上的ADC放大器，虽然是统一制造下的产品，但是每个放大器或多或少都有微小差异存在，很难达到放大同步的效果，对比单一个放大器的CCD，CMOS最终计算出的噪声就比较多。
成本的差异 CMOS 应用半导体工业常用的MOS制程，可以一次将全部周边设施整合于单芯片中，节省加工芯片所需负担的成本和良率的损失;相对地，CCD采用电荷传递的方式输出信息，必须另辟传输信道，如果信道中有一个像素故障，就会导致一整排的信号壅塞，无法传递，因此CCD的良率比CMOS低,加上另辟传输通道和外加ADC等,CCD的制造成本相对高于CMOS。
耗电量的差异 CMOS 的影像电荷驱动方式为主动式,感光二极管所产生的电荷会直接由旁边的晶体管做放大输出;但CCD却为被动式，必须外加电压让每个像素中的电荷移动至传输通道。而这外加电压通常需要12V以上，因此CCD还必须要有更精密的电源线路设计和耐压强度，高驱动电压使CCD的电量远高于CMOS。

用以下表格对两者差异进行比较。

对比维度	CCD（电荷耦合器件）	CMOS（互补金属氧化物半导体）
制造材料	集成在半导体单晶材料上	集成在金属氧化物半导体材料上
工作原理	从阵列角落顺序读取电荷信号（被动电荷转移）	每个像素通过有源像素传感器（APS）主动输出信号
扫描方式	连续扫描，信号放大在扫描完成后统一处理	每个像素独立放大电荷信号（并行处理）
感光度	像素结构简单，感光区域占比大，感光度较高	像素集成放大器与A/D电路，感光区域压缩，感光度较低
分辨率	感光开口较大，相同尺寸下分辨率更优	像素结构复杂，感光开口较小，分辨率相对较低
噪声表现	单一放大器设计，噪声控制更优	百万级独立放大器存在微小差异，噪声累积效应显著
制造成本	需独立传输通道和外加ADC，良率低，成本高	MOS制程集成度高，周边设施整合，成本更低
耗电量	被动电荷转移需12V以上高压，电源设计复杂，耗电高	主动式晶体管驱动，低压操作，功耗显著降低

CCD摄像机和CMOS摄像机在使用过程还涉及诸多工作参数。就当前技术现状，CCD摄像机的灵敏度和解析度均比CMOS高，为了能够确保视觉识别的精度和准确度，一般选用CCD摄像机作为图像传感器。

5. 图像传感器主要参数

CCD和CMOS图像传感器的主要参数有像素、帧率、靶面尺寸、感光度、信噪比和电子快门等。

像素；图像传感器上有许多感光单元，它们可以将光线转换成电荷，从而形成对应于景物的电子图像。而在传感器中，每一个感光单元都对应着一个像素。所以，像素越多，代表着它能够感测到的物体细节越多，从而图像就越清晰。
帧率；帧率代表单位时间所记录或者播放的图片的数量，连续播放一系列图片就会产生动画效果，根据人的视觉系统，当图片的播放速度大于15幅/s的时候，人眼就基本看不出来图片的跳跃;在达到24~30幅/s 之间时就已经基本觉察不到闪烁现象。每秒的帧数或者说帧率表示图形传感器在处理场时每秒钟能够更新的次数。高的帧率可以得到更流畅、更逼真的视觉体验。
靶面尺寸靶面尺寸也就是图像传感器感光部分的大小。一般用英寸(lin=0.0254m)来表示，通常这个数据指的是这个图像传感器的对角线长度，如常见的有1/3lin。靶面越大，意味着通光量越好，而靶面越小则比较容易获得更大的景深。比如1/2lin可以有比较大的通光量，而1/4lin可以比较容易获得较大的景深。
感光度；感光度代表通过CCD或CMOS 以及相关的电子线路感应入射光线的强弱。感光度越高，感光面对光的敏感度就越强，快门速度就越高，这在拍摄运动车辆、夜间监控的时候尤其显得重要。
信噪比；信噪比指的是信号电压对于噪声电压的比值，单位为 dB。一般摄像机给出的信噪比值均是AGC(自动增益控制)关闭时的值，因为当AGC接通时，会对小信号进行提升，使得噪声电平也相应提高。信噪比的典型值为45~55dB:若为50dB，则图像有少量噪声，但图像质量良好;若为60dB，则图像质量优良，不出现噪声，信噪比越大说明对噪声的控制越好。
电子快门；电子快门用来控制图像传感器的感光时间，由于图像传感器的感光值就是信号电荷的积累，感光越长，信号电荷积累时间也越长，输出信号电流的幅值也越大。电子快门越快，感光度越低，因此适合在强光下拍摄。

用以下表格对主要参数进行汇总。

参数	定义	作用与影响	典型值/示例
像素	图像传感器上的感光单元数量，每个单元对应一个像素	像素越高，能捕捉的细节越多，图像越清晰	常见：2MP（200万像素）、5MP、12MP等
帧率	单位时间内（每秒）记录或播放的图像数量	帧率越高，视频越流畅；15fps 以上人眼不易察觉卡顿，24~30fps 基本无闪烁	监控常用：15fps、30fps；高速摄像：60fps、120fps+
靶面尺寸	传感器感光区域的对角线尺寸（通常以英寸表示）	靶面越大，通光量越好，低光性能更佳；靶面越小，景深越大	常见：1/3"、1/2"、1/4"
感光度	传感器对入射光线的敏感程度	感光度越高，低光环境下成像能力越强，快门速度可更快；但过高可能引入噪点	ISO 100~6400（或更高）
信噪比（SNR）	信号电压与噪声电压的比值（单位：dB）	信噪比越高，图像噪声越小，画质越纯净；45~55dB：图像良好；60dB+：图像优质	典型范围：45~60dB
电子快门	控制传感器感光时间的电子机制	快门越快，曝光时间越短，适合强光或高速运动拍摄；快门越慢，感光时间越长，适合弱光环境	范围：1/1000s ~ 1s+