ISP-AF相关-聚焦区域选择-清晰度评价

1、镜头相关

镜头类型

变焦类型：

定焦、手动变焦、自动变焦

光圈：

固定光圈、手动光圈、自动光圈

视场角：

鱼眼镜头、超广角镜头、广角镜头、标准镜头、长焦镜头、超长焦镜头（由大至小）

光圈：

超星光镜头、星光镜头、通用镜头

接口类型：

M12、$\Phi$14、C、CS、尼康F口、索尼A口、佳能E口等

外形功能：

球面镜头、非球面镜头、针孔镜头、鱼眼镜头

自动聚焦是指通过电机控制载物台或镜头的运动使物体的成像由模糊变得清晰的过程。

变焦

变焦通常指通过移动镜头内的透镜镜片位置来拉长或缩短焦距，也叫ZOOM。变焦目前可以分为光学变焦和数字变焦两种类型，光学变焦不会牺牲清晰度，数字变焦显著牺牲清晰度

光学变焦：

光学变焦是通过移动镜头内部镜片的相对位置来改变焦点的位置，改变镜头焦距的长短，并改变镜头的视角大小，从而实现影像的放大与缩小。如果被拍摄的物体位置保持不变，镜头的焦距与物体的放大倍率会呈现正比例的关系，如果要用一个词来形容光学变焦的话，那就是“望远镜”。(成像面水平方向移动)

数字变焦：

数字变焦是通过可拍照手机处理器，把图片内的每个像素面积增大，从而达到放大的目的，就像我们在ACDSEE等图像处理软件中，强行拉大图像的像素一样，只不过这个过程在手机中进行，把原来SENSOR上的一部分像素使用插值手段进行放大。与光学变焦不同的是，数码变焦是在SENSOR垂直方向上的变化，而给人以变焦效果的。由于整个过程焦距没有任何变化，所以图像质量是会随着放大比例的增加，逐渐下降。(成像面垂直方向缩放)

数字变焦也可以分为插值算法变焦和伪数字变焦两种：

插值算法变焦：对图像进行插值运算，将图像的尺寸扩大到所需的规格，这种算法就其效果而言，并不理想，尤其是当使用在手机上的时候，手机上的摄像头本身得到的数据就有较大的噪声，再插值的话，得到的图像几乎没法使用。

伪数字变焦：当摄像头不处在最大分辨率格式的情况下，比如130万像素的 sensor 使用 640x480的规格拍照时，仍旧设置 sersor 工作在 1280x960 的分辨率下，而后通过采集中央部分的图像来获取 640x480 的照片，使得在手机上看来所拍物体尺寸被放大了一倍。这种办法几乎不需要额外的算法支持，对图像质量也没有影响，缺点是只有小尺寸情况下可以采用。

对焦(调焦)

1. 对焦概念

用凸透镜做照像机的镜头时，最清晰的像一般不会正好落在焦点上，或者说，最清晰的像到光心的距离(像距)一般不等于焦距，而是略大于焦距。具体的距离与被照的物体与镜头的距离（物距）有关，物距越大，像距越小，(但实际上总是大于焦距)。

对焦实际上是调整整个镜头的位置(而不是镜头内的镜片)的位置，来控制像距，从而使成像最清晰。被照的物体与相机(镜头)的距离不总是相同的，比如给人照像，有时，想照全身的，离得就远，照半身的，离得就近。要想照得到清晰的像，就必须随着物距的不同而改变感光面到镜头光心的距离。

由于人眼分辨能力的限制，一定范围内的模糊量不会对观察到的成像效果产生影响。对于清晰的成像，人眼视网膜对模糊感知的最大程度就是允许模糊量s，s的值在O．03．0．04mm之间。

1. 对焦分类

对焦可以分为手动对焦，自动对焦，多点对焦：

手动对焦，它是通过手工转动对焦环来调节相机镜头从而使拍摄出来的照片清晰的一种对焦方式。

自动对焦，由照相机根据被摄体距离的远近，自动地调节镜头的对焦距离。

多点对焦，也叫区域对焦，当对焦中心不设置在图片中心的时候，可以使用多点对焦。常见的多点对焦为5点，7点和9点对焦。

2、聚焦区域选择

窗口过小容易丢失图像的重要细节；窗口过大会加重背景区域的干扰，同时也带来更大的计算量

聚焦窗口应该位于图像的主体目标区域，常用的窗口选择方法主要分为静态和动态两类。静态取窗方法有：中心区域取窗法、黄金分割十字区域取窗法和倒T型取窗法等；动态取窗方法有：高斯非均匀采样取窗法、一阶矩取窗法和人眼视觉显著机制取窗法等。前者通常是根据某个特征选定固定区域作为聚焦窗口，聚焦窗口大小由实际目标图像确定；后者是对图像的信息分布进行统计分析，给出一个最优的主体景物估计区域，然后取单个或多个窗口作为聚焦区域。

1、中心取窗法

中心取窗法认为人眼感兴趣目标总是位于图像的中心位置，故把中心部分作为聚焦区域。计算聚焦区域内的图像清晰度值，根据自动聚焦调节方法使聚焦区域内的物体达到最清晰即完成自动聚焦。这种聚焦区域选择方法适用于大多数情况，但若感兴趣目标偏离图像中心位置，摄像机将无法聚焦到感兴趣目标，聚焦质量会严重下降)

中心取窗方法的假设前提是主体目标位于图像中心，当图像中心是纯色背景时，会导致聚焦失败，窗口矩形框的长、宽分别为图像长、宽的1／4，中心区域的大小一般为图像的1／1 6，计算量减少了93．75％。

2、倒T型区域取窗

观察一幅图像时，人眼的注意力第一时间通常会放在图像的中下部分。在摄影构图时，人们也通常会将被摄物体放于整个场景的中下部分。因此可选择图像中下部的区域作为聚焦区域，如图 2.5 所示。该方法提高了感兴趣区域覆盖成功率，但同时会引入更多背景信息，导致图像清晰度值的计算量相应增加。

3、黄金多点取窗选择法

在实际场景中，往往包含多个不同的物体，物体的纹理以及距离摄像机的远近不尽相同。多点取窗法是将图像按照一定的规则划分为几个区域，选择与感兴趣目标较接近的区域作为图像的聚焦区域。聚焦区域选择灵活多变，使用场景更丰富。

光学成像系统中，只存在一个正确的焦平面，只有在焦平面位置才可以得到清晰的物体成像，并且在其他位置时目标点的成像会出现斑点。考虑到人眼的最小角度分辨率，当斑点直径小于一定值时，可以将其识别为清晰的图像点。

图像存在边缘，一幅图像聚焦与否与图像边缘信息的高频成分有关，当完全聚焦时，图像清晰，边缘信息的多，聚焦评价函数值最大；当图像离焦时，图像模糊，边缘信息较少，聚焦评价函数值小。

图像聚焦评价函数：

特性

1)无偏性：

清晰度评价函数曲线的峰值应该对应最清晰的聚焦的位置，不同离焦程度的评价值也对应着不同的离焦图像采集位置。

2)单峰性：

从远离准焦面到正焦面再到远离准焦面的过程中，聚焦评价函数曲线对应地先递增再递减，准确聚焦位置时取值最大，应该满足单峰性要求。

3)灵敏度：

评价函数曲线的陡峭程度反映了自动聚焦过程中的灵敏度，若曲线越平缓，则灵敏度越低。自动聚焦过程中希望有较高的灵敏度，曲线应该有一定的陡峭度。

4)抗噪性：

在噪声干扰下，曲线是否依旧能保持较好的形状特性。

 5)实时性：

我们希望自动聚焦的过程是一个较为短暂的时间，为满足自动聚焦系统实时性的要求，设计的算法不能过于复杂，计算量不能太大。

评价函数

1)SMD函数

SMD函数称为灰度差分和函数。它依据某一像素点的相邻的左像素点和上像素点与这一点的差值之和，来计算图像聚焦极值点

$$
F{SMD}=\sum{i,j}(\lvert f(i,j)-f(i,j-1) \rvert +\lvert f(i,j)-f(i-1,j) \rvert ) 
$$

SMD函数算法简单、速度快、抗干扰能力较强，但精度不高。

2)Brenner函数

计算相邻k个单位像素点间的灰度差，然后得到差的平方

$$
F{Brenner}=\sum{i,j}\lvert f(i+k,j)-f(i,j) \rvert ^2 
$$

Brenner函数复杂度低，计算过程简单,

3)Tenengrad函数

$$
F{Tenengrad}=\sum{i,j}(\lvert G{i}^{2}(i,j)+G{j}^{2}(i,j) \rvert ) 
$$

其中，$G{i}(i,j)$和$G{j}(i,j)$是i，j方向的一阶sobel算子差分

4)EOG函数 平方梯度

$$
F{EOG}=\sum{i,j}(\lvert f(i,j)-f(i,j-1) \rvert  ^2 +\lvert f(i,j)-f(i-1,j) \rvert ^2) 
$$

5)Robert算子梯度函数

$$
F{Robert}=\sum{i,j}(\lvert f(i,j)-f(i+1,j+1) \rvert +\lvert f(i+1,j)-f(i,j+1) \rvert ) 
$$

Roberts梯度函数根据聚焦区域内所有交叉像素点间像素差值之和计算得出，以计算图像的聚焦清晰点，改进SMD函数，抗干扰性能比SMD函数的强

6)sobel算子梯度函数

$$
F{Sobel}=\sum{i,j}\lvert G{i}(i,j)+G{j}(i,j) \rvert 
$$

其中，$G{i}(i,j)$和$G{j}(i,j)$是i，j方向的一阶sobel算子差分

7)Laplace算子函数

$$
F{Laplace}=\sum{i,j}\lvert f(i-1,j)-f(i+1,j) + f(i,j-1)-f(i,j+1) - 4f(i,j) \rvert ^2 
$$

参考文章：<基于梯度计算的自动聚焦图像清晰度评价函数仿真分析> <自动聚焦 系统研究>

结合之前清晰度的计算，补充一些AF的内容