基于圆形标定板的相机标定：一种融合测量不确定性与无偏投影模型的综合框架

文章：Camera Calibration via Circular Patterns: A Comprehensive Framework with Measurement Uncertainty and Unbiased Projection Model

作者：Chaehyeon Song, Dongjae Lee, Jongwoo Lim, and Ayoung Kim

编辑：点云PCL

欢迎各位加入知识星球，获取PDF论文，欢迎转发朋友圈。文章仅做学术分享，如有侵权联系删文。

从技术角度观察行业发展，努力跟上时代的步伐。公众号致力于点云处理，SLAM，三维视觉，具身智能，自动驾驶等领域相关内容的干货分享，欢迎各位加入，有兴趣的可联系dianyunpcl@163.com。文章未申请原创，未经过本人允许请勿转载，有意转载联系微信920177957。

摘要

基于平面标定板的相机标定技术已被广泛采用，其中主要使用两类控制点作为测量基准：棋盘格的角点与圆形的中心点。由于中心点由大量像素计算得出，圆形标定板比棋盘格能提供更精确的测量结果。然而，现有圆形中心点的投影模型在镜头畸变条件下存在偏差，导致标定精度下降。为突破此局限，本文提出一种无偏的圆形标定板投影模型，并证明其精度显著优于棋盘格方案。

为增强标定鲁棒性与系统性，我们创新性地将不确定性引入圆形标定模型。通过明确定义中心点不确定性，该方法显著提升了标定全流程组件的性能，包括图案检测、优化算法及评估指标。同时基于评估指标提出了高质量相机标定的操作指南。

本方法的核心思想是将二维形状的边界点建模为考虑连通性的马尔可夫随机场。借助格林定理构建的几何表征，形状分布被有效传递至中心点不确定性。最终实现的标定框架在精度与鲁棒性上取得显著突破。完整源代码及演示视频详见：

https://github.com/chaehyeonsong/discocal

主要贡献

为将不确定性引入圆形标定模型，我们将二维形状的边界点建模为单向马尔可夫随机场。基于格林定理，通过边界点协方差矩阵推导出中心点不确定性。该方法同时兼顾了边界点连通性与图像梯度信息，其学术价值在于首次提出任意形状中心点不确定性的计算方法，并通过图1所示的三项创新实践验证其应用价值：

1. 改进的图案检测方法

2. 鲁棒的优化流程

3. 基于不确定性的标定性能评估体系

图片

图1：基于无偏投影模型的不确定性感知标定框架。其核心模块——不确定性感知检测器与无偏估计器——协同输出相机标定参数及其关联不确定性，用于评估标定质量。

核心贡献总结：

• 首创图像中任意二维形状的中心点不确定性定义，基于能量函数的概率建模推导具有数学完备性
• 提出基于圆形标定的不确定性感知框架，融合不确定性检测、鲁棒优化与无偏估计器，显著提升标定精度与鲁棒性
• 制定可靠相机标定规范，突破经验型方法局限，使非专业人员可获得稳定精确结果

主要内容

相机标定始于从图像中获取带有不确定性的测量数据。在标定各阶段合理融入测量不确定性，是从给定数据实现最优标定的关键。因此，在展开标定流程前，需首先阐释测量模型及其不确定性。

A. 测量模型：n边形中心点

如图2(a)所示，标定靶标采用圆形阵列设计。目标与背景的区分方式因传感器类型而异：普通相机采用白底黑圆即可，而热红外（TIR）相机等工作在可见光谱外的传感器，则需依据发射率等物理特性（非颜色）区分目标。为保持一致性，本文采用白底平面靶标上的黑色圆形图案。

圆形图案在图像中呈现为黑色斑块（图2(b)），测量模型即斑块中心点。受限于图像像素的离散网格结构，任意形状在图像空间中均表现为n边形。虽然可通过内部像素位置平均计算多边形中心点，但边界点才是定义形状的决定因素——内部点不提供有效信息。为精确定义中心点不确定性，我们仅基于边界点推导中心点坐标。

其中 p 为中心点坐标，xᵢ = (uᵢ, vᵢ) 为多边形边界点坐标。边界点索引 i 需按逆时针方向排列（图像空间中为顺时针）。

图片

图2：标定靶标设计。(a)为印刷在靶标上的圆形图案，(b)为标定用靶标采集图像示例。

B. 形状不确定性

边界点可通过梯度轮廓检测方法（如Canny算子）获取。此类方法定位梯度局部极大值点，但所得位置并非绝对真值—边界点本质是随机变量，高梯度值仅表征其存在概率较高。以多元高斯分布建模边界点集合 X̃ 的分布特性，其均值向量 X̄ 为检测结果，协方差矩阵 Σ 表征不确定性（I 表示输入图像）。现有方法虽可定义单点不确定性，但直接迁移至形状边界将失效：边界点具有强关联特性（非独立）。例如相邻边界点像素坐标差绝对值恒≤1（曼哈顿距离约束）。为体现这种拓扑约束，将后验分布分解为两项：边界点先验分布× 似然函数，先验分布协方差通过信息滤波器更新，再融合似然函数实现不确定性建模。

C. 形状先验分布

为简化数学推导，引入零均值变换将边界点分布中心化。边界点间的拓扑约束可概率化表述：相邻点坐标差服从方差为σ²的高斯分布——超参数σ控制轮廓形变自由度。σ值越小，边界点关联性越强，轮廓越保持初始结构；σ增大则允许更大形变自由度（见图3(a)）。

基于坐标独立性假设（x/y坐标独立同分布），仅需分析单坐标轴（以x坐标为例）。在无图像信息约束时，边界点集应满足刚体运动不变性（平移/旋转自由），这导致传统协方差矩阵不可计算。我们转而采用信息矩阵（协方差逆矩阵）表征分布特性：

• 当边界点构成全连接马尔可夫随机场时，信息矩阵如引理2所示
• 通过能量函数建立关联：边界点集概率分布正比于相邻点坐标差平方和

实际场景中，每个点仅与直接邻点相连，故信息矩阵具有稀疏带状结构。其中归一化因子z随边界点数n增大收敛于恒定值，多数情况下可视为常数。

将x坐标结论扩展至二维，得到2n×2n阶对称先验信息矩阵）。需注意：因信息矩阵行列式为零，其逆矩阵（协方差矩阵）发散至无穷——这恰保证了边界点集的刚体运动自由度，仅约束结构形变。

图片

图3：形状不确定性建模示意图(a) 多边形连通性建模：将n边形边界点构建为马尔可夫随机场（实际为零均值高斯分布，图中为可视化需求显示于均值位置）(b) 梯度方向约束：图像梯度限制边界点沿法向自由度，该信息融入先验分布(c) 不确定性传播：边界点协方差（短轴均值≈3像素）传递至中心点协方差（长轴<1像素）。需注意边界点分布覆盖模糊边界区域。

D. 梯度信息更新

图像梯度为Ω补充刚体运动约束等关键信息。如图3(b)所示线性近似，边界点沿梯度方向的标准差σ与梯度模长成反比：

图片

其中强度差(Iₘₐₓ - Iₘᵢₙ)理想值为255，实际通过边界点邻域窗口搜索获取以保证鲁棒性。梯度向量仅提供单方向约束，正交方向不确定性趋于无穷。因此构建信息矩阵：

1. 计算归一化梯度方向向量

2. 构造旋转矩阵V

3. 生成单点信息矩阵Ωᵢ

基于信息滤波器，后验信息矩阵更新为：

图片

该叠加矩阵可逆特性突破先验矩阵不可逆限制，为后续计算奠定基础。

E. 中心点不确定性

通过一阶近似将边界点协方差传播至中心点p：

• 1. 构建雅可比矩阵J（表征中心点对边界点的偏导关系）
• 2. 计算协方差矩阵：

图片

为降低2n×2n矩阵求逆计算量，采用Cholesky分解优化：

图片

完整流程见算法1

图片

不确定性感知标定框架

本节阐述如何将测量不确定性融入标定全流程（技术路线见图1）。采用 ~ 表示齐次坐标，p̃ ≃ q̃ 表示两向量相差一个比例因子。

A. 投影模型

设定标定靶标平面与世界坐标系xy平面重合。靶标点 p_w = (x_w, y_w)ᵀ 经透视投影映射至归一化平面点 p_n，再通过畸变模型与内参矩阵转换至图像平面点 p = (u, v)ᵀ。基于针孔相机模型，投影过程表述为：

图片

其中：

* K：相机内参矩阵

* E：靶标-相机坐标系间外参

* H：单应矩阵（因靶标位于xy平面，z_w=0）

上述过程完整定义了靶标点 p̃_w 与归一化平面投影点 p̃_n 的映射关系。但 p̃_n 投影至图像平面时需经历非线性畸变变换。本文仅考虑径向畸变，多数相机主要畸变成分，其多项式模型为：

1. 计算归一化平面径向距离

2. 构建畸变系数多项式

3. 生成畸变点坐标

4. 映射至图像平面

关键创新点：圆形（三维空间圆锥曲线）的投影模型本质区别于点投影模型（详见图4）。

图片

图4：圆形标定板投影模型图解，靶标平面上的圆形经相机投影后，在归一化平面呈现为椭圆。受镜头畸变影响，该椭圆在图像平面进一步变形为畸变椭圆。

B. 基于不确定性的斑块检测

相机标定需精度优先于计算效率，但现有圆形检测方法（如OpenCV斑块检测）侧重效率而忽略像素级边界点分析。梯度边缘检测法虽精度高，却因光照敏感性导致鲁棒性不足（见图5），且无法保证边界点连通性。为此，我们开发了兼顾精度与鲁棒性的专用圆形检测器。

图片

图5：梯度边界检测法（如Canny算子）无法保证边界点连通性，而基于不确定性的检测器在极端光照环境下仍能稳定识别形状边界。

连通性保障机制：采用阈值分割法——不直接定位边界点，而是通过强度阈值划分内外区域，再提取区域边界。该方法天然保证边界点连通性，并可结合形态学闭运算优化结果。核心挑战在于：阈值选择具有场景依赖性，不存在普适最优解。

不确定性优选策略：

1. 在多个阈值下生成候选斑块集

2. 计算各斑块质心不确定性

3.选择不确定性最低的斑块

技术优势：阈值检测器与不确定性认证器的协同，实现了"高精度-强鲁棒"统一。实验验证表明：

1. 检测结果符合人类视觉直觉

2.算法稳定性显著提升

完整流程见算法2

图片

C. 基于无偏估计器的鲁棒优化

利用检测结果，采用张氏标定法闭式求解相机内参初始值。由于未考虑畸变参数，该初始值不可直接使用，需通过优化进行精细化处理。优化过程中，我们最小化重投影误差——即使用无偏估计器计算的控制点估计位置与实际测量值的平方偏差：

图片

D. 基于不确定性映射的标定评估

标定不确定性分为两类：

图片

传统重投影误差仅反映随机不确定性，且受图像分辨率影响。为此引入不确定性映射：

技术实现路径：

• 通过高斯过程与卡尔曼滤波理论，计算相机参数协方差矩阵 
• 构建光线-像素投影雅可比矩阵
• 生成像素级不确定性映射

映射特性：

• 维度：图像高度×宽度×3
• 可视化：如图6所示，颜色编码表示各像素标量不确定性(ϵ_p)，白点集群为所有标定用测量点
• 关键发现：当图像位姿单一化时，不确定性分布呈现方向性偏置

图片

图6：不确定性映射示意图(a) 合格图像集：当采集到充分覆盖靶标各区域的图像时，不确定性映射在全图呈现低不确定性分布(b) 位姿缺陷：若图像未从多角度拍摄，不确定性分布呈现

实验与结果

A. 测量不确定度分析

为了验证不确定度是否符合我们的直观理解并提供更多信息，研究了圆形图案在多种场景下的不确定度，包括高斯模糊、平移模糊（x方向）和旋转模糊条件。

图片

图7：不确定度变化趋势，研究了在校准过程中可能出现的模糊情况下，质心的不确定度如何变化。由于质心呈现亚像素级不确定度，为便于观察将其放大40倍。

图7展示了当圆形图案投影到图像中时出现的圆形、椭圆形和旋转椭圆形的不确定度。红色椭圆代表质心的±2σ区域。只有边界点方差的法向分量影响质心方差；因此，质心方差的最终形状往往遵循轮廓的形状。例如，第二行中的椭圆在y方向显示出较低的不确定度，因为该形状大多数边界点的法向量都指向y方向。通过比较前两列的第二行和第三行，我们可以确认我们的测量不确定度具有旋转等变性。小数点后第二位的差异是由于曲线形状物体在像素网格上进行栅格化时边界点发生轻微变化所致。

边界模糊会增加整体不确定度，而运动模糊则会在特定方向上更显著地增加不确定度。尽管存在极端平移，质心的不确定度仍保持在一个像素以内。值得注意的是，x方向的运动模糊也会增加y坐标的不确定度。这是因为x坐标的变化改变了局部区域的面积。例如，如果一个椭圆的上半部分在x方向扩张，该椭圆的质心将会上移。

B. 点不确定度与形状不确定度的比较

在图8中展示了质心相较于棋盘格角点的潜力，该图同时说明了角点的不确定度和方形质心的不确定度。点不确定度的定义遵循文献中使用的基于自相关的方法。结果清楚地证实了质心比角点更精确，并且对边界模糊效应具有鲁棒性。

图片

质心的另一个优势是其不确定度随着边界点数量的增加而降低。在第一行和第二行中，虽然随着矩形尺寸增大，角点的不确定度保持不变，但质心的不确定度却在减小。在旋转模糊的情况下，当点远离旋转中心（50, 50）时，点不确定度会变大。然而，质心不确定度保持不变，这表明点集的不确定度可以克服单点的固有不确定度。

C. 基于不确定度的检测

这里验证了基于不确定度的检测器是否能够准确捕捉真实轮廓。如图9所示，我们收集了给定椭圆在阈值从100增加到200时的轮廓。由于应用了三次σ=3的高斯模糊；轮廓高度依赖于阈值设置。结果，低不确定度对应于高交并比（IoU），这意味着检测到的边界接近真实值。这种情况的理论解释是：当梯度幅值增大或梯度方向与轮廓法线方向更接近时，边界点的不确定度会降低。因此，我们可以选择与图像梯度场信息最吻合的边界。

图片

图9：基于不确定度选择的验证。我们通过将颜色阈值从100提高到200，生成多个边界候选轮廓。当候选轮廓（红色）与真实轮廓（黄色）之间的交并比（IoU）达到最大值时，我们的不确定度达到最低水平。这表明可根据不确定度选择最可靠的候选轮廓。

D. 消融研究：校准精度

为了验证每个模块的有效性，在两个合成数据集上进行了消融研究。数据集包含从随机相机位姿获取的30幅图像，我们仅对其中一个数据集施加运动模糊。每个数据集的样本图像如图10所示。对于校准，我们随机选择六幅图像并重复30次，以计算相机参数的平均值和标准差（蒙特卡洛方法）。表一展示了各方法在原始数据集和运动模糊数据集上的校准结果。基线方法是传统的OpenCV方法，其检测器是SimpleBlobDetector。该基线方法利用点投影模型，忽略了圆形图案的特性。我们观察了在向此基线方法逐步添加我们基于不确定度的检测器（D）、无偏估计器（E）和鲁棒优化（O）模块时，校准结果是如何变化的。#fails 表示在总共30幅图像中检测失败的次数。

图片

图10：合成数据集样本图像示例。即使在理想合成图像中，OpenCV的传统斑点检测器也未能正确识别圆形图案。

在添加我们的检测器之前，基线检测器即使在合成图像中也常常输出错误的检测结果（如图10所示）。结果，基线方法在三十幅图像中有六幅检测失败，这部分解释了为何圆形图案至今未被广泛用于校准。与此方法相比，我们的不确定性感知检测器显著提高了检测和校准精度。

然而，由于有偏投影，相机参数会收敛到错误的值。我们的检测器与估计器的组合克服了这个问题，在原始数据集上表现出优异的性能，但在运动模糊数据集上精度相对较低且方差较高。即使对于我们的检测器，在运动模糊条件下准确识别真实轮廓也具有挑战性。这就是为什么我们需要在优化过程中考虑测量不确定度。我们的鲁棒优化器有效地处理了低质量测量，从而在运动模糊数据集上得到了改进的结果。由于原始数据集中的图像只包含清晰的测量，因此无论优化过程中是否考虑不确定度，结果都几乎相同。

对RGB和热红外（TIR）相机进行了类似的实验。由于真实图像噪声高且与理想相机模型存在偏差，仅用六幅图像难以获得可靠的校准结果。因此，我们将RGB的样本图像数增加到8幅，TIR的增加到11幅。由于现实世界中没有相机参数的真实值，我们使用相机参数的平均值，比较了估计相机参数的方差和所有图像的重投影误差。实验中使用的RGB相机是FLIR的Blackfly-U3-16S2C-CS型号，分辨率为2048×1536；而TIR相机是FLIR A65型号，分辨率为640×512。样本图像和检测结果如图11所示。

图片

图11：RGB相机与热红外（TIR）相机采集的样本图像。我们的检测器不仅能稳健识别圆形图案，同时输出以黄色圆圈表示的质心不确定度。由于图像质量较低，TIR图像呈现出更高的不确定度。

由此可见，将三个模块（即检测器、估计器、优化器）组合的潜力在实际实验中非常突出。表二清楚地表明最终版本（B+D+E+O）在估计相机参数的方差和重投影误差方面都是最低的。

图片

优质相机标定的关键要素探讨

尽管采用相同方法，标定性能仍因众多超参数而高度依赖操作者。本节将解析各超参数的意义及其优化设置方案。核心超参数（即圆形数量、圆形半径、圆形间距、总图像数量和相机位姿）可分为两类：前三者关联标定板设计，后两者关联图像采集策略。

A. 标定板设计准则

1. 圆形数量：更多圆形意味着更多测量点。基于标定板平面性和预设网格结构的前提，大量控制点可提升优化过程对异常值的鲁棒性。

2. 圆形半径：测量质量与半径成正比。半径增大导致图像中斑点(blob)尺寸增加，更多边界点可降低测量不确定度。

3. 圆形间距：涉及图像覆盖范围与检测难度。间距增大可扩大标定板在图像中的覆盖区域，同时降低圆形检测难度。

设计权衡：当标定板尺寸固定时，三参数相互制约。增大半径或间距需减少圆形数量。相较棋盘格角点（零维特征，方形尺寸不影响精度），圆形图案提供独特灵活性：既可增加点数提升鲁棒性，亦可增大尺寸改善测量质量。经验表明，4×3网格的12个圆形即可满足精度需求。非对称网格可避免180°旋转对称导致的解歧义问题，但因解空间在se(3)流形上差异显著，实际精度无本质区别，故建议优先考虑制造简易性。

图片

图12：反向旋转下的不确定度热力图分布。热力图的分布模式遵循标定板的旋转方向，而非平移运动或图像中的测量点位置。

B. 图像采集策略

相机与标定板的三维相对位姿（平移与旋转）比前述参数更为关键：

1. 旋转的核心作用：

• 目标板自旋方向（非测量点位置）决定不确定度热力图的受影响区域（图12）
• 根本原理：满足共面条件的标定板会导致标定退化——沿标定板法向正交方向的移动不提供新信息
• 核心准则：需采集多角度旋转图像以均衡降低全域不确定度

图片

图13：旋转与平移组合效应引发的不确定度变化。两种情形具有相同的平移和旋转备选值，但组合方式不同：(a)公转与自转方向相同，(b)方向相反。最终导致整体不确定度产生显著差异。

2. 平移的协同效应：

• 平移决定测量点分布，但旋转值决定信息生效区域（图13）
• 最优平移量随旋转角θ变化，且存在黄金定律：当相机到标定板中心的向量平行于标定板法线时（即旋转角θ=相机视角φ），全域不确定度最小化（图14）
• 此位姿同时最大化圆形成像尺寸，进一步降低测量不确定度

图片

图14：给定旋转角度下的最优平移量研究。我们通过将标定板从左向右移动，观测整体不确定度的变化规律。值得注意的是，当公转角ϕ等于自转角θ时（即θ=ϕ），无论θ的绝对值大小如何，系统不确定度均达到最小值。

C. 最优采集方案

1. 球面投影法：

• 以相机为中心构建虚拟球体，标定板始终与球面切向接触（图15a）
• 采集规则：

        * 小旋转角 → 小半径（近距离）

        * 大旋转角 → 大半径（远距离）

2. 固定标定板法：

• 相机对准标定板z轴延伸线
• 仅旋转相机（图15b）

图片

图15：最优配置方案。(a)相机固定模式：为实现最优标定，标定板应位于以相机为中心的虚拟球体切平面上。(b)标定板固定模式：将相机中心置于标定板z轴延长线上并仅施加旋转，同样可获得最优配置。这两种配置在几何关系上完全等效。

实操建议

• 球体半径无几何意义（投影忽略尺度），但影响测量
•  大半径导致高不确定度，却可避免大旋转角下图案移出视场
• 采集16张图像（近距离8张+远距离8张），均匀覆盖各旋转角度

图片

总结

本文首次提出了一种将不确定度概念融入圆形标定板相机校准的方法。我们通过严密的数学推导得出了二维形状质心不确定度的计算方法，并在多种场景下验证了其有效性。通过将这一不确定度应用于检测、优化等校准全流程，显著提升了校准精度与鲁棒性。结合我们提出的无偏估计器，最终构建了完整的圆形标定板校准框架。此外，我们还确立了相机与标定板六维位姿配置原则，为非专业人士获取稳定可靠的校准结果提供了明确指导。

相较于现有方法，采用本框架的圆形标定板展现出显著优势。特别是在低画质的特殊视觉传感器场景中，其优势更为突出。本方法不仅适用于相机内参标定，还可广泛应用于多模态传感器外参标定、基于圆形标定板的相机位姿估计等三维定位场景。