1. 项目概述：为什么相机校准是计算机视觉的基石

如果你玩过单反相机，或者用过手机的专业模式，可能会注意到一个现象：用广角镜头拍的照片，边缘的直线会变成弯曲的，尤其是靠近画面四角的位置，建筑看起来像要倒了一样。这就是镜头畸变，一个在物理光学中无法完全避免的现象。在计算机视觉领域，无论是做三维重建、机器人导航，还是简单的AR贴纸，我们都需要知道图像中每一个像素点对应真实世界的确切位置。如果相机本身拍出来的图像就是“歪”的，那后续所有基于像素坐标的计算都会失之毫厘，谬以千里。

OpenCV-Python的相机校准，本质上就是一套“给相机做体检”的流程。我们通过拍摄一组已知尺寸的规则图案（通常是棋盘格），让计算机反向推算出相机的“内在特性”和“外在姿态”。内在特性包括焦距、主点坐标和畸变系数，它们描述了相机本身的物理属性；外在姿态则是指每次拍摄时，棋盘格相对于相机的位置和朝向。校准的核心目的，就是得到一组准确的参数，然后用这组参数去纠正图像畸变，得到一幅符合“针孔相机”理想模型的、横平竖直的图像。

这个过程听起来有点玄乎，但实操起来就像用标尺给一把游标卡尺做校准一样，是确保后续所有测量精度的基础步骤。无论你是想用Python和OpenCV做视觉测量、SLAM（同步定位与地图构建），还是仅仅想让你的摄像头画面看起来更“正”，校准都是你绕不开的第一课。接下来，我会带你从原理到实操，完整走一遍这个流程，并分享一些只有踩过坑才知道的细节。

2. 核心原理拆解：从棋盘格到相机矩阵

在深入代码之前，我们必须先搞清楚相机校准到底在算什么。这有助于你理解后续每一个参数的意义，以及在出错时如何排查。

2.1 相机成像模型与畸变类型

理想的针孔相机模型非常简单：三维空间点 (X, Y, Z) 通过小孔投影到二维成像平面 (x, y) 上，它们的关系是线性的。但现实中的镜头为了获取更多光线，都是由多片透镜组成的复杂系统，这就引入了非线性畸变。主要分为两类：

1. 径向畸变：这是最常见的畸变，表现为图像像从中心向外“膨胀”或“收缩”。它又分为桶形畸变（图像边缘向内弯曲，像通过鱼眼镜头看世界）和枕形畸变（图像边缘向外弯曲）。在数学上，通常用三个参数 (k1, k2, k3) 来建模，通过距图像中心距离 r 的多项式来校正。
2. 切向畸变：这是由于透镜制造和安装时，与成像平面不平行造成的。它使得图像看起来被“剪切”或“扭曲”了。通常用两个参数 (p1, p2) 来建模。

相机校准的目标之一，就是求出这5个畸变系数：dist_coeffs = [k1, k2, p1, p2, k3]。

2.2 相机内参矩阵：相机的“身份证”

除了畸变，我们还需要知道相机的内部几何特性，这由一个3x3的矩阵表示，称为相机内参矩阵（Camera Intrinsic Matrix）。

K = [ fx 0 cx ] [ 0 fy cy ] [ 0 0 1 ]

• fx, fy： 分别是x轴和y轴方向的焦距，以像素为单位。注意，由于制造工艺，fx和fy可能略有不同，这被称为“纵横比差异”。如果假设像素是完美的正方形，那么fx = fy。
• cx, cy： 主点坐标，通常是图像的中心点坐标（width/2, height/2）。它表示光轴与成像平面的交点。

这个矩阵K，加上畸变系数dist_coeffs，就唯一确定了一台相机的内在属性。校准后，我们会得到它们。

2.3 张正友标定法：实践中的黄金标准

我们如何求解这些参数呢？最经典、最常用的方法是张正友标定法。它的核心思想是：

1. 打印一张棋盘格图案（已知每个黑白方格的真实物理尺寸，例如30mm x 30mm）。
2. 从不同角度、不同位置拍摄这张棋盘格（通常需要10-20张）。
3. 算法会自动检测每张图片中棋盘格的角点（黑白方格的交点）。
4. 由于我们知道角点在真实世界棋盘坐标系中的三维坐标（Z=0的平面），也知道它们在图像上的二维像素坐标，就可以建立大量的对应点对。
5. 通过最小化重投影误差（将计算出的三维点再用求得的参数投影回图像，与检测到的角点坐标比较），迭代优化出最准确的相机内参矩阵K和畸变系数dist_coeffs。

这个方法巧妙地将一个复杂的相机参数求解问题，转化为一个平面靶标的二维图像检测与优化问题，鲁棒性非常高，也是OpenCV中cv2.calibrateCamera函数默认采用的方法。

3. 实操全流程：从准备到校准

理论铺垫完毕，现在进入实战环节。我会假设你已经有基本的Python和OpenCV环境（如果没有，根据热词提示，可以通过pip install opencv-python安装）。我们将一步步完成校准。

3.1 材料准备与数据采集

这是影响校准精度的最关键一步，很多新手在这里就栽了跟头。

1. 制作标定板：

• 图案：使用棋盘格（Checkerboard），不要用圆点网格。因为OpenCV的角点检测子对黑白交错的角点非常敏感，精度高。圆点中心检测在光照不均时容易漂移。
• 尺寸：棋盘格内角点数量建议在8x6到10x7之间（指内部交点，比如9x6的格子有8x5个内角点）。太大难以全部拍进画面，太小则提供的约束信息不足。
• 平整度：必须将棋盘格贴在一个绝对平整、坚硬的表面上，如亚克力板或厚卡纸。纸张弯曲会引入无法建模的误差。
• 尺寸已知：精确测量每个方格的真实边长（例如，30.0毫米）。这个值将作为世界坐标的尺度，其绝对精度直接影响最终焦距等参数的物理意义。

2. 采集图像：

• 数量：准备15-25张图像。太少，优化容易过拟合或欠拟合；太多，边际效益递减且耗时。
• 姿态：覆盖相机视野的各个区域。将标定板在镜头前上下左右移动、倾斜、旋转，确保：
  • 棋盘格出现在图像的四个角落和中心。
  • 棋盘格有不同程度的倾斜（但不要过度，导致角点检测失败）。
  • 棋盘格在图像中的大小要有变化（远近移动）。
• 环境：光照均匀，避免反光和阴影。棋盘格图案必须清晰，黑白对比分明。
• 固定相机：在整个采集过程中，相机必须固定不动。你移动的是标定板，不是相机。这是为了确保相机内参不变。

实操心得：很多人用手机拍摄，手持手机移动去拍固定的棋盘格，这是错误的！正确做法是将手机固定在支架上，然后手动移动棋盘格。你可以用胶带在地上标记几个不同的位置和角度，系统地移动棋盘格并拍摄，这样采集的数据更全面。

3.2 代码实现：角点检测与参数计算

准备好一组图像（例如存放在calibration_imgs/目录下），我们就可以开始编码了。

import cv2 import numpy as np import glob # 1. 设置棋盘格的尺寸（内角点数量，例如9x6的格子有8x5个内角点） pattern_size = (8, 5) # (width, height) 内角点数量 # 每个方格的真实物理尺寸（单位：毫米，根据你的标定板实际测量） square_size = 30.0 # 2. 为世界坐标系和图像坐标系准备容器 obj_points = [] # 3D点（世界坐标系） img_points = [] # 2D点（图像像素坐标系） # 3. 生成标定板在“世界坐标系”中的坐标。 # 假设棋盘格在Z=0的平面上，X和Y坐标就是方格索引乘以方格尺寸。 objp = np.zeros((pattern_size[0] * pattern_size[1], 3), np.float32) objp[:, :2] = np.mgrid[0:pattern_size[0], 0:pattern_size[1]].T.reshape(-1, 2) objp *= square_size # 赋予实际物理尺寸 # 4. 遍历所有标定图像 images = glob.glob('calibration_imgs/*.jpg') valid_images = [] for fname in images: img = cv2.imread(fname) gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY) # 查找棋盘格角点 ret, corners = cv2.findChessboardCorners(gray, pattern_size, None) # 如果找到，添加3D-2D点对 if ret: valid_images.append(fname) obj_points.append(objp) # 亚像素级角点精确化：提高角点定位精度 criteria = (cv2.TERM_CRITERIA_EPS + cv2.TERM_CRITERIA_MAX_ITER, 30, 0.001) corners_refined = cv2.cornerSubPix(gray, corners, (11,11), (-1,-1), criteria) img_points.append(corners_refined) # 可视化（可选） cv2.drawChessboardCorners(img, pattern_size, corners_refined, ret) cv2.imshow('Detected Corners', img) cv2.waitKey(500) # 每张图显示0.5秒 else: print(f"未在 {fname} 中找到角点，已跳过。") cv2.destroyAllWindows() print(f"成功处理 {len(valid_images)}/{len(images)} 张图像。") # 5. 相机校准（核心步骤） if len(valid_images) > 5: # 至少需要3张，建议5张以上 # 获取图像尺寸，用于初始化 img_sample = cv2.imread(valid_images[0]) h, w = img_sample.shape[:2] # 执行校准 # ret: 重投影误差，越小越好，通常应小于0.5像素 # mtx: 相机内参矩阵 K # dist: 畸变系数 [k1, k2, p1, p2, k3] # rvecs, tvecs: 每张图像的外参（旋转向量和平移向量） ret, mtx, dist, rvecs, tvecs = cv2.calibrateCamera(obj_points, img_points, (w, h), None, None) print(f"\n=== 校准结果 ===") print(f"重投影误差 (RMS): {ret:.4f} 像素") print(f"\n相机内参矩阵 K:\n{mtx}") print(f"\n畸变系数 dist:\n{dist.ravel()}") # 6. 保存校准参数（非常重要！） np.savez('camera_calibration_params.npz', mtx=mtx, dist=dist, ret=ret, image_size=(w, h)) print("\n参数已保存至 'camera_calibration_params.npz'") else: print("有效图像数量不足，无法进行校准。")

这段代码完成了从图像读取、角点检测、亚像素优化到最终参数计算和保存的全过程。cv2.calibrateCamera是核心函数，它返回了我们梦寐以求的内参矩阵mtx和畸变系数dist。

3.3 评估校准质量：重投影误差

校准结果中的ret值（即RMS重投影误差）是衡量校准质量的核心指标。它的单位是像素，含义是：将所有三维角点用我们求得的相机参数投影回二维图像，得到的像素坐标与实际检测到的角点像素坐标之间的平均距离。

• < 0.5像素：优秀。说明角点检测精准，图像质量高，姿态覆盖全面。
• 0.5 - 1.0像素：良好。可以满足大多数应用需求。
• 1.0 - 2.0像素：一般。可能需要检查标定板平整度、图像清晰度或增加样本数量。
• > 2.0像素：较差。校准结果可能不可靠，必须重新检查数据采集流程。

注意事项：重投影误差是一个整体平均值。你还可以通过cv2.projectPoints函数单独计算每张图的重投影误差，找出误差特别大的“坏图”，将其从数据集中剔除后重新校准，往往能显著提升整体精度。

4. 应用核心：畸变校正与图像还原

拿到校准参数后，我们就可以对任何由该相机拍摄的图像进行畸变校正了。OpenCV提供了两种主要的校正函数。

4.1 使用cv2.undistort进行校正

这是最直接的方法，传入原图、内参和畸变系数即可。

# 加载之前保存的参数 calib_data = np.load('camera_calibration_params.npz') mtx = calib_data['mtx'] dist = calib_data['dist'] # 读取一张需要校正的新图像 img = cv2.imread('test_image.jpg') h, w = img.shape[:2] # 方法1：直接去畸变 dst = cv2.undistort(img, mtx, dist, None, mtx) cv2.imshow('Original', img) cv2.imshow('Undistorted', dst) cv2.waitKey(0) cv2.destroyAllWindows()

cv2.undistort函数内部会为每个输出像素计算其在原图中的对应位置（可能不是整数坐标），然后通过插值（默认双线性插值）得到颜色值。参数None的位置可以传入一个新的相机矩阵，如果保持和原内参mtx相同，则校正后的图像视野可能会变小（因为边缘被“拉直”后，有效区域缩小了）。

4.2 使用cv2.getOptimalNewCameraMatrix与cv2.undistort

为了在去畸变后保留尽可能多的视野，我们可以计算一个“最优”的新相机矩阵。

# 方法2：获取最优新相机矩阵并去畸变 newcameramtx, roi = cv2.getOptimalNewCameraMatrix(mtx, dist, (w,h), 1, (w,h)) # 使用新的内参矩阵进行去畸变 dst = cv2.undistort(img, mtx, dist, None, newcameramtx) # roi 是一个矩形 (x, y, w, h)，表示去畸变后图像中有效的、无黑边的区域 x, y, w_roi, h_roi = roi dst_cropped = dst[y:y+h_roi, x:x+w_roi] cv2.imshow('Undistorted (Optimal)', dst) cv2.imshow('Undistorted & Cropped', dst_cropped) cv2.waitKey(0)

cv2.getOptimalNewCameraMatrix的第四个参数alpha控制视野和有效像素的权衡：

• alpha=0：返回一个内参，使得校正后图像所有像素都是有效的（无黑边），但会损失大量视野。
• alpha=1：保留所有原始图像内容，但校正后图像边缘会有黑色未定义区域（畸变导致）。
• 0<alpha<1：折中方案。roi变量就是有效区域的边界框，你可以选择裁剪掉黑边。

4.3 校正映射与实时处理

对于需要实时处理视频流的应用（如机器人视觉），每次调用cv2.undistort进行完整的映射计算是非常耗时的。正确的做法是预计算映射关系。

# 预计算映射表（只需一次） mapx, mapy = cv2.initUndistortRectifyMap(mtx, dist, None, newcameramtx, (w,h), cv2.CV_32FC1) # 在视频循环中，使用重映射进行快速校正 cap = cv2.VideoCapture(0) while True: ret, frame = cap.read() if not ret: break # 快速校正：根据预计算的映射表进行像素重定位 undistorted_frame = cv2.remap(frame, mapx, mapy, cv2.INTER_LINEAR) cv2.imshow('Original Feed', frame) cv2.imshow('Undistorted Feed', undistorted_frame) if cv2.waitKey(1) & 0xFF == ord('q'): break cap.release() cv2.destroyAllWindows()

cv2.initUndistortRectifyMap预先计算了从畸变图像到校正图像的坐标映射关系（mapx和mapy）。在实时循环中，cv2.remap只需要进行查表插值，速度比cv2.undistort快一个数量级，这对性能敏感的应用至关重要。

5. 高级话题与精度提升技巧

基础的校准和校正掌握后，我们来看看如何进一步提升精度和应对复杂场景。

5.1 使用cv2.calibrateCamera的高级参数

cv2.calibrateCamera函数有一些可选参数，在特定场景下非常有用：

# 设置标志位，例如允许切向畸变和径向畸变的高阶项 flags = (cv2.CALIB_RATIONAL_MODEL) # 使用更复杂的畸变模型（包含k4, k5, k6） # flags |= cv2.CALIB_FIX_ASPECT_RATIO # 固定焦距fx和fy的比例（如果像素是正方形） # flags |= cv2.CALIB_ZERO_TANGENT_DIST # 强制切向畸变系数p1, p2为0（对于高质量镜头） ret, mtx, dist, rvecs, tvecs = cv2.calibrateCamera( obj_points, img_points, (w, h), None, None, flags=flags, criteria=(cv2.TERM_CRITERIA_EPS + cv2.TERM_CRITERIA_MAX_ITER, 30, 1e-6) )

• cv2.CALIB_RATIONAL_MODEL：启用更复杂的畸变模型，尤其对鱼眼镜头或广角镜头的大畸变校正效果更好，但需要更多高质量的校准图像。
• cv2.CALIB_FIX_ASPECT_RATIO：如果你确信相机传感器的像素是完美的正方形，可以固定fx/fy的比值，减少一个待优化参数，有时能提高数值稳定性。
• cv2.CALIB_ZERO_TANGENT_DIST：对于经过精密装配的工业相机或手机主摄，切向畸变通常很小，可以强制设为0。

5.2 立体相机校准

如果你有两个相机（双目视觉），校准的步骤类似，但目标不同。你需要分别校准每个相机的内参和畸变（单目标定），然后进行双目标定，以获取两个相机之间的相对位置和姿态（旋转矩阵R和平移向量T），以及用于立体校正的矩阵。

# 假设已分别获得左右相机的内参 mtx1, dist1, mtx2, dist2 # 以及它们共同拍摄的棋盘格角点对 img_points1, img_points2 (对应同一组世界点 obj_points) ret, mtx1, dist1, mtx2, dist2, R, T, E, F = cv2.stereoCalibrate( obj_points, img_points1, img_points2, mtx1, dist1, mtx2, dist2, image_size, criteria=criteria, flags=flags )

立体校准是三维重建、深度估计的基础，其数据采集要求更高：需要左右相机同步拍摄同一标定板的不同姿态。

5.3 自动化与批处理脚本

在实际工程中，你可能需要频繁地对不同相机进行校准。编写一个自动化脚本能极大提升效率。这个脚本可以集成以下功能：

1. 自动遍历指定文件夹下的图像。
2. 批量检测角点，并可视化结果，允许手动剔除检测失败的图像。
3. 执行校准，并自动保存参数到以相机序列号或日期命名的文件中。
4. 生成校准报告，包括重投影误差曲线、每张图的误差等。
5. 对测试图像进行校正，并排显示原图与校正图，直观验证效果。

6. 常见问题排查与避坑指南

即使按照步骤操作，你也可能会遇到各种问题。下面是我在实践中总结的“坑”和解决方案。

6.1 角点检测失败

现象：cv2.findChessboardCorners经常返回False。

• 原因1：图像模糊或光照不均。棋盘格边缘不清晰，算法无法定位。
  • 解决：确保拍摄时对焦准确，光照均匀。可以尝试对图像进行高斯模糊或直方图均衡化预处理，有时能提升检测率。
  • gray_blur = cv2.GaussianBlur(gray, (5,5), 0)
• 原因2：棋盘格部分在画面外。
  • 解决：确保整个棋盘格图案完整地位于图像内。
• 原因3：棋盘格尺寸pattern_size设置错误。这是最常见的原因！pattern_size是内角点的数量，不是方格数。
  • 解决：一个9列6行的棋盘格（9x6个方格），其内角点数量是8x5。务必仔细数清黑白格子相交的内部点。
• 原因4：棋盘格对称性导致方向歧义。对于接近正方形的棋盘格，算法可能无法确定其方向。
  • 解决：使用非对称的棋盘格（如pattern_size=(7,6)），或者在采集时让棋盘格有明显倾斜，打破对称性。

6.2 重投影误差过大

现象：校准后RMS误差大于1.5甚至2.0像素。

• 原因1：标定板不平整。这是误差的主要来源。纸张的微小弯曲会被算法误认为是镜头畸变。
  • 解决：务必使用刚性平板粘贴棋盘格。可以购买专业的陶瓷或玻璃标定板。
• 原因2：角点坐标不精确。自动检测的角点有亚像素误差。
  • 解决：务必使用cv2.cornerSubPix进行亚像素精细化。调整其窗口大小(winSize)和迭代终止条件criteria。
• 原因3：图像姿态分布不均。所有图像中棋盘格都处于相似的角度和位置。
  • 解决：严格按照3.1节的要求，采集覆盖视野各个区域、各种倾斜角度的图像。
• 原因4：存在“坏图”。某几张图像由于抖动、失焦或检测不准，误差极大，拉高了整体平均值。
  • 解决：计算每张图的独立重投影误差，将误差明显高于平均值的图像从数据集中移除，重新校准。

  • per_view_errors = [] for i in range(len(obj_points)): imgpoints2, _ = cv2.projectPoints(obj_points[i], rvecs[i], tvecs[i], mtx, dist) error = cv2.norm(img_points[i], imgpoints2, cv2.NORM_L2) / len(imgpoints2) per_view_errors.append(error) # 找出误差最大的图像索引 worst_idx = np.argmax(per_view_errors) print(f"误差最大的图像是第 {worst_idx} 张，误差为 {per_view_errors[worst_idx]:.2f} 像素")

6.3 校正后图像出现严重扭曲或黑边

现象：使用cv2.undistort后，图像中心物体变形，或边缘出现大量黑边。

• 原因1：畸变系数dist符号错误或量级异常。这可能由于世界坐标系定义（方格尺寸单位）、角点顺序与OpenCV预期不符导致。
  • 解决：检查square_size单位（建议用毫米）。确保objp的生成与你的棋盘格行列数匹配。畸变系数k1通常为负值（桶形畸变校正）。
• 原因2：使用了错误的alpha值。cv2.getOptimalNewCameraMatrix中alpha=1会保留所有内容但产生黑边；alpha=0会裁剪掉所有无效区域但视野变小。
  • 解决：根据应用需求调整alpha。对于需要最大视野且不介意后期裁剪的应用，用alpha=1然后根据roi裁剪。对于需要直接使用完整图像的应用，可以尝试alpha=0.5等中间值。
• 原因3：相机内参mtx严重不准。焦距fx, fy值偏离实际太远。
  • 解决：重新校准，并确保数据质量。焦距的合理范围大致是：fx ≈ image_width / (2 * tan(FOV/2))。对于一个60度视场角、640像素宽的相机，fx大约在550左右。如果你的结果远超出这个范围，说明校准很可能失败了。

6.4 校准参数不通用

现象：用一组参数校正A相机拍摄的图像效果很好，但校正B相机（即使是同型号）的图像效果很差。

• 原因：相机内参是每台设备的唯一属性。即使同一批次生产的镜头和传感器，也存在微小差异（“个体差异”）。
  • 解决：必须为每一台相机单独进行校准。这是铁律。不能想当然地复用参数。

最后，再分享一个存储参数的小技巧：除了用np.savez，你也可以将关键参数写入一个YAML或JSON文件，方便其他语言（如C++）的程序读取。OpenCV也提供了FileStorage类来读写XML/YAML格式的文件，兼容性更好。

整个相机校准的流程，从原理理解、精心准备、耐心采集到代码实现和问题排查，是一个典型的“慢工出细活”的过程。校准的精度直接决定了上层视觉应用的精度上限。花时间把这一步做扎实，后续无论是做测量、识别还是三维视觉，你都会发现事半功倍。当你看到原本弯曲的线条被拉得笔直，图像变得横平竖直时，那种成就感就是对我们这项工作最好的回报。