1. 项目概述：从“拍个照”到“看懂世界”的数学语言

我们每天都在用手机、相机拍照，记录生活，分享瞬间。但你是否想过，当你按下快门，相机是如何将三维的现实世界，准确地“翻译”成一张二维照片的？这背后，就是一套精密的数学模型在起作用。今天要聊的“相机内参、外参、畸变系数”，正是这套模型的核心词汇。它们不是枯燥的公式，而是连接物理世界与数字图像的桥梁，是计算机视觉、机器人导航、三维重建、增强现实等前沿技术的基石。简单来说，内参决定了相机“眼睛”本身的特性（焦距、成像中心），外参描述了相机“眼睛”在空间中的位置和朝向，而畸变系数则刻画了相机“眼睛”的“近视”或“散光”等光学缺陷。理解它们，你就能从“拍照的人”变成“理解成像原理的人”，无论是想自己写个图像处理程序，还是想深入理解自动驾驶如何“看”路，都绕不开这三个概念。这篇文章，我就以一个从业者的角度，掰开揉碎了讲讲这三兄弟到底是什么，怎么来的，以及在实际项目中如何搞定它们。

2. 核心概念深度拆解：三兄弟各司其职

2.1 相机内参：相机的“身份证”

你可以把相机内参想象成相机的“身份证”，它只和相机自身的物理结构有关，与相机放在哪里、朝哪个方向拍无关。它描述的是三维空间中的点，是如何投影到相机内部那个二维的成像平面（比如CMOS传感器）上的。

核心组成（通常用一个3x3的矩阵K表示）：

1. 焦距 (fx, fy)：这是内参的灵魂。它决定了相机的“视野”有多宽。fx和fy分别代表在图像x轴和y轴方向上的焦距（以像素为单位）。为什么有两个？因为理论上相机传感器的像素不一定是完美的正方形，可能略有拉伸，所以两个方向的焦距需要分别标定。焦距值越大，视角越窄，远处的物体在图像上显得越大（类似长焦镜头）；焦距值越小，视角越广（类似广角镜头）。
2. 主点坐标 (cx, cy)：理论上，三维空间坐标通过光心投影，应该正好落在图像的正中心。但实际由于镜头和传感器装配的微小偏差，这个投影中心会偏移。(cx, cy)就是这个实际成像中心点在图像像素坐标系中的坐标。它通常非常接近图像的中心（例如，对于一张1920x1080的图，中心大约是(960, 540)），但细微的差别会对高精度测量产生影响。
3. 倾斜因子 (s)：这是一个非理想参数，描述图像x轴和y轴不垂直的程度。对于绝大多数现代数码相机和手机，这个值非常接近于0，通常可以忽略。但在一些早期的或低端的传感器上可能需要考虑。

一个典型的内参矩阵K长这样：

K = [ fx, s, cx; 0, fy, cy; 0, 0, 1 ]

这个矩阵的作用，是将相机坐标系下的一个三维点[X_c, Y_c, Z_c]^T（单位通常是毫米），转换到图像像素坐标系[u, v]^T。转换公式是Z_c * [u, v, 1]^T = K * [X_c, Y_c, Z_c]^T。记住，内参是相机的固有属性，一旦标定好，在镜头焦距不变的情况下（对于定焦镜头或手机主摄），它可以反复使用。

实操心得：在OpenCV等库中标定得到的内参，fx, fy的单位是像素。这意味着，如果你知道相机传感器的物理尺寸（例如，单个像素的宽度dx和高度dy，单位毫米），那么物理焦距f（单位毫米）可以通过fx = f / dx和fy = f / dy换算。但通常我们直接用像素焦距就够了，因为后续的像素坐标运算更方便。

2.2 相机外参：相机的“时空坐标”

如果说内参是相机的“身份证”，那外参就是相机在某个特定时刻、特定场景下的“打卡记录”。它回答了“相机在哪？朝哪看？”的问题。外参描述了世界坐标系（一个我们自定义的、固定的三维坐标系）到相机坐标系的刚体变换。

核心组成（用一个3x3的旋转矩阵R和一个3x1的平移向量t表示）：

1. 旋转矩阵 R：这是一个单位正交矩阵（R^T * R = I，且det(R) = 1）。它定义了相机坐标系相对于世界坐标系的朝向。你可以把它理解为相机绕X, Y, Z轴旋转了多少度。更常用的表示法是罗德里格斯旋转向量（一个3x1向量），其方向代表旋转轴，模长代表旋转角度。OpenCV标定输出通常就是这种形式，因为它更紧凑，只有3个自由度。
2. 平移向量 t：这是一个3x1的向量，表示相机坐标系原点在世界坐标系下的坐标。简单说，就是相机在世界中的位置。

外参的作用是将世界坐标系下的点[X_w, Y_w, Z_w]^T，转换到上一节提到的相机坐标系[X_c, Y_c, Z_c]^T。转换公式是：[X_c, Y_c, Z_c, 1]^T = [R | t] * [X_w, Y_w, Z_w, 1]^T。这里的[R | t]是一个3x4的矩阵，由R和t拼接而成。

注意事项：外参是针对每一张标定图片或每一个相机位姿单独计算的。当你移动相机，外参就变了，但内参（只要不调焦距）保持不变。在视觉SLAM（同步定位与地图构建）中，我们就是在持续地估计相机随时间变化的外参（即相机的运动轨迹）。

2.3 畸变系数：给完美模型打上“现实补丁”

前面介绍的内参和外参，基于的是理想的针孔相机模型：光线直线传播，完美成像。但现实中的镜头由于设计和制造工艺，都存在不同程度的畸变，就像人眼有近视、散光一样。畸变系数就是用来修正这种光学缺陷的参数。

主要分为两类：

1. 径向畸变：这是最主要、最常见的畸变，由镜头形状导致。光线在远离透镜中心的地方比靠近中心的地方更加弯曲。

   • 桶形畸变：图像边缘向内弯曲，像通过一个桶看出去。常见于广角镜头。
   • 枕形畸变：图像边缘向外弯曲。常见于长焦镜头。
   • 数学上通常用k1, k2, k3, ...来建模。k1对畸变贡献最大，k2次之，k3在畸变极大时（如鱼眼镜头）才需要。修正公式是：x_corrected = x * (1 + k1*r^2 + k2*r^4 + k3*r^6)，其中r是点距离图像中心的归一化距离。

2. 切向畸变：由透镜制造和安装误差导致，透镜与成像平面不平行。

   • 数学上用p1, p2来建模。修正公式是：x_corrected = x + [2*p1*x*y + p2*(r^2+2*x^2)]。

一套完整的畸变系数通常是一个5维或更多维的向量：[k1, k2, p1, p2, k3]。在OpenCV中，这个向量被称为distCoeffs。

畸变修正的流程是：先通过内参将像素坐标(u, v)转换到归一化相机平面（去掉焦距和主点影响），得到(x, y)。然后对这个(x, y)应用上述畸变修正公式，得到修正后的(x_corrected, y_corrected)。最后再用内参将修正后的坐标映射回像素坐标。或者反过来，在知道理想像素坐标时，通过迭代等方式求解其对应的、带有畸变的原始传感器坐标。

常见问题：很多新手会困惑，标定板角点检测到的坐标是已经畸变的，还是理想的？答案是：我们检测到的是图像上实际拍摄到的、带有畸变的角点像素坐标。标定过程，就是通过大量这样的观测数据，反向求解出内参、外参和畸变系数，使得它们能最好地解释“为什么三维的角点世界坐标，会投影到这些畸变的像素点上”。求解后，我们就可以用这些参数去校正其他图像，消除畸变。

3. 完整标定流程与核心环节实现

理解了概念，接下来就是实战：如何得到一台相机的这些参数？这个过程叫做“相机标定”。最经典、最常用的方法是张正友标定法（Zhang‘s Method），它因为只需要一个平面棋盘格标定板，简便易行而广为流传。

3.1 工具与材料准备

1. 标定板：一个打印出来的棋盘格图案。格子必须是黑白相间，正方形。尺寸要精确知道（例如，每个方格边长25.0毫米）。纸质打印贴在平整的硬板（如亚克力板）上效果更好。也可以购买专业的陶瓷或玻璃标定板，精度更高。
2. 相机：需要标定的相机。如果是手机，最好使用专业模式锁定焦距、白平衡和曝光，避免拍摄过程中参数变化。
3. 软件：OpenCV库是绝对的主力。它提供了完整的标定函数cv::calibrateCamera。

3.2 数据采集：拍好照片是成功的一半

这是最关键也最容易出错的步骤。你需要拍摄一组（通常15-25张）标定板的照片。

操作要点：

• 多角度：将标定板在相机视野内摆放不同的位置和姿态。要有平放的、竖起来的、倾斜的、靠近画面边缘的。确保标定板覆盖图像的各个区域（中心、四角、四边）。
• 全覆盖：尽量让标定板在有些照片中充满画面，有些只占一部分。不同的距离和角度有助于更好地估计焦距和畸变。
• 清晰稳定：对焦清晰，避免运动模糊。光照均匀，避免反光和阴影遮盖角点。
• 棋盘格完整：确保整张棋盘格都在画面内，不要被裁剪。

实操心得：我习惯采集20-25张图片。太少可能导致标定结果不稳定，尤其是畸变系数；太多则增加计算量，收益递减。拍摄时，自己心里默念“上下左右，远近正斜”八个字，作为姿态覆盖的检查清单。

3.3 角点检测：让程序“看到”棋盘格

采集好图像后，我们需要用程序自动检测每张图片中棋盘格的内角点（黑白方格的交点）的像素坐标。

使用OpenCV的关键步骤：

import cv2 import numpy as np # 定义棋盘格尺寸（内角点数量，例如9x6表示有9列6行内角点） pattern_size = (9, 6) # 注意：是内角点，不是方格数 # 准备存储三维世界坐标和二维图像坐标的容器 obj_points = [] # 三维世界坐标（标定板坐标系） img_points = [] # 二维图像坐标（检测到的角点） # 生成标定板的三维世界坐标（假设Z=0，因为标定板是平面） objp = np.zeros((pattern_size[0]*pattern_size[1], 3), np.float32) objp[:, :2] = np.mgrid[0:pattern_size[0], 0:pattern_size[1]].T.reshape(-1, 2) # 乘以每个格子的实际物理尺寸，例如0.025米 square_size = 0.025 objp *= square_size for img_path in image_paths: img = cv2.imread(img_path) gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY) # 查找角点 ret, corners = cv2.findChessboardCorners(gray, pattern_size, None) if ret: # 亚像素级角点精确化（提高精度） criteria = (cv2.TERM_CRITERIA_EPS + cv2.TERM_CRITERIA_MAX_ITER, 30, 0.001) corners_refined = cv2.cornerSubPix(gray, corners, (11,11), (-1,-1), criteria) img_points.append(corners_refined) obj_points.append(objp) # 每张图对应的世界坐标都是一样的（因为标定板没动） # 可视化（可选） cv2.drawChessboardCorners(img, pattern_size, corners_refined, ret) cv2.imshow('Corners', img) cv2.waitKey(500) cv2.destroyAllWindows()

注意事项：cv2.findChessboardCorners的返回值ret是关键。如果为False，说明这张图没检测到完整棋盘格，需要剔除或重新拍摄。亚像素优化cornerSubPix能显著提升角点定位精度，是提升标定精度的必要步骤。

3.4 参数计算与优化：一键求解

当所有图像的角点数据都准备好后，就可以调用核心标定函数了。

# 初始内参猜测（如果不知道，可以设为None，OpenCV会估算） # 通常可以简单设为：fx=fy=图像宽度，cx=图像宽度/2，cy=图像高度/2 h, w = gray.shape[:2] initial_camera_matrix = np.array([[w, 0, w/2], [0, h, h/2], [0, 0, 1]], dtype=np.float32) # 执行标定 ret, camera_matrix, dist_coeffs, rvecs, tvecs = cv2.calibrateCamera( obj_points, img_points, (w, h), initial_camera_matrix, None, flags=cv2.CALIB_FIX_PRINCIPAL_POINT # 可以添加各种flag控制标定过程 ) print("内参矩阵 K:\n", camera_matrix) print("\n畸变系数 (k1, k2, p1, p2, k3):\n", dist_coeffs.ravel()) # rvecs, tvecs 是每张图片的外参（旋转向量和平移向量）

这个函数内部使用了最大似然估计等优化算法，同时求解出最优的内参矩阵camera_matrix、畸变系数dist_coeffs，以及每张标定图片对应的外参（rvecs和tvecs，分别是旋转向量和平移向量）。

3.5 重投影误差：评估标定质量的金标准

标定函数返回的ret值就是重投影误差的均方根（RMS）。它是评估标定精度最直接的指标。

什么是重投影误差？我们用标定得到的内参、畸变和每张图的外参，将标定板的三维世界坐标点重新投影到二维图像上，得到一组“计算出的像素坐标”。然后，将这组坐标与我们实际检测到的角点像素坐标进行比较，计算它们之间的欧氏距离。这个距离的平均值就是重投影误差。

• 误差值解读：通常，RMS重投影误差小于0.5像素，可以认为是优秀的标定结果；在0.5到1.0像素之间，是良好；1.0到2.0像素，可能需要检查数据或重新标定；大于2.0像素，标定结果很可能不可靠。
• 如何降低误差：
  1. 提高角点检测精度：确保标定板平整、光照均匀，并使用亚像素优化。
  2. 增加有效图片数量和质量：覆盖更多姿态，剔除模糊或检测不全的图片。
  3. 使用更复杂的模型：如果畸变很大（如鱼眼镜头），需要使用OpenCV的鱼眼镜头标定模型 (cv2.fisheye.calibrate) 而不是普通模型。

4. 参数的实际应用与图像校正

标定出参数后，我们就能做两件核心的事：校正图像和进行三维测量。

4.1 图像去畸变：还你一个“正直”的世界

这是最直观的应用。利用标定得到的畸变系数和内参，我们可以将拍摄的畸变图像校正为无畸变的图像。

# 标定后，对新图像进行去畸变 new_img = cv2.imread('test_image.jpg') h, w = new_img.shape[:2] # 获取最优的新相机矩阵（可以选择裁剪掉校正后图像的黑边） new_camera_matrix, roi = cv2.getOptimalNewCameraMatrix(camera_matrix, dist_coeffs, (w,h), 1, (w,h)) # 方法1：使用cv2.undistort直接校正 undistorted_img = cv2.undistort(new_img, camera_matrix, dist_coeffs, None, new_camera_matrix) # 方法2：先计算映射关系，再重映射（适用于需要多次校正同一相机图像的情况，效率更高） mapx, mapy = cv2.initUndistortRectifyMap(camera_matrix, dist_coeffs, None, new_camera_matrix, (w,h), cv2.CV_32FC1) undistorted_img = cv2.remap(new_img, mapx, mapy, cv2.INTER_LINEAR) # 根据ROI裁剪黑边（可选） x, y, w_roi, h_roi = roi undistorted_img = undistorted_img[y:y+h_roi, x:x+w_roi]

校正后，原本弯曲的直线会变直，这对于视觉测量、SLAM等应用至关重要。

4.2 三维测量与姿态估计：从2D反推3D

有了精确的内参和畸变系数，我们就可以进行单目视觉的三维测量（需要已知物体尺寸）或姿态估计（PnP问题）。

示例：已知一个物体的几个特征点的世界坐标和它们在图像中的像素坐标（已去畸变），求解物体相对于相机的姿态（外参）。

# 假设我们有4个或更多已知3D-2D对应点 object_points_3d = np.array([...], dtype=np.float32) # 世界坐标 image_points_2d = np.array([...], dtype=np.float32) # 去畸变后的像素坐标 # 使用SolvePnP求解姿态 success, rotation_vector, translation_vector = cv2.solvePnP( object_points_3d, image_points_2d, camera_matrix, None # 畸变已校正，此处为None ) # rotation_vector, translation_vector 就是物体在当前图像中的外参（相对于相机）

这个功能是增强现实（AR）中将虚拟物体准确“贴”在真实世界中的核心技术，也是机器人抓取中判断物体位置和朝向的关键。

5. 常见问题、排查技巧与高级话题

5.1 标定结果不理想？自查清单

1. 重投影误差过大（>1.5像素）：

   • 检查标定板：打印是否清晰？方格是否正方形？尺寸输入是否正确？板子是否平整？
   • 检查图像：是否有运动模糊？是否有强烈反光或阴影覆盖角点？角点检测是否全部成功且准确？（可视化检查drawChessboardCorners的结果）
   • 检查数据覆盖：姿态是否足够多样？是否缺少边缘或倾斜角度的图片？
   • 尝试调整标定flags：例如，对于主点位置不确定的相机，不要固定主点 (cv2.CALIB_FIX_PRINCIPAL_POINT)。

2. 标定结果不稳定（每次运行结果差异大）：

   • 增加图片数量：最少15张，推荐20-30张高质量图片。
   • 使用更稳定的角点检测：确保环境光照恒定，避免高光比。可以尝试在标定板周围打柔光。
   • 剔除坏数据：计算每张图片的单独重投影误差，误差明显大于平均值的图片（通常是检测不准或模糊的）应该被剔除，然后重新标定。

3. 去畸变后图像边缘出现严重拉伸或模糊：

   • 这通常是因为镜头畸变很大（特别是广角镜头），校正时为了保留所有像素，需要对边缘进行大量拉伸插值。
   • 使用getOptimalNewCameraMatrix并设置alpha参数（如0.5），它会返回一个能保留大部分有效区域并自动裁剪黑边的新内参。
   • 权衡：alpha=1保留所有像素但有黑边；alpha=0裁剪所有无效像素，视野可能变小。

5.2 手机摄像头与工业相机的标定差异

• 手机摄像头：通常是自动对焦、自动白平衡。必须锁定焦距！使用专业模式或第三方App锁定对焦在无穷远或一个固定距离。变焦镜头（多摄）每个焦距都需要单独标定。手机镜头畸变通常控制得较好，k3以后的高阶项往往不需要。
• 工业相机：通常为定焦镜头，参数稳定。传感器更大，像素尺寸更精确。标定板需要更高精度（如陶瓷板）。需要注意镜头的接口（C口、CS口）和法兰距，确保成像面与标定板平行度。

5.3 走向更复杂的模型：鱼眼镜头与双目标定

• 鱼眼镜头标定：当视角超过180度，径向畸变模型k1, k2, k3就不够用了。需要使用专门的鱼眼镜头模型（如Kannala-Brandt模型）。OpenCV提供了cv2.fisheye子模块，标定流程类似，但函数接口和畸变参数含义不同。
• 双目相机标定：除了分别标定左右相机的内参和畸变（单目标定），核心是立体标定，目的是求出左右相机之间的相对位置和姿态关系（旋转矩阵R和平移向量t，这个t的模长就是基线距离）。OpenCV的cv2.stereoCalibrate可以完成。之后可以进行立体校正和三维重建。

理解相机内参、外参和畸变系数，就像是拿到了打开计算机视觉世界大门的钥匙。从简单的图像校正，到复杂的SLAM和AR，这套坐标系转换和镜头建模的框架无处不在。标定过程虽然有些繁琐，但它是后续所有高精度视觉应用的前提。多拍、多试、多分析重投影误差，你就能为自己的相机建立一份精准的“视觉档案”。