拓冰网站定制 
产线上待久了判断一个活儿好不好干基本就看三句话测什么、公差多少、节拍几秒。Halcon 测量定位这套东西说到底就是拿相机把工件在哪儿和工件多大这两件事稳定地算出来然后交给 PLC 或者上位机去做判定。它不是什么玄学但也绝对不是拖几个算子上去就能跑的——我见过太多项目Demo 阶段精度漂亮得像教科书一上产线连跑八小时就开始漂最后发现根子出在打光、标定或者一个没注意的极性参数上。这篇东西我打算把 Halcon 测量定位从方案选型、成像标定、核心算子、完整实操到工程化集成整条链路捋一遍穿插一些我自己踩过的坑和调参心得。适合正在做视觉检测项目、准备把 Halcon 落地到产线或者刚接手别人遗留代码想搞明白逻辑的朋友。看完你至少能自己搭出一条稳定的测量定位流水线并且知道出问题时该往哪儿查。1. 测量定位的底层逻辑与方案选型1.1 先回答三个问题再动手写代码很多人拿到需求第一反应是打开 HDevelop 拖算子这个顺序其实是反的。真正决定项目成败的是动手之前的三问测什么几何量、公差带多宽、节拍要求多少。这三个问题回答不清楚后面所有的工作都是白费。测什么几何量决定了你用什么工具。如果只是要找工件的位置和角度然后把坐标系对齐那是定位问题核心工具是形状匹配shape-based matching如果要量内孔直径、边到边的距离、圆的同心度那是测量问题核心工具是卡尺measure和计量模型metrology如果两者都要通常是先匹配定位再在定位后的坐标系里做测量这样测量区域会跟着工件跑不会因为工件摆放位置变化而量错地方。公差带多宽直接决定你的硬件选型和算法精度要求。举个实在的例子工件内孔直径 20mm公差 ±0.02mm那么总公差带是 0.04mm。行业里通常要求测量系统的重复性优于公差的 1/10也就是 0.004mm理想情况下要压到 1/5 甚至 1/10 才保险。这就意味着你的像素当量得控制在很小的量级镜头、相机、光源都得跟着升级。反过来如果公差是 ±0.2mm那普通 500 万像素相机配个远心镜头就能轻松搞定没必要上高分辨率。节拍要求决定了你能用多重的算法。形状匹配在金塔层数多、搜索角度大的时候单次可能要几十毫秒计量模型的全局优化更慢。如果节拍要求 200ms 一件你还有富余去做多次测量取中值如果要求 30ms 一件那就得靠缩小搜索范围、减少模板层级、降低图像分辨率这些手段来换速度。提示拿到需求后先写一份简单的精度分配表把总公差拆到成像、算法、机械重复性三个环节上每个环节留多少余量心里有数后面调参就不会瞎调。1.2 Halcon、OpenCV、VisionMaster 到底怎么选这个话题在社区里吵了很多年我的看法是没有绝对更好只有更合适。但针对测量定位这个具体场景三者的定位差异还是挺明显的。Halcon 的优势在于它的亚像素边缘提取和计量模型做得非常成熟算子封装度高一行measure_pos就能拿到亚像素精度的边缘点配套的标定、畸变校正、手眼标定工具链也完整。它的形状匹配对光照变化、部分遮挡的鲁棒性在工业现场是经过大量验证的。缺点也很直接商业授权价格不低运行时需要 license团队学习曲线偏陡算子数量多到让人眼花。OpenCV 免费、生态大、Python 和 C 都方便做图像处理、特征提取、深度学习的接口都齐。但它的亚像素测量工具链相对散你得自己拼装边缘检测、亚像素细化、直线拟合、圆拟合这一整套东西中间每一步的精度和稳定性都要自己兜底。做研究和原型很爽做产线级的高精度测量就得自己造不少轮子。VisionMaster 这类国产平台的优势是上手快、拖拽式配置、和国产 PLC 对接方便适合标准化程度高、精度要求不那么苛刻的场合。但遇到非标几何、复杂约束或者需要深度定制的算法灵活度就不如自己写代码。我的实际判断标准是这样如果公差要求优于 ±0.05mm且几何量比较规整圆、直线、角度Halcon 的性价比最高如果项目预算敏感、精度要求一般OpenCV 或者国产平台足够如果团队里没人写代码、要求快速交付优先考虑图形化平台。还有一个容易被忽略的点Halcon 可以和 OpenCV 混用。热词里有人问C# 使用 Halcon 和 OpenCV怎么配合实际做法很常见——用 Halcon 做高精度的定位和测量用 OpenCV 做前期的图像预处理或者后期的深度学习推理各取所长。两者之间通过内存里的图像数据比如 byte 数组互相传递不一定非要走文件。1.3 定位与测量的耦合关系这里要强调一个工程上的关键概念定位坐标系是所有测量的基准。如果你的定位不稳定测量结果一定会跟着抖而且这种抖动往往被误判成测量算法不准白折腾很久。正确的做法是把定位和测量拆成两级。第一级用形状匹配找到工件位姿输出一个刚体变换矩阵第二级用这个矩阵把预先定义好的测量 ROI 变换到实际位置再在变换后的 ROI 里做测量。这样一来工件平移、旋转都不会影响测量区域的相对位置测量结果只对工件本身的尺寸变化敏感信噪比会好很多。Halcon 里做这个变换的核心算子就是vector_angle_to_rigid它根据模板的参考位姿和当前匹配到的位姿算出一个 2D 刚体变换矩阵然后用affine_trans_region或affine_trans_contour_xld把 ROI 或者轮廓搬过去。这个思路是整条流水线的骨架后面所有实操都围绕它展开。2. 成像与标定精度上限在第0步就定死了2.1 打光方案直接决定边缘质量我一直跟团队说视觉项目的 70% 成败在光学不在算法。测量定位尤其如此因为你要的是边缘的准确位置边缘糊了再牛的亚像素算法也救不回来。背光透射光是最适合尺寸测量的方案工件在光源和相机之间轮廓变成清晰的黑白剪影边缘对比度极高亚像素提取的重复性能做到 1/50 像素甚至更好。缺点是只能测外轮廓内孔如果被挡住就测不到。对于内孔、盲孔这类特征通常用同轴光或者低角度环形光。同轴光从镜头方向打下去孔壁和孔底的反射差异会形成明显的明暗分界适合定位孔心。低角度环形光则能突出表面纹理和边缘的立体感但它对表面粗糙度很敏感磨砂面、拉丝面在这种光下边缘会变得非常脏。热词里提到的磨砂面提取边缘特征是个典型难题。磨砂面会把光打散边缘过渡区可能有十几个像素宽直接卡尺提取会得到一堆杂乱的边缘点。我的处理办法是两个一是改用背光或者同轴光从物理上避开这个问题二是在算法上用emphasize或者高斯差分diff_of_gauss先把边缘锐化再用较大的 Sigma 和较高的阈值去卡尺压制掉噪声点。如果实在没法改光学就得接受精度下降把公差重新谈。实操心得不要指望后期算法能弥补糟糕的打光。我在一个项目上花了三天调算法最后还是换了一支光源两个小时搞定。光学能解决的事别用代码硬扛。2.2 像素当量与精度的算术关系这块是很多新人容易含糊的地方我把算式列清楚。像素当量也叫系统分辨率的计算方式是像素当量 (mm/pixel) 视场宽度 (mm) / 相机水平像素数 (pixel)举个具体例子用一台 2448×2048 的 500 万像素相机配一个视场 50mm×42mm 的镜头那么水平方向的像素当量是 50 / 2448 ≈ 0.0204 mm/pixel也就是每个像素代表 0.0204 毫米。理论精度不等于像素当量。亚像素边缘提取的实际重复性在边缘质量好的情况下大约是 1/20 到 1/50 像素。保守一点取 1/20 像素那么重复性约等于 0.0204 / 20 ≈ 0.001mm也就是 1 微米。注意这是重复性不是准确度准确度还受标定误差、镜头畸变、机械重复性的影响。那怎么反推需要多高的分辨率假设公差是 ±0.05mm总公差带 0.1mm要求重复性优于 1/10 公差即 0.01mm。取亚像素精度 1/20 像素则需要的像素当量约 0.01 × 20 0.2 mm/pixel。这个要求其实很低普通相机就能满足。反过来说如果公差是 ±0.005mm总带 0.01mm要求重复性 0.001mm亚像素取 1/30 像素则像素当量要小到 0.03mm/pixel 左右那就得考虑更高分辨率的相机、更小的视场或者干脆分两次拍照分别测不同特征。这张表可以帮你快速估算公差要求建议重复性亚像素精度假设需要的像素当量±0.1mm0.02mm1/20 像素≤0.4 mm/pixel±0.05mm0.01mm1/20 像素≤0.2 mm/pixel±0.01mm0.002mm1/30 像素≤0.06 mm/pixel±0.005mm0.001mm1/30 像素≤0.03 mm/pixel记住一句话视场越大精度越差。想提高精度缩小视场是最直接有效的办法代价是测不了大工件或者需要多相机、多次拍照。2.3 标定的正确做法与畸变处理标定的目的有两个一是把像素坐标换算成物理尺寸二是校正镜头畸变。最朴素的标定方法是量一块尺寸已知的标准件在图像上测出它的像素长度两个一除就得到像素当量。这种方法快但只在视场中心准确视场边缘因为畸变会偏几个像素。正规的做法是用 Halcon 的相机标定工具链。基本流程是这样的* 创建标定数据模型 create_calib_data (calibration_object, 1, 1, CalibDataID) set_calib_data_cam_param (CalibDataID, 0, area_scan_division, [0.016, 0, 0, 0, 0, 0, 0, 0]) set_calib_data_calib_object (CalibDataID, 0, calplate_30mm) * 采集多张不同位姿的标定板图像 find_calib_object (Image, CalibDataID, 0, 0, 0, [], []) get_calib_data_observ_contours (Contours, CalibDataID, caltab, 0, 0, 0) get_calib_data_observ_points (CalibDataID, 0, 0, 0, Row, Column, Index, Pose) * 完成标定 calibrate_cameras (CalibDataID, Error) get_calib_data (CalibDataID, camera, 0, params, CamParam)标定板至少要采集 10 到 15 个不同角度和位置的图像覆盖率越高标定结果越可靠。标定完成后得到的CamParam可以直接传给change_radial_distortion_cam_par和change_radial_distortion_image做畸变校正。对于测量定位还有个更简单但很实用的做法如果只用视场中心的一小块区域测量且镜头畸变很小比如远心镜头可以只做单点标定把标定板放在工件所在的同一平面上直接算出像素当量。关键点是标定板必须和被测面共面如果标定板放高了 2mm透视误差会让尺寸出现明显偏差。注意标定板一定要放在工件实际所在的平面上而不是随便找个位置放。这个错误新手犯得特别多量出来的尺寸看着正常实际一直在偏。3. 核心算子拆解匹配、卡尺、计量模型3.1 形状匹配的参数调法与常见误区形状匹配是定位的基础核心算子是create_shape_model和find_shape_model。很多人调参调不好是因为没搞懂每个参数在干什么。* 创建模板 reduce_domain (Image, ROI, ImageReduced) create_shape_model (ImageReduced, auto, -0.39, 0.79, auto, auto, use_polarity, auto, auto, ModelID) * 查找匹配 find_shape_model (Image, ModelID, -0.39, 0.79, 0.5, 1, 0.5, least_squares, 0, 0.9, Row, Column, Angle, Score)逐个说关键参数NumLevels控制金字塔层数。auto会由系统自动决定一般够用。层数越多匹配越快但精度会下降因为高层的模板是降采样的。如果定位精度要求高可以手动指定较小的层数比如 3 到 4 层。AngleStart和AngleExtent是角度搜索范围单位是弧度。-0.39弧度约等于 -22.4 度0.79弧度约等于 45 度。搜索范围越小越快所以不要图省事填 360 度能确定工件不会转那么大就把范围压小。Metric参数很关键。use_polarity要求模板和图像里目标的对比度极性一致也就是亮的还是亮的、暗的还是暗的适合光照稳定的场合。如果工件表面反光强、光照不稳定用ignore_global_polarity会更鲁棒代价是可能匹配到一些错误目标。还有一个ignore_local_polarity用于局部光照变化。find_shape_model里的MinScore是最常用的调节旋钮一般取 0.5 到 0.7。定得太高容易漏检定得太低容易误匹配。我通常先设 0.7 跑一批图看分数分布再根据实际情况微调。SubPixel参数决定亚像素精度。least_squares精度最高但慢interpolation快一些但精度稍低none就是整数像素。测量定位场景建议用least_squares除非节拍实在紧张。Greediness控制搜索的贪婪程度范围 0 到 1。0.9 是默认值越快但可能漏掉一些候选设为 0 就是穷举搜索最慢但最不容易漏。如果你发现工件偶尔定位不到可以先把 Greediness 调到 0.7 试试。实操心得模板不要做得太大也不要太小。太大包含太多背景容易受干扰太小特征不足匹配分数不稳定。我的经验是模板要包含 2 到 3 个明显的、不易变化的特征比如工件的几个角或者几条直边同时避开容易有毛刺、油污的区域。3.2 卡尺工具的亚像素提取要点卡尺是尺寸测量的主力工具用的是gen_measure_rectangle2加measure_pos或者measure_pairs。gen_measure_rectangle2 (Row, Column, Phi, Length1, Length2, Width, Height, bilinear, MeasureHandle) measure_pos (Image, MeasureHandle, 1, 30, all, all, RowEdge, ColumnEdge, Amplitude, Distance) close_measure (MeasureHandle)gen_measure_rectangle2定义了一个带方向的矩形测量区域。Row、Column、Phi是矩形中心的位置和方向角Length1是沿边缘方向的半长Length2是垂直边缘方向的半宽。这两个值决定测量区域的形状——Length1 越大测量的是越长的一段边缘结果越稳定Length2 要覆盖边缘过渡区太窄取不到完整边缘太宽容易混入干扰。measure_pos里几个参数Sigma是高斯平滑系数用于压制噪声。1是常用的默认值噪声大可以加到 1.5 到 2但加太大会让边缘位置产生偏移影响精度。Threshold是边缘幅度阈值30是个常见的起点。边缘对比度弱就调低杂边多就调高。Transition参数决定提取哪种极性的边缘positive是从暗到亮negative是从亮到暗all是两者都取。这个参数填错是新手最常见的错误之一结果是明明有边缘却提不出来或者提出来的边缘方向完全反了。Select参数决定怎么选边缘all返回所有找到的边缘first只返回第一个last只返回最后一个。做尺寸测量时通常用first和last分别取两个边缘再算距离。如果要量一个边到边的宽度用measure_pairs更方便它直接配对返回成对的边缘输出RowEdgeFirst、RowEdgeSecond和它们之间的距离IntraDistance。measure_pairs (Image, MeasureHandle, 1, 30, all, all, RowEdgeFirst, ColumnEdgeFirst, AmplitudeFirst, RowEdgeSecond, ColumnEdgeSecond, AmplitudeSecond, IntraDistance, InterDistance)IntraDistance就是配对边缘之间的距离单位是像素乘以像素当量就是实际尺寸。这个直接用比自己去配两个measure_pos结果省事得多。3.3 计量模型多元素约束下的精度提升如果你只测一两个尺寸卡尺足够了。但如果一个工件上要测圆、直线、交点、直径、同心度、距离等一大堆东西用卡尺一个个拼会很累而且各元素之间没有全局约束精度也上不去。这时候就该上计量模型了。计量模型的核心思想是把所有几何元素放在一个模型里一次性提取所有边缘点然后做全局最小二乘拟合。因为所有元素共享同一批边缘点相互之间的约束关系比如同心、共线、垂直可以被利用最终精度比单独测每个元素要高。create_metrology_model (MetrologyHandle) set_metrology_model_image_size (MetrologyHandle, Width, Height) * 添加一个圆测量带卡尺参数 add_metrology_object_circle_measure (MetrologyHandle, Row, Column, Radius, 10, 5, 1, 30, [], [], CircleIndex) * 设置卡尺极性等参数 set_metrology_object_param (MetrologyHandle, CircleIndex, measure_transition, positive) set_metrology_object_param (MetrologyHandle, CircleIndex, measure_select, all) * 应用模型 apply_metrology_model (Image, MetrologyHandle) * 取结果 get_metrology_object_result (MetrologyHandle, CircleIndex, all, result_type, all_param, CircleParam) get_metrology_object_result_contour (Contour, MetrologyHandle, CircleIndex, all, 1.5)add_metrology_object_circle_measure里的参数依次是中心行、中心列、半径、卡尺数量、卡尺长度、Sigma、阈值。这里的卡尺数量是沿着圆周均匀分布多少个测量卡尺数量越多拟合越稳但速度越慢一般圆用 10 到 20 个大圆可以多些。计量模型还有个很强的地方是能直接算元素之间的几何关系。比如get_metrology_object_result可以拿到圆的中心、半径然后你用distance_pp算两圆心距离用angle_ll算两条直线的夹角这些都是 Halcon 现成的算子。如果要做同心度、位置度这类形位公差也能在图元结果基础上算出来。提示计量模型对初始位置比较敏感圆心的初始位置离实际太远会导致卡尺取不到边缘。所以标准做法是先用形状匹配或者轮廓匹配做粗定位再把粗定位结果作为计量模型的初始参数这样可以大幅提高稳定性。3.4 坐标系与刚体变换vector_angle_to_rigid 的用法前面提过定位的意义在于给测量提供坐标系。Halcon 里最核心的变换算子是vector_angle_to_rigidvector_angle_to_rigid (Row1, Column1, Angle1, Row2, Column2, Angle2, HomMat2D)它的含义是把参考点(Row1, Column1, Angle1)所在的坐标系变换到目标点(Row2, Column2, Angle2)所在的坐标系输出一个齐次变换矩阵HomMat2D。典型用法是这样创建模板时记下模板的参考位置比如你在 ROI 中心定义的 (1000, 1000, 0)运行时匹配到工件在 (1050, 980, 0.15)。把这两个传进去就算出了变换。vector_angle_to_rigid (RefRow, RefCol, RefAngle, MatchRow, MatchCol, MatchAngle, HomMat2D) * 把预设的测量区域变换过去 affine_trans_region (MeasureROI, MeasureROITrans, HomMat2D, nearest_neighbor) * 或者变换一个点 affine_trans_point_2d (HomMat2D, RefPointRow, RefPointCol, NewRow, NewCol)这样即使工件在视野里随便移动旋转测量区域也能自动跟过去不会量到别的地方。热词里有人问halcon 向量其实在 Halcon 的语境里向量通常指两个意思一是上面说的这种变换关系用向量表示平移和旋转二是边缘的方向向量用于描述轮廓的走向。理解清楚这两个语境就不会被这个词搞混了。还有一个没有模板时的定位方法如果工件形状简单比如就是一个圆可以直接用edges_sub_pix提出亚像素轮廓再用fit_circle_contour_xld拟合圆心这也是定位的一种精度甚至比形状匹配更高但鲁棒性差一些依赖边缘提取的质量。4. 完整实操法兰内孔定位与尺寸测量4.1 需求拆解与精度分配接下来用一个完整的例子把前面的东西串起来。假设一个法兰盘的检测需求工件外径约 80mm内孔直径 20mm公差 ±0.03mm需要测量内孔直径、内孔到外边缘的距离、法兰上的一个定位缺口角度生产节拍要求单件不超过 300ms工件在视野中位置随机旋转角度不超过 ±30 度精度分配总公差 0.06mm要求重复性优于 0.006mm留余量取 0.004mm。亚像素按 1/25 像素估算需要像素当量小于 0.1mm/pixel。选择视场 60mm × 48mm配 2448 × 2048 相机像素当量约 0.0245mm/pixel重复性理论值约 0.001mm有充足余量。光学方案内孔用同轴光外轮廓用背光。实际因为背光会挡住内孔我打算用低角度环形光配合同轴光叠加或者干脆只用同轴光靠孔壁的阴影区分边界。4.2 标定流程与代码标定是整个流程的地基我习惯把它单独写成一个过程。* 标定过程用九点标定板或圆点标定板 * 采集标定板图像 read_image (CalibImage, calib_plate.png) * 提取标定板圆点 find_calib_object (CalibImage, CalibDataID, 0, 0, 0, [], []) get_calib_data_observ_points (CalibDataID, 0, 0, 0, Row, Column, Index, Pose) * 计算像素当量简单方法量两个已知间距的点 * 取标定板相邻两点中心实际距离 3mm PointRow1 : Row[0] PointCol1 : Column[0] PointRow2 : Row[1] PointCol2 : Column[1] distance_pp (PointRow1, PointCol1, PointRow2, PointCol2, PixelDist) PixelSize : 3.0 / PixelDist如果需要畸变校正就用完整的calibrate_cameras流程得到CamParam后用change_radial_distortion_image生成校正后的图像再在校正图上做测量。对于视场只有 60mm 的低畸变镜头也可以不做校正直接用中心区域的像素当量。注意标定一定要和测量用同一套硬件状态镜头焦距锁死、相机不动。如果镜头调过焦之前的标定就作废了必须重做。这个坑我在一个返修项目上踩过换了镜头没重新标定量出来的数据整体偏了 1.5%。4.3 定位与测量主流程代码主流程分四步读取图像、形状匹配定位、变换测量区域、执行测量。* 第一步读图 read_image (Image, part_001.png) get_image_size (Image, Width, Height) * 第二步形状匹配定位 find_shape_model (Image, ModelID, -0.53, 1.05, 0.5, 1, 0.5, least_squares, 0, 0.8, Row, Column, Angle, Score) if (|Score| 0) * 没找到报错返回 return () endif * 第三步算变换矩阵搬测量区域 vector_angle_to_rigid (RefRow, RefCol, RefAngle, Row, Column, Angle, HomMat2D) * 内孔圆形测量区域 gen_circle (CircleROI, RefHoleRow, RefHoleCol, RefHoleRadius 5) affine_trans_region (CircleROI, CircleROITrans, HomMat2D, nearest_neighbor) reduce_domain (Image, CircleROITrans, ImageCircle) * 第四步用计量模型测内孔 create_metrology_model (MetrologyHandle) set_metrology_model_image_size (MetrologyHandle, Width, Height) * 内孔初定位先用边缘提取找圆心 edges_sub_pix (ImageCircle, Edges, canny, 1, 20, 40) select_contours_xld (Edges, SelectedEdges, contour_length, 50, 2000, -0.5, 0.5) fit_circle_contour_xld (SelectedEdges, algebraic, -1, 0, 0, 3, 2, InitRow, InitCol, InitRadius, StartPhi, EndPhi, PointOrder) * 把初定位结果送进计量模型 add_metrology_object_circle_measure (MetrologyHandle, InitRow, InitCol, InitRadius, 20, 8, 1, 30, [], [], CircleIndex) set_metrology_object_param (MetrologyHandle, CircleIndex, measure_transition, all) apply_metrology_model (Image, MetrologyHandle) get_metrology_object_result (MetrologyHandle, CircleIndex, all, result_type, all_param, CircleParam) HoleRow : CircleParam[0] HoleCol : CircleParam[1] HoleRadius : CircleParam[2] HoleDiameter : HoleRadius * 2 * PixelSize这段代码里有个关键设计先用边缘拟合做粗定位再喂给计量模型。直接拿匹配位置去算圆心会因为匹配精度不够而让卡尺偏离加了这一步粗定位卡尺基本都能稳稳落在孔边上。4.4 结果判定与数据输出测量出结果之后要做两件事判定合格与否以及把数据传出去。* 判定 ToleranceUpper : 20.03 ToleranceLower : 19.97 if (HoleDiameter ToleranceLower and HoleDiameter ToleranceUpper) Result : OK else Result : NG endif * 计算缺口角度先把缺口区域变换过来测直线再算夹角 affine_trans_region (NotchROI, NotchROITrans, HomMat2D, nearest_neighbor) reduce_domain (Image, NotchROITrans, ImageNotch) * ......直线拟合略 * 数据输出把结果写进图像用于存证 dev_display (Image) set_tposition (WindowHandle, 20, 20) write_string (WindowHandle, D HoleDiameter$.3f Result) dump_window_image (ResultImage, WindowHandle) write_image (ResultImage, png, 0, result_001.png)这里顺带回答一个热词里常见的问题Halcon 能在原图上写文字吗严格来说write_string是往窗口上写字不是写进图像的像素里。如果要把文字真的印在图像像素上需要先dump_window_image把窗口内容抓成图像或者用paint_region、set_grayval自己画。前者最省事代价是分辨率受窗口限制。数据传给上位机一般用write_tuple写文件或者通过 socket、共享内存传递。如果用 C# 或者 Qt 做上位机直接在宿主程序里读 Halcon 的HTuple结果最方便不用绕这一圈。5. 工程化落地C#/Qt 调用与性能优化5.1 三种集成方式的取舍Halcon 程序写完之后怎么集成到实际项目里有几种常见路子。第一种是导出为可执行程序用 HDevelop 直接导出 exe靠命令行参数或者配置文件传参。这种适合简单、固定的应用缺点是灵活性差每次改逻辑都要重新导出。第二种是导出为 C 代码在 VS 或者 Qt 项目里直接编译进去。这是性能最好的方式因为没有脚本解释开销而且可以和其他 C 代码深度耦合。缺点是代码可读性一般导出后维护成本较高。第三种是用 HDevEngine 执行 hdev 脚本。宿主程序负责界面和通信算法逻辑放在 hdev 文件里通过引擎调用。这种方式灵活性最好算法改了不用重新编译宿主程序适合算法还在迭代的项目。缺点是执行时有一层解释开销节拍会稍慢一点。还有一种是导出为 C# 代码这是热词里C# 直接调用 Halcon的正解。Halcon 提供halcondotnet.dll在 VS 里引用之后就能用HalconDotNet命名空间的类语法和算子一一对应。5.2 C# 与 Qt 的可运行范例先说 C# 的写法。关键是要引用正确的 DLL并且平台目标设为 x64。using HalconDotNet; class Program { static void Main() { HObject image new HObject(); HOperatorSet.ReadImage(out image, part_001.png); HTuple width, height; HOperatorSet.GetImageSize(image, out width, out height); // 形状匹配 HObject model; HOperatorSet.ReadShapeModel(model.shm, out model); HTuple row, col, angle, score; HOperatorSet.FindShapeModel(image, model, -0.53, 1.05, 0.5, 1, 0.5, least_squares, 0, 0.8, out row, out col, out angle, out score); Console.WriteLine($Row{row.D}, Col{col.D}, Score{score.D:F3}); // 释放资源这一步千万别漏 image.Dispose(); model.Dispose(); } }几个坑要提醒HObject和HTuple都是非托管资源用完必须Dispose否则跑久了内存会一路涨。建议包在using块里或者用 try-finally 保证释放。另外如果项目是 AnyCPU一定要在项目属性里改成 x64因为 Halcon 的运行时是 64 位的不匹配会直接抛异常。再说 Qt 的用法。Qt 里用 Halcon 的 C 接口HalconCpp.h是入口。#include HalconCpp.h using namespace HalconCpp; int main() { HImage image(part_001.png); HTuple width, height; image.GetImageSize(width, height); HShapeModel model; ReadShapeModel(model.shm, model); HTuple row, col, angle, score; image.FindShapeModel(model, -0.53, 1.05, 0.5, 1, 0.5, least_squares, 0, 0.8, row, col, angle, score); qDebug() Score: score[0].D(); return 0; }.pro文件里要配置好头文件和库路径INCLUDEPATH /opt/halcon/include LIBS -L/opt/halcon/lib/x64-linux -lhalconcpp -lhalconWindows 下就是对应的halconcpp.lib和halcon.lib。注意 Halcon 的 C 接口和 Qt 都是 C 库混用没问题但要保证编译器版本和运行时库一致否则可能链接不过。5.3 内存、线程与节拍优化工程化阶段最常遇到的问题不是算不对而是跑得慢或者跑一会儿就崩。这两件事根子上都和资源管理有关。内存方面Halcon 的每个HObject都对应一块非托管内存循环里反复创建不释放几万次之后内存就爆了。养成习惯循环内创建的图像、区域、轮廓用完立刻Dispose。另外能用reduce_domain缩小处理范围的就别整图处理这会直接影响内存和处理时间。线程方面Halcon 的算子大部分是线程安全的但同一个HObject不要在多线程里同时读写。通常的架构是一个采集线程负责从相机拿图一个处理线程负责算法一个通信线程负责和 PLC 交互中间用队列传递数据。这样采集和算法可以并行节拍能压下来不少。节拍优化按收益排序大概是这么几档优化手段收益代价缩小图像处理区域大需要精确定位 ROI降低形状匹配金字塔层数中定位精度略降缩小角度搜索范围大依赖机械限位用 interpolation 替代 least_squares中亚像素精度略降降低相机分辨率或做降采样大精度下降明显减少计量模型卡尺数量中拟合稳定性略降我的习惯是先测出各步骤的耗时找出瓶颈再针对性优化。Halcon 有count_seconds可以打点计时别凭感觉猜。6. 常见问题速查与避坑经验6.1 定位漂移与测量跳动现象一匹配分数时高时低偶尔定位失败。先看光照是不是稳定如果环境光或者光源有波动把Metric换成ignore_global_polarity试试。再检查模板本身是不是包含了容易变化的区域比如反光面、油污区重新框一个更干净的模板。最后看MinScore是不是定太高适当降到 0.6。现象二定位没问题但测量值一直在某个范围内抖。这种抖动通常不是算法的锅要查三件事一是机械重复性工件每次放的位置和角度是否真的能复现可以用千分表量一下二是光源稳定性频闪光源和工频不同步会产生亮度波动三是边缘提取参数Sigma和Threshold是否匹配当前边缘质量。我遇到过一次跳动最后发现是相机的曝光时间设太短图像有轻微噪声加大曝光并降低增益之后稳定了。现象三换了一批工件测量值整体偏移。大概率是工件表面状态变了比如换了一批喷砂处理的产品边缘对比度不同亚像素提取的位置会有系统性偏移。解决办法是用同一批标准件重新标定边缘阈值或者改用对表面不敏感的背光方案。6.2 标定与精度相关标定板放的位置不对。前面提过标定板必须和被测面共面。有个简单判断方法如果测出来的尺寸随工件在视野里的位置变化而系统性变化边缘偏大、中心偏小那就是标定平面或者畸变没处理好。像素当量算了但精度还是不够。检查是不是用了错误的标定值。有时候项目里有多套硬件标定文件混用了量出来的数据会差得很离谱。建议在标定文件里带上硬件编号和标定日期加载时校验。公差要求和实际能力不匹配。如果算下来需要的像素当量已经小于 0.02mm/pixel而视场又必须覆盖整个工件那就只能考虑多次拍照拼接。Halcon 的tile_images和tile_images_offset可以做图像拼接把多张高分辨率图像拼成一张大图再测量。不过拼接本身会引入误差要确保各张图的重叠区域有足够特征做配准。实操心得任何测量系统上线前都要做重复性和再现性测试也就是常说的 GRR。取 10 个工件每个测 3 次算一下波动。如果 GRR 超过公差的 30%系统就不能用得回去改硬件或者算法。这个测试比调参数有用得多。6.3 其他高频小问题Halcon 转整型和实数怎么写用tuple_int取整、tuple_real转实数、tuple_round四舍五入。注意tuple_int是截断取整不是四舍五入负数的时候结果可能和你想的不一样。灰度值拉伸怎么用scale_image_max会把图像的灰度范围拉伸到 0 到 255适合图像整体偏暗或者对比度低的场合。如果只想做线性拉伸并指定范围用scale_image传入 mult 和 add 两个参数。HSV 怎么转换用trans_from_rgb把 RGB 图转到 HSV 空间参数里指定hsv。做颜色检测时HSV 比 RGB 稳定得多因为亮度变化主要影响 V 通道对 H 和 S 的影响小。3D 高度图怎么缩放显示高度图本质上是单通道的灰度图缩放用zoom_image_factor或者scale_image。如果要在三维空间里显示用visualize_object_model_3d打开交互式窗口可以旋转、缩放、看剖面。深度学习工具怎么装Halcon 的深度学习工具是独立安装包装完之后需要单独的 license普通的 Halcon license 不一定包含深度学习授权买之前要问清楚。模型训练一般用train_dl_model_batch推理用apply_dl_model标注工具用Deep Learning Tool。在图片上写文字用哪个算子前面说过write_string是写窗口的真要写进图像得dump_window_image。如果只是给操作员看写窗口就够了没必要折腾图像像素。图像拼接怎么做简单场景用tile_images_offset按坐标拼复杂场景先用proj_match_points_ransac找特征点算变换矩阵再用gen_projective_mosaic生成拼接图。拼接的难点是配准重叠区域特征不足会拼歪。手眼标定眼在手上怎么做用calibrate_hand_eye需要采集多组机械手位姿 标定板在相机中的位姿数据。数据组数一般不少于 10 组位姿要尽量分散不要都在一个方向小范围移动。标定完成后得到的是相机坐标系和机械手末端坐标系之间的变换矩阵用它把相机看到的坐标转到机械手坐标系里。最后分享一个我自己的习惯每个项目上线前我都会做一份退化测试把光源关掉、把工件位置故意放偏、把工件表面弄脏看看系统会怎么表现。视觉系统在理想条件下表现好是应该的真正的价值在于它在不理想条件下还能不能稳住。能通过退化测试的系统上产线之后我基本就能睡个安稳觉了。 Halcon测量定位全链路：标定、匹配、卡尺与C#/Qt集成
产线上待久了判断一个活儿好不好干基本就看三句话测什么、公差多少、节拍几秒。Halcon 测量定位这套东西说到底就是拿相机把工件在哪儿和工件多大这两件事稳定地算出来然后交给 PLC 或者上位机去做判定。它不是什么玄学但也绝对不是拖几个算子上去就能跑的——我见过太多项目Demo 阶段精度漂亮得像教科书一上产线连跑八小时就开始漂最后发现根子出在打光、标定或者一个没注意的极性参数上。这篇东西我打算把 Halcon 测量定位从方案选型、成像标定、核心算子、完整实操到工程化集成整条链路捋一遍穿插一些我自己踩过的坑和调参心得。适合正在做视觉检测项目、准备把 Halcon 落地到产线或者刚接手别人遗留代码想搞明白逻辑的朋友。看完你至少能自己搭出一条稳定的测量定位流水线并且知道出问题时该往哪儿查。1. 测量定位的底层逻辑与方案选型1.1 先回答三个问题再动手写代码很多人拿到需求第一反应是打开 HDevelop 拖算子这个顺序其实是反的。真正决定项目成败的是动手之前的三问测什么几何量、公差带多宽、节拍要求多少。这三个问题回答不清楚后面所有的工作都是白费。测什么几何量决定了你用什么工具。如果只是要找工件的位置和角度然后把坐标系对齐那是定位问题核心工具是形状匹配shape-based matching如果要量内孔直径、边到边的距离、圆的同心度那是测量问题核心工具是卡尺measure和计量模型metrology如果两者都要通常是先匹配定位再在定位后的坐标系里做测量这样测量区域会跟着工件跑不会因为工件摆放位置变化而量错地方。公差带多宽直接决定你的硬件选型和算法精度要求。举个实在的例子工件内孔直径 20mm公差 ±0.02mm那么总公差带是 0.04mm。行业里通常要求测量系统的重复性优于公差的 1/10也就是 0.004mm理想情况下要压到 1/5 甚至 1/10 才保险。这就意味着你的像素当量得控制在很小的量级镜头、相机、光源都得跟着升级。反过来如果公差是 ±0.2mm那普通 500 万像素相机配个远心镜头就能轻松搞定没必要上高分辨率。节拍要求决定了你能用多重的算法。形状匹配在金塔层数多、搜索角度大的时候单次可能要几十毫秒计量模型的全局优化更慢。如果节拍要求 200ms 一件你还有富余去做多次测量取中值如果要求 30ms 一件那就得靠缩小搜索范围、减少模板层级、降低图像分辨率这些手段来换速度。提示拿到需求后先写一份简单的精度分配表把总公差拆到成像、算法、机械重复性三个环节上每个环节留多少余量心里有数后面调参就不会瞎调。1.2 Halcon、OpenCV、VisionMaster 到底怎么选这个话题在社区里吵了很多年我的看法是没有绝对更好只有更合适。但针对测量定位这个具体场景三者的定位差异还是挺明显的。Halcon 的优势在于它的亚像素边缘提取和计量模型做得非常成熟算子封装度高一行measure_pos就能拿到亚像素精度的边缘点配套的标定、畸变校正、手眼标定工具链也完整。它的形状匹配对光照变化、部分遮挡的鲁棒性在工业现场是经过大量验证的。缺点也很直接商业授权价格不低运行时需要 license团队学习曲线偏陡算子数量多到让人眼花。OpenCV 免费、生态大、Python 和 C 都方便做图像处理、特征提取、深度学习的接口都齐。但它的亚像素测量工具链相对散你得自己拼装边缘检测、亚像素细化、直线拟合、圆拟合这一整套东西中间每一步的精度和稳定性都要自己兜底。做研究和原型很爽做产线级的高精度测量就得自己造不少轮子。VisionMaster 这类国产平台的优势是上手快、拖拽式配置、和国产 PLC 对接方便适合标准化程度高、精度要求不那么苛刻的场合。但遇到非标几何、复杂约束或者需要深度定制的算法灵活度就不如自己写代码。我的实际判断标准是这样如果公差要求优于 ±0.05mm且几何量比较规整圆、直线、角度Halcon 的性价比最高如果项目预算敏感、精度要求一般OpenCV 或者国产平台足够如果团队里没人写代码、要求快速交付优先考虑图形化平台。还有一个容易被忽略的点Halcon 可以和 OpenCV 混用。热词里有人问C# 使用 Halcon 和 OpenCV怎么配合实际做法很常见——用 Halcon 做高精度的定位和测量用 OpenCV 做前期的图像预处理或者后期的深度学习推理各取所长。两者之间通过内存里的图像数据比如 byte 数组互相传递不一定非要走文件。1.3 定位与测量的耦合关系这里要强调一个工程上的关键概念定位坐标系是所有测量的基准。如果你的定位不稳定测量结果一定会跟着抖而且这种抖动往往被误判成测量算法不准白折腾很久。正确的做法是把定位和测量拆成两级。第一级用形状匹配找到工件位姿输出一个刚体变换矩阵第二级用这个矩阵把预先定义好的测量 ROI 变换到实际位置再在变换后的 ROI 里做测量。这样一来工件平移、旋转都不会影响测量区域的相对位置测量结果只对工件本身的尺寸变化敏感信噪比会好很多。Halcon 里做这个变换的核心算子就是vector_angle_to_rigid它根据模板的参考位姿和当前匹配到的位姿算出一个 2D 刚体变换矩阵然后用affine_trans_region或affine_trans_contour_xld把 ROI 或者轮廓搬过去。这个思路是整条流水线的骨架后面所有实操都围绕它展开。2. 成像与标定精度上限在第0步就定死了2.1 打光方案直接决定边缘质量我一直跟团队说视觉项目的 70% 成败在光学不在算法。测量定位尤其如此因为你要的是边缘的准确位置边缘糊了再牛的亚像素算法也救不回来。背光透射光是最适合尺寸测量的方案工件在光源和相机之间轮廓变成清晰的黑白剪影边缘对比度极高亚像素提取的重复性能做到 1/50 像素甚至更好。缺点是只能测外轮廓内孔如果被挡住就测不到。对于内孔、盲孔这类特征通常用同轴光或者低角度环形光。同轴光从镜头方向打下去孔壁和孔底的反射差异会形成明显的明暗分界适合定位孔心。低角度环形光则能突出表面纹理和边缘的立体感但它对表面粗糙度很敏感磨砂面、拉丝面在这种光下边缘会变得非常脏。热词里提到的磨砂面提取边缘特征是个典型难题。磨砂面会把光打散边缘过渡区可能有十几个像素宽直接卡尺提取会得到一堆杂乱的边缘点。我的处理办法是两个一是改用背光或者同轴光从物理上避开这个问题二是在算法上用emphasize或者高斯差分diff_of_gauss先把边缘锐化再用较大的 Sigma 和较高的阈值去卡尺压制掉噪声点。如果实在没法改光学就得接受精度下降把公差重新谈。实操心得不要指望后期算法能弥补糟糕的打光。我在一个项目上花了三天调算法最后还是换了一支光源两个小时搞定。光学能解决的事别用代码硬扛。2.2 像素当量与精度的算术关系这块是很多新人容易含糊的地方我把算式列清楚。像素当量也叫系统分辨率的计算方式是像素当量 (mm/pixel) 视场宽度 (mm) / 相机水平像素数 (pixel)举个具体例子用一台 2448×2048 的 500 万像素相机配一个视场 50mm×42mm 的镜头那么水平方向的像素当量是 50 / 2448 ≈ 0.0204 mm/pixel也就是每个像素代表 0.0204 毫米。理论精度不等于像素当量。亚像素边缘提取的实际重复性在边缘质量好的情况下大约是 1/20 到 1/50 像素。保守一点取 1/20 像素那么重复性约等于 0.0204 / 20 ≈ 0.001mm也就是 1 微米。注意这是重复性不是准确度准确度还受标定误差、镜头畸变、机械重复性的影响。那怎么反推需要多高的分辨率假设公差是 ±0.05mm总公差带 0.1mm要求重复性优于 1/10 公差即 0.01mm。取亚像素精度 1/20 像素则需要的像素当量约 0.01 × 20 0.2 mm/pixel。这个要求其实很低普通相机就能满足。反过来说如果公差是 ±0.005mm总带 0.01mm要求重复性 0.001mm亚像素取 1/30 像素则像素当量要小到 0.03mm/pixel 左右那就得考虑更高分辨率的相机、更小的视场或者干脆分两次拍照分别测不同特征。这张表可以帮你快速估算公差要求建议重复性亚像素精度假设需要的像素当量±0.1mm0.02mm1/20 像素≤0.4 mm/pixel±0.05mm0.01mm1/20 像素≤0.2 mm/pixel±0.01mm0.002mm1/30 像素≤0.06 mm/pixel±0.005mm0.001mm1/30 像素≤0.03 mm/pixel记住一句话视场越大精度越差。想提高精度缩小视场是最直接有效的办法代价是测不了大工件或者需要多相机、多次拍照。2.3 标定的正确做法与畸变处理标定的目的有两个一是把像素坐标换算成物理尺寸二是校正镜头畸变。最朴素的标定方法是量一块尺寸已知的标准件在图像上测出它的像素长度两个一除就得到像素当量。这种方法快但只在视场中心准确视场边缘因为畸变会偏几个像素。正规的做法是用 Halcon 的相机标定工具链。基本流程是这样的* 创建标定数据模型 create_calib_data (calibration_object, 1, 1, CalibDataID) set_calib_data_cam_param (CalibDataID, 0, area_scan_division, [0.016, 0, 0, 0, 0, 0, 0, 0]) set_calib_data_calib_object (CalibDataID, 0, calplate_30mm) * 采集多张不同位姿的标定板图像 find_calib_object (Image, CalibDataID, 0, 0, 0, [], []) get_calib_data_observ_contours (Contours, CalibDataID, caltab, 0, 0, 0) get_calib_data_observ_points (CalibDataID, 0, 0, 0, Row, Column, Index, Pose) * 完成标定 calibrate_cameras (CalibDataID, Error) get_calib_data (CalibDataID, camera, 0, params, CamParam)标定板至少要采集 10 到 15 个不同角度和位置的图像覆盖率越高标定结果越可靠。标定完成后得到的CamParam可以直接传给change_radial_distortion_cam_par和change_radial_distortion_image做畸变校正。对于测量定位还有个更简单但很实用的做法如果只用视场中心的一小块区域测量且镜头畸变很小比如远心镜头可以只做单点标定把标定板放在工件所在的同一平面上直接算出像素当量。关键点是标定板必须和被测面共面如果标定板放高了 2mm透视误差会让尺寸出现明显偏差。注意标定板一定要放在工件实际所在的平面上而不是随便找个位置放。这个错误新手犯得特别多量出来的尺寸看着正常实际一直在偏。3. 核心算子拆解匹配、卡尺、计量模型3.1 形状匹配的参数调法与常见误区形状匹配是定位的基础核心算子是create_shape_model和find_shape_model。很多人调参调不好是因为没搞懂每个参数在干什么。* 创建模板 reduce_domain (Image, ROI, ImageReduced) create_shape_model (ImageReduced, auto, -0.39, 0.79, auto, auto, use_polarity, auto, auto, ModelID) * 查找匹配 find_shape_model (Image, ModelID, -0.39, 0.79, 0.5, 1, 0.5, least_squares, 0, 0.9, Row, Column, Angle, Score)逐个说关键参数NumLevels控制金字塔层数。auto会由系统自动决定一般够用。层数越多匹配越快但精度会下降因为高层的模板是降采样的。如果定位精度要求高可以手动指定较小的层数比如 3 到 4 层。AngleStart和AngleExtent是角度搜索范围单位是弧度。-0.39弧度约等于 -22.4 度0.79弧度约等于 45 度。搜索范围越小越快所以不要图省事填 360 度能确定工件不会转那么大就把范围压小。Metric参数很关键。use_polarity要求模板和图像里目标的对比度极性一致也就是亮的还是亮的、暗的还是暗的适合光照稳定的场合。如果工件表面反光强、光照不稳定用ignore_global_polarity会更鲁棒代价是可能匹配到一些错误目标。还有一个ignore_local_polarity用于局部光照变化。find_shape_model里的MinScore是最常用的调节旋钮一般取 0.5 到 0.7。定得太高容易漏检定得太低容易误匹配。我通常先设 0.7 跑一批图看分数分布再根据实际情况微调。SubPixel参数决定亚像素精度。least_squares精度最高但慢interpolation快一些但精度稍低none就是整数像素。测量定位场景建议用least_squares除非节拍实在紧张。Greediness控制搜索的贪婪程度范围 0 到 1。0.9 是默认值越快但可能漏掉一些候选设为 0 就是穷举搜索最慢但最不容易漏。如果你发现工件偶尔定位不到可以先把 Greediness 调到 0.7 试试。实操心得模板不要做得太大也不要太小。太大包含太多背景容易受干扰太小特征不足匹配分数不稳定。我的经验是模板要包含 2 到 3 个明显的、不易变化的特征比如工件的几个角或者几条直边同时避开容易有毛刺、油污的区域。3.2 卡尺工具的亚像素提取要点卡尺是尺寸测量的主力工具用的是gen_measure_rectangle2加measure_pos或者measure_pairs。gen_measure_rectangle2 (Row, Column, Phi, Length1, Length2, Width, Height, bilinear, MeasureHandle) measure_pos (Image, MeasureHandle, 1, 30, all, all, RowEdge, ColumnEdge, Amplitude, Distance) close_measure (MeasureHandle)gen_measure_rectangle2定义了一个带方向的矩形测量区域。Row、Column、Phi是矩形中心的位置和方向角Length1是沿边缘方向的半长Length2是垂直边缘方向的半宽。这两个值决定测量区域的形状——Length1 越大测量的是越长的一段边缘结果越稳定Length2 要覆盖边缘过渡区太窄取不到完整边缘太宽容易混入干扰。measure_pos里几个参数Sigma是高斯平滑系数用于压制噪声。1是常用的默认值噪声大可以加到 1.5 到 2但加太大会让边缘位置产生偏移影响精度。Threshold是边缘幅度阈值30是个常见的起点。边缘对比度弱就调低杂边多就调高。Transition参数决定提取哪种极性的边缘positive是从暗到亮negative是从亮到暗all是两者都取。这个参数填错是新手最常见的错误之一结果是明明有边缘却提不出来或者提出来的边缘方向完全反了。Select参数决定怎么选边缘all返回所有找到的边缘first只返回第一个last只返回最后一个。做尺寸测量时通常用first和last分别取两个边缘再算距离。如果要量一个边到边的宽度用measure_pairs更方便它直接配对返回成对的边缘输出RowEdgeFirst、RowEdgeSecond和它们之间的距离IntraDistance。measure_pairs (Image, MeasureHandle, 1, 30, all, all, RowEdgeFirst, ColumnEdgeFirst, AmplitudeFirst, RowEdgeSecond, ColumnEdgeSecond, AmplitudeSecond, IntraDistance, InterDistance)IntraDistance就是配对边缘之间的距离单位是像素乘以像素当量就是实际尺寸。这个直接用比自己去配两个measure_pos结果省事得多。3.3 计量模型多元素约束下的精度提升如果你只测一两个尺寸卡尺足够了。但如果一个工件上要测圆、直线、交点、直径、同心度、距离等一大堆东西用卡尺一个个拼会很累而且各元素之间没有全局约束精度也上不去。这时候就该上计量模型了。计量模型的核心思想是把所有几何元素放在一个模型里一次性提取所有边缘点然后做全局最小二乘拟合。因为所有元素共享同一批边缘点相互之间的约束关系比如同心、共线、垂直可以被利用最终精度比单独测每个元素要高。create_metrology_model (MetrologyHandle) set_metrology_model_image_size (MetrologyHandle, Width, Height) * 添加一个圆测量带卡尺参数 add_metrology_object_circle_measure (MetrologyHandle, Row, Column, Radius, 10, 5, 1, 30, [], [], CircleIndex) * 设置卡尺极性等参数 set_metrology_object_param (MetrologyHandle, CircleIndex, measure_transition, positive) set_metrology_object_param (MetrologyHandle, CircleIndex, measure_select, all) * 应用模型 apply_metrology_model (Image, MetrologyHandle) * 取结果 get_metrology_object_result (MetrologyHandle, CircleIndex, all, result_type, all_param, CircleParam) get_metrology_object_result_contour (Contour, MetrologyHandle, CircleIndex, all, 1.5)add_metrology_object_circle_measure里的参数依次是中心行、中心列、半径、卡尺数量、卡尺长度、Sigma、阈值。这里的卡尺数量是沿着圆周均匀分布多少个测量卡尺数量越多拟合越稳但速度越慢一般圆用 10 到 20 个大圆可以多些。计量模型还有个很强的地方是能直接算元素之间的几何关系。比如get_metrology_object_result可以拿到圆的中心、半径然后你用distance_pp算两圆心距离用angle_ll算两条直线的夹角这些都是 Halcon 现成的算子。如果要做同心度、位置度这类形位公差也能在图元结果基础上算出来。提示计量模型对初始位置比较敏感圆心的初始位置离实际太远会导致卡尺取不到边缘。所以标准做法是先用形状匹配或者轮廓匹配做粗定位再把粗定位结果作为计量模型的初始参数这样可以大幅提高稳定性。3.4 坐标系与刚体变换vector_angle_to_rigid 的用法前面提过定位的意义在于给测量提供坐标系。Halcon 里最核心的变换算子是vector_angle_to_rigidvector_angle_to_rigid (Row1, Column1, Angle1, Row2, Column2, Angle2, HomMat2D)它的含义是把参考点(Row1, Column1, Angle1)所在的坐标系变换到目标点(Row2, Column2, Angle2)所在的坐标系输出一个齐次变换矩阵HomMat2D。典型用法是这样创建模板时记下模板的参考位置比如你在 ROI 中心定义的 (1000, 1000, 0)运行时匹配到工件在 (1050, 980, 0.15)。把这两个传进去就算出了变换。vector_angle_to_rigid (RefRow, RefCol, RefAngle, MatchRow, MatchCol, MatchAngle, HomMat2D) * 把预设的测量区域变换过去 affine_trans_region (MeasureROI, MeasureROITrans, HomMat2D, nearest_neighbor) * 或者变换一个点 affine_trans_point_2d (HomMat2D, RefPointRow, RefPointCol, NewRow, NewCol)这样即使工件在视野里随便移动旋转测量区域也能自动跟过去不会量到别的地方。热词里有人问halcon 向量其实在 Halcon 的语境里向量通常指两个意思一是上面说的这种变换关系用向量表示平移和旋转二是边缘的方向向量用于描述轮廓的走向。理解清楚这两个语境就不会被这个词搞混了。还有一个没有模板时的定位方法如果工件形状简单比如就是一个圆可以直接用edges_sub_pix提出亚像素轮廓再用fit_circle_contour_xld拟合圆心这也是定位的一种精度甚至比形状匹配更高但鲁棒性差一些依赖边缘提取的质量。4. 完整实操法兰内孔定位与尺寸测量4.1 需求拆解与精度分配接下来用一个完整的例子把前面的东西串起来。假设一个法兰盘的检测需求工件外径约 80mm内孔直径 20mm公差 ±0.03mm需要测量内孔直径、内孔到外边缘的距离、法兰上的一个定位缺口角度生产节拍要求单件不超过 300ms工件在视野中位置随机旋转角度不超过 ±30 度精度分配总公差 0.06mm要求重复性优于 0.006mm留余量取 0.004mm。亚像素按 1/25 像素估算需要像素当量小于 0.1mm/pixel。选择视场 60mm × 48mm配 2448 × 2048 相机像素当量约 0.0245mm/pixel重复性理论值约 0.001mm有充足余量。光学方案内孔用同轴光外轮廓用背光。实际因为背光会挡住内孔我打算用低角度环形光配合同轴光叠加或者干脆只用同轴光靠孔壁的阴影区分边界。4.2 标定流程与代码标定是整个流程的地基我习惯把它单独写成一个过程。* 标定过程用九点标定板或圆点标定板 * 采集标定板图像 read_image (CalibImage, calib_plate.png) * 提取标定板圆点 find_calib_object (CalibImage, CalibDataID, 0, 0, 0, [], []) get_calib_data_observ_points (CalibDataID, 0, 0, 0, Row, Column, Index, Pose) * 计算像素当量简单方法量两个已知间距的点 * 取标定板相邻两点中心实际距离 3mm PointRow1 : Row[0] PointCol1 : Column[0] PointRow2 : Row[1] PointCol2 : Column[1] distance_pp (PointRow1, PointCol1, PointRow2, PointCol2, PixelDist) PixelSize : 3.0 / PixelDist如果需要畸变校正就用完整的calibrate_cameras流程得到CamParam后用change_radial_distortion_image生成校正后的图像再在校正图上做测量。对于视场只有 60mm 的低畸变镜头也可以不做校正直接用中心区域的像素当量。注意标定一定要和测量用同一套硬件状态镜头焦距锁死、相机不动。如果镜头调过焦之前的标定就作废了必须重做。这个坑我在一个返修项目上踩过换了镜头没重新标定量出来的数据整体偏了 1.5%。4.3 定位与测量主流程代码主流程分四步读取图像、形状匹配定位、变换测量区域、执行测量。* 第一步读图 read_image (Image, part_001.png) get_image_size (Image, Width, Height) * 第二步形状匹配定位 find_shape_model (Image, ModelID, -0.53, 1.05, 0.5, 1, 0.5, least_squares, 0, 0.8, Row, Column, Angle, Score) if (|Score| 0) * 没找到报错返回 return () endif * 第三步算变换矩阵搬测量区域 vector_angle_to_rigid (RefRow, RefCol, RefAngle, Row, Column, Angle, HomMat2D) * 内孔圆形测量区域 gen_circle (CircleROI, RefHoleRow, RefHoleCol, RefHoleRadius 5) affine_trans_region (CircleROI, CircleROITrans, HomMat2D, nearest_neighbor) reduce_domain (Image, CircleROITrans, ImageCircle) * 第四步用计量模型测内孔 create_metrology_model (MetrologyHandle) set_metrology_model_image_size (MetrologyHandle, Width, Height) * 内孔初定位先用边缘提取找圆心 edges_sub_pix (ImageCircle, Edges, canny, 1, 20, 40) select_contours_xld (Edges, SelectedEdges, contour_length, 50, 2000, -0.5, 0.5) fit_circle_contour_xld (SelectedEdges, algebraic, -1, 0, 0, 3, 2, InitRow, InitCol, InitRadius, StartPhi, EndPhi, PointOrder) * 把初定位结果送进计量模型 add_metrology_object_circle_measure (MetrologyHandle, InitRow, InitCol, InitRadius, 20, 8, 1, 30, [], [], CircleIndex) set_metrology_object_param (MetrologyHandle, CircleIndex, measure_transition, all) apply_metrology_model (Image, MetrologyHandle) get_metrology_object_result (MetrologyHandle, CircleIndex, all, result_type, all_param, CircleParam) HoleRow : CircleParam[0] HoleCol : CircleParam[1] HoleRadius : CircleParam[2] HoleDiameter : HoleRadius * 2 * PixelSize这段代码里有个关键设计先用边缘拟合做粗定位再喂给计量模型。直接拿匹配位置去算圆心会因为匹配精度不够而让卡尺偏离加了这一步粗定位卡尺基本都能稳稳落在孔边上。4.4 结果判定与数据输出测量出结果之后要做两件事判定合格与否以及把数据传出去。* 判定 ToleranceUpper : 20.03 ToleranceLower : 19.97 if (HoleDiameter ToleranceLower and HoleDiameter ToleranceUpper) Result : OK else Result : NG endif * 计算缺口角度先把缺口区域变换过来测直线再算夹角 affine_trans_region (NotchROI, NotchROITrans, HomMat2D, nearest_neighbor) reduce_domain (Image, NotchROITrans, ImageNotch) * ......直线拟合略 * 数据输出把结果写进图像用于存证 dev_display (Image) set_tposition (WindowHandle, 20, 20) write_string (WindowHandle, D HoleDiameter$.3f Result) dump_window_image (ResultImage, WindowHandle) write_image (ResultImage, png, 0, result_001.png)这里顺带回答一个热词里常见的问题Halcon 能在原图上写文字吗严格来说write_string是往窗口上写字不是写进图像的像素里。如果要把文字真的印在图像像素上需要先dump_window_image把窗口内容抓成图像或者用paint_region、set_grayval自己画。前者最省事代价是分辨率受窗口限制。数据传给上位机一般用write_tuple写文件或者通过 socket、共享内存传递。如果用 C# 或者 Qt 做上位机直接在宿主程序里读 Halcon 的HTuple结果最方便不用绕这一圈。5. 工程化落地C#/Qt 调用与性能优化5.1 三种集成方式的取舍Halcon 程序写完之后怎么集成到实际项目里有几种常见路子。第一种是导出为可执行程序用 HDevelop 直接导出 exe靠命令行参数或者配置文件传参。这种适合简单、固定的应用缺点是灵活性差每次改逻辑都要重新导出。第二种是导出为 C 代码在 VS 或者 Qt 项目里直接编译进去。这是性能最好的方式因为没有脚本解释开销而且可以和其他 C 代码深度耦合。缺点是代码可读性一般导出后维护成本较高。第三种是用 HDevEngine 执行 hdev 脚本。宿主程序负责界面和通信算法逻辑放在 hdev 文件里通过引擎调用。这种方式灵活性最好算法改了不用重新编译宿主程序适合算法还在迭代的项目。缺点是执行时有一层解释开销节拍会稍慢一点。还有一种是导出为 C# 代码这是热词里C# 直接调用 Halcon的正解。Halcon 提供halcondotnet.dll在 VS 里引用之后就能用HalconDotNet命名空间的类语法和算子一一对应。5.2 C# 与 Qt 的可运行范例先说 C# 的写法。关键是要引用正确的 DLL并且平台目标设为 x64。using HalconDotNet; class Program { static void Main() { HObject image new HObject(); HOperatorSet.ReadImage(out image, part_001.png); HTuple width, height; HOperatorSet.GetImageSize(image, out width, out height); // 形状匹配 HObject model; HOperatorSet.ReadShapeModel(model.shm, out model); HTuple row, col, angle, score; HOperatorSet.FindShapeModel(image, model, -0.53, 1.05, 0.5, 1, 0.5, least_squares, 0, 0.8, out row, out col, out angle, out score); Console.WriteLine($Row{row.D}, Col{col.D}, Score{score.D:F3}); // 释放资源这一步千万别漏 image.Dispose(); model.Dispose(); } }几个坑要提醒HObject和HTuple都是非托管资源用完必须Dispose否则跑久了内存会一路涨。建议包在using块里或者用 try-finally 保证释放。另外如果项目是 AnyCPU一定要在项目属性里改成 x64因为 Halcon 的运行时是 64 位的不匹配会直接抛异常。再说 Qt 的用法。Qt 里用 Halcon 的 C 接口HalconCpp.h是入口。#include HalconCpp.h using namespace HalconCpp; int main() { HImage image(part_001.png); HTuple width, height; image.GetImageSize(width, height); HShapeModel model; ReadShapeModel(model.shm, model); HTuple row, col, angle, score; image.FindShapeModel(model, -0.53, 1.05, 0.5, 1, 0.5, least_squares, 0, 0.8, row, col, angle, score); qDebug() Score: score[0].D(); return 0; }.pro文件里要配置好头文件和库路径INCLUDEPATH /opt/halcon/include LIBS -L/opt/halcon/lib/x64-linux -lhalconcpp -lhalconWindows 下就是对应的halconcpp.lib和halcon.lib。注意 Halcon 的 C 接口和 Qt 都是 C 库混用没问题但要保证编译器版本和运行时库一致否则可能链接不过。5.3 内存、线程与节拍优化工程化阶段最常遇到的问题不是算不对而是跑得慢或者跑一会儿就崩。这两件事根子上都和资源管理有关。内存方面Halcon 的每个HObject都对应一块非托管内存循环里反复创建不释放几万次之后内存就爆了。养成习惯循环内创建的图像、区域、轮廓用完立刻Dispose。另外能用reduce_domain缩小处理范围的就别整图处理这会直接影响内存和处理时间。线程方面Halcon 的算子大部分是线程安全的但同一个HObject不要在多线程里同时读写。通常的架构是一个采集线程负责从相机拿图一个处理线程负责算法一个通信线程负责和 PLC 交互中间用队列传递数据。这样采集和算法可以并行节拍能压下来不少。节拍优化按收益排序大概是这么几档优化手段收益代价缩小图像处理区域大需要精确定位 ROI降低形状匹配金字塔层数中定位精度略降缩小角度搜索范围大依赖机械限位用 interpolation 替代 least_squares中亚像素精度略降降低相机分辨率或做降采样大精度下降明显减少计量模型卡尺数量中拟合稳定性略降我的习惯是先测出各步骤的耗时找出瓶颈再针对性优化。Halcon 有count_seconds可以打点计时别凭感觉猜。6. 常见问题速查与避坑经验6.1 定位漂移与测量跳动现象一匹配分数时高时低偶尔定位失败。先看光照是不是稳定如果环境光或者光源有波动把Metric换成ignore_global_polarity试试。再检查模板本身是不是包含了容易变化的区域比如反光面、油污区重新框一个更干净的模板。最后看MinScore是不是定太高适当降到 0.6。现象二定位没问题但测量值一直在某个范围内抖。这种抖动通常不是算法的锅要查三件事一是机械重复性工件每次放的位置和角度是否真的能复现可以用千分表量一下二是光源稳定性频闪光源和工频不同步会产生亮度波动三是边缘提取参数Sigma和Threshold是否匹配当前边缘质量。我遇到过一次跳动最后发现是相机的曝光时间设太短图像有轻微噪声加大曝光并降低增益之后稳定了。现象三换了一批工件测量值整体偏移。大概率是工件表面状态变了比如换了一批喷砂处理的产品边缘对比度不同亚像素提取的位置会有系统性偏移。解决办法是用同一批标准件重新标定边缘阈值或者改用对表面不敏感的背光方案。6.2 标定与精度相关标定板放的位置不对。前面提过标定板必须和被测面共面。有个简单判断方法如果测出来的尺寸随工件在视野里的位置变化而系统性变化边缘偏大、中心偏小那就是标定平面或者畸变没处理好。像素当量算了但精度还是不够。检查是不是用了错误的标定值。有时候项目里有多套硬件标定文件混用了量出来的数据会差得很离谱。建议在标定文件里带上硬件编号和标定日期加载时校验。公差要求和实际能力不匹配。如果算下来需要的像素当量已经小于 0.02mm/pixel而视场又必须覆盖整个工件那就只能考虑多次拍照拼接。Halcon 的tile_images和tile_images_offset可以做图像拼接把多张高分辨率图像拼成一张大图再测量。不过拼接本身会引入误差要确保各张图的重叠区域有足够特征做配准。实操心得任何测量系统上线前都要做重复性和再现性测试也就是常说的 GRR。取 10 个工件每个测 3 次算一下波动。如果 GRR 超过公差的 30%系统就不能用得回去改硬件或者算法。这个测试比调参数有用得多。6.3 其他高频小问题Halcon 转整型和实数怎么写用tuple_int取整、tuple_real转实数、tuple_round四舍五入。注意tuple_int是截断取整不是四舍五入负数的时候结果可能和你想的不一样。灰度值拉伸怎么用scale_image_max会把图像的灰度范围拉伸到 0 到 255适合图像整体偏暗或者对比度低的场合。如果只想做线性拉伸并指定范围用scale_image传入 mult 和 add 两个参数。HSV 怎么转换用trans_from_rgb把 RGB 图转到 HSV 空间参数里指定hsv。做颜色检测时HSV 比 RGB 稳定得多因为亮度变化主要影响 V 通道对 H 和 S 的影响小。3D 高度图怎么缩放显示高度图本质上是单通道的灰度图缩放用zoom_image_factor或者scale_image。如果要在三维空间里显示用visualize_object_model_3d打开交互式窗口可以旋转、缩放、看剖面。深度学习工具怎么装Halcon 的深度学习工具是独立安装包装完之后需要单独的 license普通的 Halcon license 不一定包含深度学习授权买之前要问清楚。模型训练一般用train_dl_model_batch推理用apply_dl_model标注工具用Deep Learning Tool。在图片上写文字用哪个算子前面说过write_string是写窗口的真要写进图像得dump_window_image。如果只是给操作员看写窗口就够了没必要折腾图像像素。图像拼接怎么做简单场景用tile_images_offset按坐标拼复杂场景先用proj_match_points_ransac找特征点算变换矩阵再用gen_projective_mosaic生成拼接图。拼接的难点是配准重叠区域特征不足会拼歪。手眼标定眼在手上怎么做用calibrate_hand_eye需要采集多组机械手位姿 标定板在相机中的位姿数据。数据组数一般不少于 10 组位姿要尽量分散不要都在一个方向小范围移动。标定完成后得到的是相机坐标系和机械手末端坐标系之间的变换矩阵用它把相机看到的坐标转到机械手坐标系里。最后分享一个我自己的习惯每个项目上线前我都会做一份退化测试把光源关掉、把工件位置故意放偏、把工件表面弄脏看看系统会怎么表现。视觉系统在理想条件下表现好是应该的真正的价值在于它在不理想条件下还能不能稳住。能通过退化测试的系统上产线之后我基本就能睡个安稳觉了。