简介一套基于Python与OpenCV的漆包线点焊焊盘状态识别项目面向计算机视觉、嵌入式及自动化相关专业的本科毕设、课程设计与初期项目演示。项目通过视觉传感器获取焊盘图像利用OpenCV完成预处理、ROI区域提取与状态估计可区分正常、倾斜、偏置、翘起等不同焊盘状态贴近工业质检场景。压缩包共13个文件包含5个Python源程序、7张测试图片与1份README文档大小仅868KB结构紧凑。源代码区分视频处理与静态图像两条路径方便按需调用测试图片覆盖多种状态样本便于验证算法效果。代码均在测试通过后上传作者称答辩平均分达96分如有运行问题可远程教学。当前已有106人学习适合希望快速搭建视觉识别原型或参考完整检测流程的读者也可在此基础之上扩展其他工业外观检测功能。整体采用模块化设计便于按需修改功能参数。1. 基于Python和OpenCV的漆包线点焊焊盘状态识别到底在解决什么人工逐个看漆包线点焊后的焊盘一是慢二是不稳定。一个焊点只有一到两毫米反光、氧化、残漆混在一起老师傅也经常为了边界样本吵起来。把这套判断迁移到Python和OpenCV的代码里本质就是让一台带着工业相机的视觉传感器在固定工位上拍照然后通过灰度、面积、边缘、色相这几个和物理状态强相关的中层特征把“合格、虚焊、过焊、焊偏”四类状态稳定地分开。对产线工位来说OpenCV已经覆盖了90%的需求——选它不是因为追新而是因为阈值和特征都可解释出问题能追到具体一环交付人员和维护人员都省心。2. 焊盘状态识别的图像特征与预处理选型2.1 四类焊盘状态对应哪些可观测特征先要明确一点视觉系统判断的不是“焊得好不好”这种抽象质量而是图像上可测量的差异。结合漆包线点焊的实际现象我一般把焊盘状态分成四类每一类都有相对稳定的视觉表象状态典型表象可提取的图像特征合格焊点熔核呈金属亮色形状近似圆形边缘规则高亮面积比适中、质心偏移小、边缘能量低虚焊漆层未熔开表面粗糙发暗高亮面积比极低、边缘能量偏高且分布碎过焊铜氧化发黑边缘烧蚀暗色区域面积大、边缘能量显著升高焊偏熔核偏离焊盘中心高亮区域质心与ROI中心距离大把状态翻译成特征很重要。以“合格焊点”为例熔核形成后表面有金属光泽在图像上表现为一块相对高亮、边界光滑的区域而“虚焊”通常是因为绝缘漆没有完全破除表面残留碳化物图像上表现为低灰度且纹理粗糙“过焊”则是铜基底被烧蚀成氧化铜颜色转暗甚至发黑边缘会出现毛刺“焊偏”只关心熔核中心是否落在焊盘中心附近与色彩无关。最后判定时用的不是单个指标而是组合。比如“亮”这个特征反光也会造成局部高亮所以要同时看“亮的区域够不够大”“边缘是否平滑”“色相是否偏向铜色”。这就是后文特征加权的基本逻辑。2.2 预处理选型自适应阈值加形态学很多刚开始接触opencv图像处理项目的人在预处理这一环容易犯的错是直接对原始灰度图做cv2.threshold。原因很现实漆包线点焊现场的光照并不是均匀的焊盘金属的镜面反光会造成局部很亮周围却是灰暗基底固定阈值没法兼顾两头的对比度。常见做法是先做以下三步顺序不要颠倒转灰度后做高斯滤波核大小取5x5。核太小滤不掉传感器噪点太大则焊点边缘会被磨得发钝。用cv2.adaptiveThreshold做自适应阈值化。blockSize取31到51之间的奇数C值取5到15。自适应阈值每个像素的阈值由邻域均值决定相当于做了一次高通对光照梯度不敏感。形态学开闭运算组合。先用开运算去孤立点再用闭运算填焊点内部的孔洞。核形状用椭圆尺寸通常取5x5或7x7。import cv2 import numpy as np def preprocess(gray): # 高斯滤波核取5x5兼顾去噪和边缘保留 blur cv2.GaussianBlur(gray, (5, 5), 0) # 自适应阈值blockSize为41C为10 binary cv2.adaptiveThreshold(blur, 255, cv2.ADAPTIVE_THRESH_GAUSSIAN_C, cv2.THRESH_BINARY_INV, 41, 10) # 椭圆核先开后闭填平焊点内部孔洞 kernel cv2.getStructuringElement(cv2.MORPH_ELLIPSE, (5, 5)) opened cv2.morphologyEx(binary, cv2.MORPH_OPEN, kernel, iterations1) closed cv2.morphologyEx(opened, cv2.MORPH_CLOSE, kernel, iterations2) return closedblockSize41意味着参与计算局部阈值的邻域相对较大适合焊盘直径约30到50像素的画面。C10会让分割偏向保守减少把氧化纹理误拾进前景。如果画面里焊点边缘频繁断裂应优先把C值调小到6或7而不是去动blockSize。如果整个焊盘区域被整体吞掉再把blockSize降回31。2.3 视觉传感器和光源怎么配合再好的预处理也弥补不了图像质量的根本问题。视觉传感器这一端优先保证三点曝光固定、增益最低、白平衡固定。自动增益和自动曝光在产线上会不停调整导致同一块焊盘在不同时段拍出来的灰度分布差很多后端的特征阈值全部作废。光源建议用环形低角度光。低角度照射会在焊盘边缘形成轮廓高光帮助抓取边界同时避免让金属平面把光源打成一块亮斑。如果现场已经有工位没有空间调整光源角度可以考虑在焊盘上方加一块亚克力漫射板把点光源打散成面光源灰度分布会平缓很多。2.2里的自适应阈值对这类光照变化的容忍度比固定阈值高一到两个数量级这是把预处理放在选型第一优先级的根本原因。3. 用Python和OpenCV实现焊盘状态识别的主干流程3.1 源代码结构怎么拆这个项目如果只有一个main.py后续改参数会相当痛苦。我通常按职责拆成四个文件camera.py负责取帧detector.py负责从帧里定位焊盘并提取特征classifier.py负责特征到状态标签的映射config.yaml集中存放所有可调参数。main.py只负责把四者串起来并处理异常和日志。weld_inspect/ ├── config.yaml # 相机参数、ROI、分类阈值 ├── camera.py # 视觉传感器采集 ├── detector.py # 焊盘定位与特征提取 ├── classifier.py # 状态判定 ├── main.py # 主流程 └── debug_output/ # 中间图像与日志这样拆最大的好处是换一个相机时只动camera.py发现焊盘定位不稳时只动detector.py产线老化标定阈值时只动config.yaml。也就是标题里那句“源代码文档说明”的意义所在——可维护性比一行能跑通重要得多。3.2 焊盘定位模板匹配比轮廓查找更省心焊盘在图像中的位置会有小的平移和旋转。用轮廓查找最大的问题是图像里可能有其他金属反光碎片干扰焊盘不一定永远是最大轮廓。对于固定的工位模板匹配是更可控的方案。提前保存一张合格焊盘的灰度模板运行时在相机的固定区域里找最佳匹配。def locate_pad(frame_gray, template): # 预先限定搜索区域缩小计算量的同时也避开无关反光 search_zone frame_gray[100:600, 200:900] # 归一化互相关匹配对亮度不敏感 res cv2.matchTemplate(search_zone, template, cv2.TM_CCOEFF_NORMED) _, max_val, _, max_loc cv2.minMaxLoc(res) if max_val 0.6: return None # 对位失败夹具可能偏移 x, y max_loc h, w template.shape[:2] # 把坐标加回search_zone在frame_gray里的偏移 return x w // 2 200, y h // 2 100TM_CCOEFF_NORMED的匹配分数把亮度变化做了归一化所以金属表面反光的亮度波动不会对定位造成大影响。0.6是我在多数金属焊盘上验证过的经验下限。低于这个值说明要么夹具偏移超过边界要么来料本身放歪了这时不适合继续做状态判定直接输出“对位失败”更合理。注意返回中心点时要把search_zone在frame_gray里的偏移加回来这个细节容易漏。3.3 四维特征提取与状态判定焊盘定位完成后把ROI裁剪出来传入extract_features。这一段代码是整个项目的核心它的输入是一帧ROI灰度图输出是一个结构化特征字典不涉及任何状态逻辑。后面再单独用一个classify函数去解释状态这是为了在现场调试时能分别验证每一步。def extract_features(roi_gray): h, w roi_gray.shape mask preprocess(roi_gray) # 焊点区域在ROI中的占比对应熔核大小 area_ratio np.count_nonzero(mask) / (h * w) # 高亮区域比例对应金属光泽 bright_ratio np.count_nonzero(roi_gray 180) / (h * w) # 质心偏移归一化的焊点中心偏离量 m cv2.moments(mask) if m[m00] 0: cx m[m10] / m[m00] cy m[m01] / m[m00] else: cx, cy w / 2, h / 2 center_offset np.sqrt((cx - w / 2) ** 2 (cy - h / 2) ** 2) / np.sqrt(w * h) # 拉普拉斯边缘能量反映烧灼和毛刺的剧烈程度 lap cv2.Laplacian(roi_gray, cv2.CV_64F) edge_energy float(np.mean(np.abs(lap))) return { area_ratio: area_ratio, bright_ratio: bright_ratio, center_offset: center_offset, edge_energy: edge_energy, }moments函数在这里用于计算二值mask的一阶矩得到前景焊点区域的质心坐标。质心偏移归一到ROI对角线长度量级使得不同分辨率下阈值保持可比。Laplacian算子对边缘和噪声都敏感所以必须先做高斯滤波再去算否则edge_energy会把传感器噪声当成烧灼毛刺。判定规则如下def classify(f): # 高亮面积极低且边缘粗糙说明漆未熔开 if f[bright_ratio] 0.05 and f[edge_energy] 40: return 虚焊 # 边缘能量极高优先判过焊避免过焊被其他规则抢走 if f[edge_energy] 80: return 过焊 # 高亮区域中心偏离ROI中心判焊偏 if f[center_offset] 0.15: return 焊偏 # 面积占比落在合理区间且通过上述检查判合格 if 0.20 f[area_ratio] 0.45: return 合格 return 未知“未知”状态设计是让系统在特征组合不符合任何预设时不要瞎报一个结果。产线里“报错”和“误判”的性质完全不同前者提示需要人工确认后者会把不良品放过去所以我倾向于给边界样本一个单独的出口状态。3.4 参数集中管理所有需要在现场反复调试的数值尽量放进config.yaml。这样在产线调参时完全不用进源码修改完重启进程即可。camera: exposure: 4000 # 曝光时间单位微秒固定手动 gain: 0 # 增益设为0避免放大传感器噪声 width: 1280 height: 960 roi: width: 120 height: 120 classifier: min_bright_ratio: 0.05 max_center_offset: 0.15 max_edge_energy: 80 min_area_ratio: 0.20 max_area_ratio: 0.45yaml里的命名和前一节函数里的阈值逐一对应。交付时文档说明里单独列一页“参数与物理含义对照表”让维护人员知道min_bright_ratio不是随便一个数而是和金属光泽面积的物理对应。4. 参数标定与误判排查4.1 四个必调参数的影响范围先给一张参数影响表方便在现场快速定位问题参数所在环节调大后的效果调小后的效果adaptiveThreshold的C值预处理前景收缩焊点边缘易断前景扩大残留碳化物易混入闭运算iterations预处理焊点内部孔洞填平焊点内部出现空白面积失真min_bright_ratio分类更多样本误判为虚焊虚焊漏检max_center_offset分类焊偏漏检把正常微小波动误判焊偏改动原则是每次只动一个参数且必须用同一组验证图片去检验。我在项目中的做法是在源码目录下建一个validation目录按状态分子文件夹写一个批量评估脚本在调试循环里跑一遍并对输出结果计数比对着单张图“看效果”高效得多。4.2 反光和氧化干扰的排除灰度特征最容易出问题的场景是强反光把氧化区域照亮使其在灰度图上的数值接近合格焊点的金属光泽。为了区分“亮”和“亮得像金属”在特征集合里加入HSV空间的色相信息。合格焊点的熔核铜面在暖色光下色调偏向橙红氧化发黑区域则是暗红或低饱和度灰色两者在色相维度上有稳定的分离度。def add_hue_feature(roi_bgr): hsv cv2.cvtColor(roi_bgr, cv2.COLOR_BGR2HSV) h hsv[:, :, 0].astype(float) s hsv[:, :, 1].astype(float) # OpenCV的H通道范围是0到180铜色暖调分布在两端 copper ((h 10) | (h 170)) (s 80) return float(np.mean(copper))S阈值取80是为了过滤掉偏灰白的过曝点那些点在S通道值很低。实际调参时可以先打印一批样本图像的h、s均值再决定具体阈值而不是照搬参考值。4.3 调试可视化的标准做法调参过程中如果只打印浮点数在现场很难判断是哪一层出的问题。我习惯把原始ROI、二值图、判定标签和四个特征值叠加在同一个窗口输出。这样焊点边缘有没有被预处理吃掉阈值定得合不合理一眼就能看出来。def debug_show(name, roi_bgr, mask, f, label): mask_bgr cv2.cvtColor(mask * 255, cv2.COLOR_GRAY2BGR) vis np.hstack([roi_bgr, mask_bgr]) info f{label} area{f[area_ratio]:.2f} bright{f[bright_ratio]:.2f} cv2.putText(vis, info, (5, 15), cv2.FONT_HERSHEY_SIMPLEX, 0.5, (0, 0, 255), 1) cv2.imshow(name, vis)如果掩码图和焊点轮廓明显不贴先回预处理段改参数如果掩码图正确但标签不对才需要去动分类阈值。把这两类问题分开调试周期会缩短很多。5. 让焊盘状态识别在产线上更稳的三个细节5.1 模板匹配要动态更新模板匹配在固定工位长时间运行后匹配分数会随夹具漂移缓慢下降。为了不让模板失效我一般会在判定为“合格”的结果帧里周期性地更新模板同时保留最初的手工模板匹配时取两者中分数更高的结果。def update_template(current, best_matched): # 只有匹配分数足够高才允许更新避免把虚焊图像存成新模板 if best_matched 0.85: cv2.imwrite(template_latest.png, current)这一条能让设备在连续运行几个月后不出现“找不到焊盘”的故障。5.2 多帧投票压制偶发误判单帧识别在焊接飞溅物偶尔遮挡镜头时会给出一个错误标签。产线常见的做法是连续取5帧逐帧调用classify再把结果取众数作为最终输出。5帧的采集耗时在相机帧率30fps下只有约170毫秒对点焊节拍影响几乎可以忽略。5.3 准备一个自动验证脚本最后的验证不能靠“看着觉得对了”。我通常会把validation目录下的图片批量跑一遍输出一个带状态标签的CSV文件然后和人工标注对比得到准确率。交付时附带这个脚本和20到30张覆盖四类状态的样图比任何口头说明都有说服力。命令行启动方式如下python main.py --input validation/ --config config.yaml --debug--debug打开调试窗口和中间结果保存--input指定批量验证目录而非相机采集这样可以在没有相机的情况下验证算法逻辑。文档说明里只需要写清这几条命令和参数含义新环境的python安装和opencv安装教程可以直接引用官方说明不必在项目文档里重复造轮子。运行验证脚本时如果准确率低于预期把错误样本翻出来对比特征值按第4章的排查顺序逐条调整。最后一个建议把config.yaml里的每一项参数都写上单位、物理含义和默认值来源这比往源码里加任何注释都更能让后续接手的人快速进入状态。本文还有配套的精品资源点击获取