1. 别急着训模型先明确缺陷的“定义边界”和“可容忍漏检率”接手工业缺陷检测项目的第一件事往往不是急着跑通某个算法而是先坐下来跟产线负责人、质检组长、工艺工程师把话说透。我见过太多项目死在“缺陷到底是什么”这个问题上——甲方说“表面瑕疵”业务方说“不良品”现场质检员却说“看得不顺眼就是有问题的”三方各执一词最后模型只能学出一套四不像的决策边界。1.1 缺陷定义颗粒度细到能写验收标准才算数工业缺陷检测里的“缺陷”不是一个笼统的概念。一个金属外壳表面的划痕是长度超过2毫米才叫缺陷还是只要肉眼可见都算划痕在正面还是侧面是否影响装配颜色变化是氧化还是脏污会不会被擦拭后消失这些细节必须落到纸面上变成可量化的描述。否则数据标注的时候两个人对同一张图的理解都不一样标注出来的标签本身就是噪声模型再强也学不出来。具体执行时我通常会让团队把缺陷拆成几个维度类别、位置、形态、尺寸范围、严重程度。类别负责分大类位置决定检测区域是否需要细分成更多视角形态描述是条状、点状、块状还是皱缩状尺寸范围和严重程度直接关联到业务上能不能接受。多花半天时间把这张表做出来后面所有环节都会顺畅。1.2 小样本到底“小”到什么程度风险不只在数量我们常说的“小样本”直观理解是缺陷图数量少但真正决定项目难度的其实是另一个指标缺陷样本的“有效信息量”。假设你有300张缺陷图但全部集中在同一条划痕、同一个区域、同一种光照条件下那它就是妥妥的小样本问题而且比30张但覆盖多种形态的样本更难训。因为后者起码保证了特征的多样性前者只是在重复一个固定模板。所以拿到数据后我建议先做一次“按缺陷类型和出现位置分组”的统计。用Excel或者脚本都行把缺陷类型、发生区域、来源批次、光学条件拉一个透视表。你会发现最头疼的情况不是总量少而是某些缺陷类型一个手指头数得过来比如50张图里只有3张是凹陷类缺陷。这种分布不均匀会直接导致训练时类别严重失衡模型往往直接放弃学习少数类预测的时候把什么都推到多数类那边漏检率自然高。1.3 先把验收指标敲定漏检率多少算达标误检率多少能接受很多项目一开始只谈“准确率95%以上”这个含糊的说法后面一定会出问题。缺陷检测领域真正要谈的是两个指标漏检率和误检率。漏检是“有缺陷但你没报”误检是“没缺陷你乱报”。产线场景里漏检意味着不良品流到客户那里可能触发赔付或品牌风险误检意味着合格品被拦截产线停线翻检工人跟着遭殃。两者都是成本但成本结构完全不一样。我一般在项目启动时就跟客户要两个数可容忍的最大漏检率是多少日误检率能接受多少。如果是高价值场景比如汽车零部件安全件漏检率甚至会被定到0.1%以下如果是外观件可能漏检1%都能接受但误检率必须控制在一炉料里不超几件否则工人烦了直接关掉系统。这两个数不明确后面的阈值调整、人工复核设计、模型迭代方向全都无从谈起。2. 小样本数据的“开源”思路增广、合成与负样本补全数据不够技术来凑。但这里的“凑”不是随便在图像上做几个翻转旋转就完事而是要带着明确的目的去生成有效样本。小样本工业检测的数据扩充核心目标不是让数量变多而是让模型见过的“缺陷表征方式”变多。2.1 离线增广哪些操作安全哪些操作会破坏缺陷语义入门级的增广是旋转、缩放、平移、翻转、亮度抖动、噪声扰动。这些操作在通用检测场景下基本都是安全的但在工业缺陷检测里要注意几个特殊点。第一旋转角度要克制很多产线缺陷是有方向性的比如拉丝纹路的缺陷旋转90度就完全不像真实缺陷反而引入错误语义。第二对比度和亮度扰动要根据实际光学环境设计范围如果产线是恒定光源就没有理由把亮度拉得太狠。第三裁剪缩放的幅度要保证缺陷区域不被裁掉否则模型学到的是残缺模式。我自己常用的做法是把增广分成“离线强增广”和“在线弱增广”两层。离线强增广用于扩充底库每次都生成物理上可能出现的形态比如改变光照方向、加一点运动模糊、模拟不同的景深在线弱增广只是在训练时做小幅随机扰动让模型不至于过拟合。软件层面直接用开源库就好不用自己去写底层变换调试的时间省下来去观察增广后的样本质量那才是关键。2.2 合成缺陷与领域随机化从贴图到GAN的取舍当真实缺陷样本实在稀缺时合成数据是一条路。工业场景里最常见的是贴图法在干净样本的缺陷区域贴上从历史图上抠下来的真实缺陷块然后再做边缘融合和光照扰动。这种方法的优点是可解释性极强每一张合成样本都由哪张真实缺陷演变而来清清楚楚缺点是如果缺陷和背景之间在物理上存在一致性约束比如凹陷改变局部反光贴图就难以模拟。更复杂的合成是渲染或物理模拟比如建立三维模型模拟冲压、注塑的缺陷形成过程然后渲染出不同角度、不同光照下的缺陷图。这种方法成本高但适合样本量几乎为零的新产品导入场景。至于GAN我的经验是只在小范围实验性质的项目里用因为GAN生成图容易在细节上引入伪影这些伪影在视觉感知上很逼真但模型学到的可能是生成器特有的纹理而不是真实缺陷的本质模式放在产线上非常危险。合成数据的定位永远是“给模型一个起点”不能替代真实数据做最终验收。2.3 负样本才是漏检的幕后推手别把注意力全放在缺陷上这是一个很容易被忽视的点当你说“漏检高”的时候真正的问题往往不是模型认不出缺陷特征而是模型被负样本干扰了。这里的负样本不止是干净无缺陷的图像还包括那些“长得像缺陷但其实是正常状态”的边界案例比如装配缝隙、焊点毛刺、油污影子、防锈油残留、纹理噪声。这些负样本和缺陷的边界非常接近模型一但分错方向就会把一大片所谓的“疑似缺陷”全部吞掉或者反过来把真实缺陷当成正常纹理。所以数据准备阶段一定要专门去产线拍“不正常但合格”的样本。我会要求客户提供不同工位、不同光照、不同产品批次下的合格品照片尤其要包含那些连人工质检都容易犹豫的边界情况。这些样本不需要多但一定要覆盖得广。模型之所以漏检很多时候不是没见过缺陷而是没见过“看起来像缺陷但不是缺陷”的东西。2.4 标注的坑单张图谁标、跨图谁来对齐小样本场景下每张标注图都极其珍贵标注质量直接影响模型上限。第一层容易出现的问题是目标框精度差异有人喜欢把缺陷完整框住有人习惯卡着边缘这会引入位置回归噪声。第二层问题是语义颗粒度不一致同一张图今天标“划痕”明天标“擦伤”后天标“表面异常”类别体系一乱模型就糊涂了。第三层是严重度分级的地狱难度经常是标注员凭感觉给低中高但不同时段、不同疲劳状态下的感觉完全不可复现。解决方法是所有标注图先由骨干标完再由项目负责人逐张复核尤其针对边界模糊的样本。同时把标注规范写成一份带标注例图的文档发给每一位标注人员并且每半天随机抽查十张图发现不一致立刻当面校准。流程确实繁琐但在样本量只有几百张的时候这一道质检流程省下来的模型调参时间往往是数天级别。3. 模型与训练策略预训练微调、不平衡损失和检测方案选型数据准备好之后模型选型和训练策略是下一个硬仗。小样本工业缺陷检测的模型绝对不能从零开始训练这一点几乎没有例外。3.1 用强预训练模型做起点而不是从零搭网络工业缺陷图像跟ImageNet上的自然图像差距很大但预训练权重依然能提供极其宝贵的底层视觉先验比如边缘、纹理、形状、颜色分布的组织方式。哪怕你是用分割网络做缺陷分割从在ImageNet或大规模未知类目上预训练过的权重开始都远好于随机初始化。我在实际项目里试过同样的网络结构随机初始化需要至少五到十倍的数据才能追平预训练微调的效果这在缺陷样本只有几百张的场景里就是生死差距。微调的时候要注意冻结和解冻策略。数据量越小冻结层数越多只更新靠近任务头的部分数据量稍微充裕再逐渐解冻更多层。这样做能防止模型在少样本下快速过拟合到训练集的局部纹理上。学习率也要比常规训练调低一到两个数量级通常从1e-4到1e-5起步观察损失曲线稳定后再说。3.2 类别不平衡与损失函数让模型更珍惜少数类缺陷多数缺陷数据集都存在一个比例问题A类缺陷300张B类缺陷9张。你用交叉熵损失去训模型会学会“全猜A类”来降低平均损失因为B类贡献的梯度太小了。针对这种不平衡常见做法有几种。最简单是类别权重加权给少数类更高的损失权重但这招在少数类样本占全样本比例低于5%时容易让模型变得激进误检率急剧上升。更好一些的是Focal Loss它通过调制因子让模型把注意力放在难以分类的样本上而不是那些已经能够稳定区分的样本。如果你用的是目标检测框架很多开源库已经内置了Focal Loss的变体开箱即用。实际项目中我会组合使用交叉熵负责稳定整体训练辅助一个针对少数类的加权项或Focal项并且通过验证集来调整两者的比例而不是一次性把权重拉满。3.3 单阶段检测、分割、还是异常检测不同数据规模下怎么选这里没有“最先进”只有“最合适”。我把方案分成三条路线。第一条是目标检测比如YOLO系、Faster R-CNN系适合缺陷特征相对集中、位置框定明确、类型可枚举的场景。优点是部署成熟、推理快缺点是如果缺陷形状极不规则或被遮挡边框表达效率差。第二条是分割系比如U-Net、DeepLabV3或带Transformer的分割结构适合缺陷是任意形状、需要精确到像素的场景。分割网络对小样本更吃数据但如果缺陷边界清晰、训练样本能支撑效果往往比检测框干净很多。第三条是异常检测路线比如PatchCore、PaDiM、基于重建的AutoEncoder这类方法的核心假设是“只见过正常样本也能找出异常”。但工业现场绝大多数缺陷是已知缺陷类型异常检测作为兜底或预筛可以用单纯靠它做验收风险很大因为在已知缺陷类型上它的精度通常不如监督模型。我的选型口诀很简单缺陷类型清晰且数据够优先分割或高精度检测缺陷类型不清晰或边界太模糊用检测定候选区再加一个辅助分类已知类型做得七七八八但总担心未知缺陷叠加异常检测作为预警通道。3.4 规则兜底不是倒退第二层模型和人工规则怎么搭神经网络不是万能的尤其是在小样本约束下。为了控制漏检率我强烈建议在模型输出后面加一层规则或辅助分类器做“再判断”。举例来说一个目标检测模型输出了置信度为0.52的缺陷框这个置信度刚好卡在阈值附近这时候单独依赖主模型做决策就很危险。常见的做法是级联一个轻量级辅助网络或者传统特征分类器比如以主模型的RoI特征或裁剪图为基础重新判断一次是缺陷还是误检或者直接用传统图像处理做边缘梯度、连通域、灰度统计对主模型低置信度的输出做二次确认。这听起来像是倒退但其实工程上非常有效它能压缩主模型百分之三十到五十的误检同时不牺牲多少漏检控制能力。底线是只要能降低漏检率且不显著增加误检率任何兜底手段都值得考虑。4. 漏检控制的“狡兔三窟”阈值、人工复核与根因排查漏检控制不是训完模型就结束的事它要贯穿从训练到部署的每个环节。小样本场景下尤其如此因为模型在训练集上表现再好都可能在生产环境里遇到没见过的新情况。4.1 用P-R曲线定阈值别盯着单一准确率小样本缺陷检测里的核心决策变量是置信度阈值。阈值调高误检降低但漏检升高调低则反之。到底调到哪里不能拍脑袋要看P-R曲线Precision-Recall Curve。这条曲线把不同阈值下模型在验证集上的表现画出来横轴是召回率纵轴是精确率你可以直观看到每个阈值对应的一组精确率召回率组合。实际工作中我会让客户先给出可接受的漏检上限反推在验证集上能够达到该召回率的最低阈值然后再加上一段保守冗余。原因很简单训练数据和真实产线数据之间一定存在分布偏移验证集上召回率达到95%的阈值到了现场很可能只有88%。所以必须人为留一点余量。这不是模型能力不够而是工程上的“安全系数”。4.2 漏检和误检的代价不对称按业务成本去配比先算一笔账。假设一天生产一万件缺陷率是千分之五也就是50件不良品。如果模型漏检率是10%那么每天有5件不良品流到客户端如果模型误检率是1%那么每天有99件合格品被拦截下来重新翻检。哪个代价大对大多数行业来说流到客户端的不良品代价远大于产线拦截误检因为那可能触发退货、投诉、整批次复查甚至合同赔偿。但反过来如果一个车间把误检当作大敌动不动就停线延误交付的损失也可能超过漏检。所以阈值和复核机制的设计本质上是业务成本函数的最优化问题。我的建议是先确认哪个方向坏结果最严重然后把模型阈值往更安全的方向偏一档。比如漏检后果更严重就降低阈值哪怕是牺牲更多精确率然后把低置信度输出交给人工复核。这条思路跟单纯追求模型性能是两件事。4.3 人工复核区不是所有结果都要看只看“灰色地带”很多工厂的质检系统上线后所有模型判定“有缺陷”的图片全部弹到人工复核台结果复核员要盯的图比原来全检还多自然产生抵触情绪甚至开始走形式。正确做法是只把模型置信度落在“灰色地带”的输出交给人工复核高置信度的缺陷结果直接判NG高置信度的正常结果直接放行。这个灰色地带的宽度是可调的。如果复核人力充足就把灰色带放宽如果产线节奏快、人手紧就收窄灰色带同时接受一定程度的误检直接判NG让低概率问题在生产线上消化。这套逻辑本质上是把AI当成一个“初筛员”而不是终审员尤其在小样本、模型还不尽完美的阶段这种协作关系比单纯追求纯自动化可靠得多。4.4 漏检根因排查光照、状态、材质这些被忽略的变量上线之后如果发现漏检率异常升高不要急着骂模型按这套顺序排查。第一步看光照和成像状态产线有没有更换光源、镜头是否有油污、相机增益是否被误调第二步看产品来料状态材质批次变了、表面粗糙度不同、甚至有防锈油涂层变化这些都会让图像分布整体漂移第三步看缺陷类型分布是不是来了新类型的缺陷训练数据里完全没有覆盖到第四步才回头看模型结构或阈值配置。我在一个项目里遇到过这种情况模型某个区域持续漏检排查后发现是机罩玻璃透光度随着车间换气系统启停发生了变化阳光角度不同导致光影干扰。这种变量在实验室里永远测不出来只能靠上线后系统性的根因排查。所以漏检控制体系里运维日志和数据监控的地位一点都不低于模型本身。5. 落地部署与持续迭代从回放验证到灰度上线模型在实验室跑得很好是一回事真要连到产线、接入PLC、对接MES是另一回事。最后一章分享下完整的上线流程和迭代节奏。5.1 回放验证拿历史批次图像做“影子模式”正式上线前务必把模型放在“影子模式”下跑一段时间意思是模型产出的结果只记录、不影响生产。把最近两到四周的历史批次图像全部喂给模型用离线方式统计它在真实产线图像上的漏检率和误检率。这一步能帮你提前发现分布偏移不会到了线上才被工人投诉。回放验证的另一个好处是能让甲方看到真实数据上的统计口径。我会把回放结果整理成按批次、按班次、按光源状态分组的表格哪一组的漏检率异常立刻就能定位到是环境影响还是数据覆盖问题。有了这份记录再去跟业务方谈验收指标时底气就足很多。5.2 灰度上线小流量、看一批、复核一批不要某天上午直接全量切换。按批次灰度比如先让模型只在一号机台跑或者只对某一段时间的产品生效同时安排质检员对模型输出做全量复核。灰度期通常跑一至三天跑够足够数量的产品后再评估漏检率、误检率是否落在验收范围内。一旦出现异常随时可以在后台回滚到纯人工状态。这个阶段最重要的是把关负责人的反馈很多问题在图像指标上看不出来但人工复核时会发现“这模型怎么老是把边缘反光当缺陷”、“这个缺陷它是不是从没见过”。5.3 回流机制难例库、重新标注与重训节奏上线之后最忌讳“一锤子买卖”。我建议部署时就规划好一个回流闭环产线上被误判、被漏判的典型样本定期收集到难例库中由质检骨干重新标注然后与原始训练集合并重新微调模型。小样本场景下这种闭环的价值怎么强调都不过分——每回流一批真实生产数据模型对现场环境的适应能力就上一个台阶。重训的节奏也有讲究。不是每天都要训通常每个自然周或每个生产批次积累到一定量级后统一处理避免模型频繁更新导致性能波动。每次重训后都要在固定的回放集上跑一遍回归测试防止新数据把老知识冲掉。这套“采集→清洗→标注→重训→回归验证→灰度上线”的循环才是小样本项目真正从及格走向稳定的路径。5.4 项目复盘时最该关注的事把验收口径写进合同最后跟合作方确认验收时最容易被忽略的是“验收数据来自哪里”。同一批模型拿训练集测当然好看拿现场采集的新数据测又是另一个数字。我会在验收评审时明确验收用独立采样、未参与训练的现场图像且抽样覆盖多个生产批次和班次。这样双方都不会被理想数字误导。我在实际项目里最深的体会是小样本缺陷检测的成败从来不只是模型的事它贯穿在公司对缺陷定义的理解、数据标注的规范、漏检代价的计算、部署监控的闭环里。模型只是这套流程里最年轻的那个环节而真正决定项目命运的是你有没有把一个“AI识别问题”当成一个“系统工程问题”来对待。