简介这是一份基于U-Net卷积神经网络的轮毂缺陷分割学术论文内容聚焦深度学习在工业无损检测中的应用。文章面向算法工程师、图像处理研究者和相关专业学生针对传统轮毂X射线图像检测依赖人工、效率低的问题提出改进的U-Net模型。改进之处在于将原模型的最大池化操作替换为卷积操作并加入Dropout层优化网络提升可靠性同时围绕轮毂缺陷图像完成去均值、归一化及样本扩充等预处理增强训练效果。实验结果表明该方法在复杂轮毂X射线图像缺陷识别中表现良好DICE系数为0.8554SSIM为0.9655识别速度达到3毫秒每张能满足无损检测自动化需要。资源为单个PDF文档大小815KB包含摘要、数据预处理方法、网络结构改进、实验对比与结论可作为相关课题的参考资料。目前已有141人浏览学习适合需要了解U-Net改进技巧或轮毂缺陷分割方案的读者。1. 轮毂缺陷分割为什么把 U-Net 拉到产线前先要看懂它轮毂下线的外观质检最容易遇到的是气孔、缩松和细小裂纹这类“占图面积很小”的缺陷。分类网络能给你一个“有没有缺陷”的结论却定位不了缺陷在哪个位置检测网络能画一个外接矩形但矩形对尺寸统计和后续打磨没有帮助。真正要被用来做评级和返修的是缺陷的像素级轮廓。于是基于 U-Net 这类卷积神经网络的分割模型就成了常见选择网络输入轮毂局部图输出同尺寸概率图缺陷像素被一一挑出来。这篇笔记按一条能直接复现的路子来讲——U-Net 选型、样本管线和训练参数都落到配置上并会在最后讲清楚验证和部署时容易翻车的地方。适合正在做轮毂外观或 X 光探伤质检的算法工程师也适合刚进入缺陷分割方向、想找现成落地路径的开发者。2. U-Net 选型与输入输出设计先定结构再定样本2.1 编码器-解码器与跳连为什么细小缺陷没有被池化“洗掉”U-Net 的结构可以拆成两条路径编码器路径用卷积和池化把 512×512 输入降到 32×32 的深层特征解码器路径再逐级上采样回原分辨率。加上跳连后每一层解码器都能拿到对应编码器层输出的空间细节。也就是说缺陷的位置信息没有被池化彻底丢掉。对轮毂缺陷来说这个设计解决了一个很现实的问题缺陷尺度差异极大。一个 0.5mm 的气孔在 512×512 的切图里可能只有 3×3 像素而一片缩松区域可能占几十乘几十像素。只靠最后一层特征图小气孔早就被下采样抹平了浅层的特征图分辨率高但语义弱单独用又会把纹理起伏误判成缺陷。U-Net 把浅层细节和深层语义在每一层解码器里拼起来小缺陷既有位置信息又有类别判断依据。这也是它和 FCN、DeepLab 系列在实际项目里拉开差距的地方。FCN 的经典版本缺少足够的跳连上采样结果边界偏糊DeepLabV3 用空洞卷积控制感受野但对只有几个像素宽的细裂纹空洞卷积的采样间隔容易把裂纹“跳”过去。U-Net 不是所有指标都最优但在样本量有限、显存有限、缺陷目标小的产线场景里它是容错率最高的起点。相比一上来就换更大的分割网络先把 U-Net 的输入输出和对齐做对收益更确定。另外要注意的是分类网络和检测网络也用卷积提取特征但输出设计完全不同。分类网络最后输出一个类别概率检测网络输出若干框U-Net 则是把特征图恢复到输入分辨率做逐像素分类。对这个标题下的场景“分割”而不是“分类/检测”解决了两个问题缺陷小到矩形框无法表达缺陷真实形状缺陷面积、周长等量化指标需要像素级掩码才能算出来。2.2 输入分辨率、灰度通道与归一化从成像参数换算到网络输入轮毂缺陷分割的输入图主要有三种工业黑白相机表面图、彩色表面图、X 光探伤图。多数产线在初步验证时直接用灰度单通道减少通道偏移带来的额外变量。彩色图可以先转灰度也可以保留三通道训练但推理管线里必须固定同一种转法不能训练用 RGB、推理用灰度。输入分辨率不是随便定 512 或 256 就完事。一个常见换算方法是先算成像分辨率假设视场直径 350mm、相机短边 2048 像素那么一个 0.5mm 气孔在图像里大约占 3 个像素。切图尺寸取 512×512 时气孔能保留如果切图压到 256×256气孔只剩 1 个像素经过两三次池化后信息几乎归零。所以最小缺陷的成像像素数最好保证在训练切图里不小于 2×2裂纹这类线状目标最好有 2 到 3 像素宽否则分割出来的裂纹会断成虚线。归一化不要直接抄 ImageNet 的 mean/std。轮毂图像整体偏暗缺陷区域和正常纹理的灰度差往往只有几十个灰度值用固定的 0.5/0.5 会把对比度压平。常见做法是从训练集随机抽几千个像素统计 mean 和 std推理时用同一组统计量。如果相机输出 12bit raw 图还要先做亮场标定确定灰度上限后转到 8bit而不是直接除以 65535——否则整张图会堆在低灰度区间缺陷对比度反而更差。2.3 标签设计决定上限多类分割先想清楚再做标签策略上我一般建议第一版先做缺陷/背景二分类。轮毂缺陷类别多但多分类对标注一致性要求极高气孔和缩松边界本来就模糊标注人员标着标着就会产生分歧类别间混淆反过来拉低所有类别的精度。更顺的做法是分割网络只负责找出“哪里不正常”缺陷属于气孔、缩松还是裂纹交给一个专门的分类网络或人工复核。标签规则要和质检标准绑定。凡是不足以判定为缺陷的纹理起伏不要标能进入缺陷统计的最小尺寸要在标注开始前定死并给标注人员一册典型图例。同一个缺陷两个人标多边形的边缘差 5 到 10 像素训练出来的边缘就是这 10 像素的区间。细裂纹尤其明显如果标注时把裂纹宽度画成 5 像素模型学到的输出就是一根粗面条后续算裂纹长度时误差会放大到不可接受。3. 标注转换、切图与增强把“能用的数据”做出来3.1 polygons 转掩码一个可复现的处理脚本轮毂缺陷标注常用 LabelMe 或 CVAT 这类工具导出结果是带 polygons 的 JSON 文件。训练前先统一转成单通道掩码类别 id 直接写进像素值。这个脚本是整个数据管线里最不起眼但最容易出错的一步值得单独跑一遍并可视化检查。import cv2 import json import numpy as np def polygons_to_mask(json_path, image_path, class_ids): # class_ids 例子{pinhole: 1, shrinkage: 1, crack: 1} image cv2.imread(image_path, cv2.IMREAD_GRAYSCALE) h, w image.shape mask np.zeros((h, w), dtypenp.uint8) with open(json_path, r, encodingutf-8) as f: data json.load(f) for shape in data[shapes]: label shape[label] if label not in class_ids: continue pts np.array(shape[points], dtypenp.int32) cv2.fillPoly(mask, [pts], class_ids[label]) return image, mask逻辑说明读取原始图像尺寸后初始化全零掩码遍历标注 JSON 里的每个 shape用fillPoly把多边形内部的像素置为对应类别 id。掩码要跟原图严格对齐所以图像尺寸必须来自同一张原图不能在脚本里写死。多类场景下不同缺陷类型给不同 id二分类则全部给 1。输出前最好把原图和掩码叠加保存几张肉眼确认多边形坐标有没有因为原图被压缩而错位。若掩码边缘出现统一偏移优先怀疑标注时用的预览图和原图分辨率不一致。3.2 在线增强配置旋转、弹性变形与亮度扰动不能少轮毂缺陷分割的样本天然不平衡一张 2048×2048 的图里往往只有几十到几百个缺陷像素。数据增强要同时解决样本数量和泛化两个问题。常见的在线增强用 albumentations它能保证图像和掩码用同一套几何变换参数避免手动处理时插值不一致。import albumentations as A from albumentations.pytorch import ToTensorV2 train_transform A.Compose([ A.RandomScale(scale_limit(-0.1, 0.1), p0.3), A.RandomRotate90(p0.5), A.HorizontalFlip(p0.5), A.ElasticTransform(alpha1.0, sigma50.0, alpha_affine50.0, p0.2), A.RandomBrightnessContrast(brightness_limit0.1, contrast_limit0.15, p0.5), # 用训练集统计出的 mean/std 替换下面两个值 A.Normalize(mean(0.5,), std(0.5,)), ToTensorV2(), ]) def load_pair(image, mask, transform): out transform(imageimage, maskmask) return out[image], out[mask]参数说明RandomScale模拟相机距离波动Rotate90只做 90 度旋转比任意角度旋转稳定任意角度会引入边缘噪声且需要 paddingElasticTransform对铸造表面纹理起伏很有用但它会同时扭曲掩码强度过大会把细裂纹拉断sigma 不建议小于 30RandomBrightnessContrast模拟光源和曝光波动。Normalize的 mean/std 要用前面统计好的值替换不能一直用 ImageNet 的。增强是放在线还是离线取决于样本量。切图数量在几千张以内在线增强完全够超过几万张且训练多轮可以先离线生成一批增强样本再混入训练集这样不同轮次之间不会因增强随机性导致验证指标抖动。测试阶段必须关闭增强并且推理预处理要和训练时保持完全一致。3.3 按“轮毂”切分数据集切图和分集的三个经验参数大图不能直接整张送进 U-Net除非显存很宽裕。滑窗切图时窗口 512、步进 384 是起步配置即相邻切图重叠 128 像素。重叠对裂纹很重要能防止一条裂纹被切在两张图边界处变成两段。重叠比例在 1/4 到 1/2 之间调整重叠越多样本量越大训练时间也越长。切图之后要过滤明显的背景块。轮毂图像里大片区域是正常纹理如果全保留一个 batch 里大部分样本只有背景模型会偏向把所有像素都预测为背景。常见处理是先统计每张切图的缺陷像素占比低于 0.1% 的背景块只保留三成左右缺陷块全部保留。这个阈值按实际缺陷密度调整目标是让每个 batch 里至少有两三张图含缺陷。数据集划分最容易踩的坑是按切图随机分。同一只轮毂的所有切图共享纹理、光照和铸造批次特性它们会被模型“记住”导致验证集 Dice 虚高。正确做法是按轮毂编号分组整组切图全部落在训练集或验证集不能混用。同时气孔样本多、裂纹样本少的情况下要按缺陷类别做分层采样保证验证集里每个类别都有足够数量否则验证指标会被样本多的类别主导。4. 训练配置与参数基线一次能跑通的 U-Net4.1 一个可跑的 U-Net 结构与 DiceBCE 损失直接基于原始 U-Net 思路搭一个紧凑模型。编码器四次下采样解码器四次上采样配合跳连。对轮毂缺陷分割输入灰度单通道即可base_ch64是通用配置显存吃紧可以降到 32。import torch import torch.nn as nn class DoubleConv(nn.Module): def __init__(self, in_ch, out_ch): super().__init__() self.conv nn.Sequential( nn.Conv2d(in_ch, out_ch, 3, padding1), nn.BatchNorm2d(out_ch), nn.ReLU(inplaceTrue), nn.Conv2d(out_ch, out_ch, 3, padding1), nn.BatchNorm2d(out_ch), nn.ReLU(inplaceTrue), ) def forward(self, x): return self.conv(x) class UNet(nn.Module): def __init__(self, in_ch1, base_ch64, num_classes1): super().__init__() c base_ch self.enc1 DoubleConv(in_ch, c) self.enc2 DoubleConv(c, c * 2) self.enc3 DoubleConv(c * 2, c * 4) self.enc4 DoubleConv(c * 4, c * 8) self.bottleneck DoubleConv(c * 8, c * 16) self.pool nn.MaxPool2d(2) self.up1 nn.ConvTranspose2d(c * 16, c * 8, 2, stride2) self.dec1 DoubleConv(c * 16, c * 8) self.up2 nn.ConvTranspose2d(c * 8, c * 4, 2, stride2) self.dec2 DoubleConv(c * 8, c * 4) self.up3 nn.ConvTranspose2d(c * 4, c * 2, 2, stride2) self.dec3 DoubleConv(c * 4, c * 2) self.up4 nn.ConvTranspose2d(c * 2, c, 2, stride2) self.dec4 DoubleConv(c * 2, c) self.out_conv nn.Conv2d(c, num_classes, 1) def forward(self, x): e1 self.enc1(x) e2 self.enc2(self.pool(e1)) e3 self.enc3(self.pool(e2)) e4 self.enc4(self.pool(e3)) b self.bottleneck(self.pool(e4)) d1 self.dec1(torch.cat([self.up1(b), e4], dim1)) d2 self.dec2(torch.cat([self.up2(d1), e3], dim1)) d3 self.dec3(torch.cat([self.up3(d2), e2], dim1)) d4 self.dec4(torch.cat([self.up4(d3), e1], dim1)) return torch.sigmoid(self.out_conv(d4))损失函数建议用 Dice 和 BCE 的加权组合。单独用 BCE 在缺陷像素占比极低时容易收敛到“全部预测为背景”单独用 Dice 对细小目标敏感但收敛过程容易震荡。import torch.nn.functional as F def dice_loss(pred, target, smooth1.0): pred pred.view(pred.size(0), -1) target target.view(target.size(0), -1) intersection (pred * target).sum(dim1) return 1.0 - ((2.0 * intersection smooth) / (pred.sum(dim1) target.sum(dim1) smooth)) def segmentation_loss(pred, target, dice_weight0.6): bce F.binary_cross_entropy(pred, target) dice dice_loss(pred, target) return dice_weight * dice (1.0 - dice_weight) * bce逻辑说明pred是网络输出的概率图target是掩码。Dice 在分子上同时考虑预测和标签的交集背景像素再多也不会主导适合缺陷这种小目标BCE 提供稳定的梯度信号防止 Dice 在训练初期波动太大。dice_weight 在 0.5 到 0.8 之间调整缺陷越小、越细权重越往高调但阈值也要跟着下调否则模型输出会偏保守。4.2 训练参数表显存、优化器和早停怎么配下面是一组适合第一次跑通的参数基线。它不是最优解但能让你快速确认数据管线和模型链路没有大问题。配置项推荐取值说明输入尺寸1×512×512灰度单通道切图尺寸与成像分辨率对齐base_ch64显存吃紧用 32直接决定参数量和显存占用batch size8G 显存用 816G 用 16显存不够先降 batch再降 base_ch优化器AdamWweight_decay 取 1e-4比 Adam 默认收敛稳学习率1e-3batch size 降到 4 以下时改为 5e-4损失权重0.6 Dice 0.4 BCE缺陷过小时 Dice 权重最高调到 0.8早停patience 8-10 个 epoch监控验证集 Dice不只看训练 loss阈值0.5 起步上线前按漏检率重新校准AdamW 加上 weight_decay对分割任务通常比纯 Adam 稳。学习率 1e-3 是批量 8 的经验起点如果 loss 前几个 epoch 就震荡说明学习率偏高改成 5e-4 甚至 2e-4。不要盲目训练固定 100 轮轮毂缺陷样本量不大过拟合来得很快早停比多跑 epoch 更有价值。4.3 第一轮就要盯的可视化loss 尺度与预测掩码训练曲线要看 combo loss它的量级一般在 0.2 到 0.6 之间。如果 loss 一直在 1.0 附近不掉先检查标签掩码和原图是否对齐再检查 mask 是不是整张全零如果 loss 降到 0.2 左右开始震荡说明学习率需要调小或 Dice 权重偏高。数值之外每个 epoch 定时把验证集的原图、标签、预测概率图拼成一张图保存到 TensorBoard。Dice 上升但预测掩码边缘飞出去、裂纹断成一截一截这些问题只看指标是看不出来的。分割任务里“眼见为实”永远比一个标量指标可信。至少存几个含气孔、缩松、裂纹三类典型样本的可视化图训练完先看这几张图再决定要不要调参。5. 训练与上线避坑清单5 个让分割模型翻车的高频问题5.1 训练 Dice 高、新轮毂上大幅下滑数据集切分的泄漏问题现象训练集 Dice 0.92验证集 0.88换一批新轮毂直接跌到 0.55。原因切图时按图像随机分训练/验证集同一只轮毂的不同切图分别进入了两个集合。模型记住了这只轮毂的纹理特征验证指标虚高。解决从数据采集阶段就给每张图记录轮毂编号按编号分组切分数据集。验证集在模型选型阶段只碰一次不要反复用它调参。5.2 细裂纹断成一截一截池化、阈值与后处理的连锁反应现象模型输出的概率图里裂纹是连续的但二值化后断成碎片。原因输入 512×512 经过四次 maxpool 后细裂纹末梢在深层特征里只剩一两个像素阈值取 0.5 把低置信度的裂纹尾部切掉后处理里再做一个开运算又断一次。解决把阈值降到 0.3 左右重新看概率图分布后处理只做“去掉面积小于阈值的孤点区域”和“闭运算”不要随意用腐蚀。如果裂纹仍然断考虑减少一次池化或改用 Deep Supervision 让浅层也参与梯度回传。5.3 Dice 卡在 0.3 附近不动先查损失与标注一致性现象combo loss 在下降但验证集 Dice 长期卡在 0.3。原因多个标注人员对缺陷边界定义不一致同一类裂纹有人标 3 像素宽有人标 8 像素宽或者缺陷样本太少模型倾向保守预测Dice 在小目标上被极小误差大幅拉低。解决把验证集里不同缺陷类别分别统计 Dice定位是某一类拉低整体还是所有类别都低。统一标注规范后重新导出掩码比换损失函数更有效。若确认标注一致再把 Dice 权重从 0.6 提到 0.7并配合降低阈值。5.4 增强之后图像和掩码错位插值方式要统一现象打印增强结果发现掩码边缘和灰度边界错开 3 到 5 像素。原因图像用线性插值、掩码用最近邻两者在随机旋转和缩放后产生亚像素偏差细缺陷上被放大成明显错位。解决用 albumentations 同时处理 image 和 mask它会保证几何变换参数一致。手写增强时图像和掩码必须使用同一套 warp 矩阵不能用 OpenCV 分别调函数。5.5 推理图片一换通道就翻车灰度通道与归一化的对齐现象训练一切正常推理时新图里整个轮毂被判成缺陷背景。原因相机输出彩色图直接送进训练时是灰度图的模型或者推理用了另一套归一化统计值raw 图没有做亮场标定灰度分布整体偏移。解决把推理前处理写成固定管线转灰度、同一组 mean/std、同一切图尺寸、同一 padding 值。训练时用的是 0 padding推理时不要改成 -1 或反射 padding。这个管线应该作为模型版本的一部分存档不能临时写。6. 从掩码到质检结论验证指标与部署提速的几件小事6.1 像素指标和生产指标分开看Dice 和 IoU 是算法对比指标产线真正关心的是漏检率和过杀率。模型输出概率图后要先按阈值二值化再统计最大缺陷面积——面积超过工艺标准的才判为不合格。这时候要把指标切换到“件”的粒度一百件已知缺陷品里漏掉了几件一千件正常品里误杀了几件。概率图阈值从 0.5 往下调漏检率会下降但过杀率上升合理的阈值通常要在一个留出的校准集上重新找而不是直接用训练时习惯的 0.5。6.2 部署提速的常见路径如果推理延迟不达标第一优先级是看输入尺寸而不是立刻换网络。把 512×512 降到 384×384前提是最小缺陷仍然大于 2 个像素U-Net 的推理计算主要集中在前几层卷积分辨率直接决定延迟。确认尺寸后把模型导出 ONNX再用目标推理后端转成加速格式。转换时尽量用标准算子自定义 op 会成为加速的绊脚石。如果 GPU 资源有限优先保证灰度图和掩码的预处理在 CPU 侧用异步流水线避免图像加载和网络推理互相等待。6.3 提高分割质量的低成本收尾Dice 不再上升时测试时增强是个低成本的压榨手段推理时把原图和水平翻转后的图都送进网络概率图取平均能消掉一部分边界抖动代价是推理时间翻倍。另一个办法是伪标签把阈值 0.95 以上的高置信缺陷像素当成标签加入训练集再训一轮对边界贴合有一定帮助。细裂纹仍然断裂的话在损失里加一个 Tversky 项重点惩罚假阴性通常比换模型见效快。我第一次做这类项目时花了很多时间调网络结构最后发现最省时间的一步是把标注边界规范和切图重叠率先定好。很多调参调不上去的问题追根到底都出在数据管线上。后来再做轮毂项目我会先固定验证口径——按轮毂分组、按件算漏检率、单独统计裂纹类别的指标再谈 Dice 和训练技巧基本能少走大半周弯路。希望帮到你。本文还有配套的精品资源点击获取