简介面向工业玻璃质检与自动化清洁场景的110玻璃脏污目标检测数据集以YOLO格式封装510张来自真实工业环境的图片其中训练集452张、验证集58张单类别「110GlassDirty」专攻玻璃表面污渍、异物区域的边界框定位。该数据集可直接用于目标检测模型训练、表面缺陷识别算法验证也适合产线巡检、智能安防监控等场景落地。压缩包共1022个文件包括510个jpg原图、510个txt标注文件、1个yaml类别配置以及1份docx说明文档整体约29.64MB目录紧凑、标签与图片一一对应导入YOLO系列框架后即可开箱训练。所有标注均基于实际玻璃脏污样本框体定位准确且类别专一能有效降低模型误检率数据集规模适中既便于研究生快速实验也适合工程人员做算法预研与迭代。目前已有240人浏览学习配套说明文档可帮助使用者快速理解数据划分与标注规范减少数据采集和清洗成本是工业视觉缺陷检测项目中一份高性价比的入门与验证资源。1. 110玻璃脏污目标检测数据集它到底在解决什么问题做工业质检的朋友对这一幕应该不陌生产线上相机拍回来的玻璃图片堆成山脏污、水渍、指纹、灰尘在光线下形态各异有的像条短线有的是一片雾蒙蒙还有的偏偏长在边缘反光处人眼看着都费劲。你兴冲冲打开标注工具准备建数据集结果发现光是“脏污”这一类就够你标一礼拜——边界模糊、对比度低、形态不统一标完还得反复核对最后训练出来的模型连自己都骗不过去。这篇笔记要拆的“110玻璃脏污目标检测数据集.zip”就是一个拿来就能用的工业缺陷检测数据包已经按目标检测任务整理好了。它的核心价值在于不用再从零开始攒图、标框、整理格式解压后直接进训练流程重点是搞清楚它怎么接入YOLO、参数怎么调、以及那些标数据时根本不会有人告诉你的坑。适用对象很明确做玻璃、面板、镜片类产品外观检测的算法工程师或者正在做毕业设计、需要真实工业缺陷数据的学生。数据集规模不大适合快速验证模型、跑通流程如果你已经在做工业视觉项目也可以把它当成基准集来评估算法效果。下面按我实际拆包的顺序一步一步说。2. 解压与目录结构先看清这份数据集的真实布局2.1 拿到压缩包后第一步确认不是伪加密下载下来的zip文件第一件事不是急着解压而是先确认文件完整性和加密状态。工业数据包经常在传输过程中损坏或者被工具加了个“伪加密”标记——就是文件看起来有密码其实密码为空某些解压软件会直接拒绝处理。检查方法很简单用标准解压工具直接双击如果弹出密码框但输入空密码能解开说明是伪加密如果文件头损坏7-Zip会直接报错。我习惯在命令行里先测一下# 检查zip完整性-t表示test zip -T 110玻璃脏污目标检测数据集.zip # 如果报错 Bad zipfile offset说明压缩包不完整需要重新下载参数说明-T只做完整性测试不解压文件速度很快。如果确认损坏别浪费时间修直接重新下载比修复更划算。如果解压时遇到伪加密用7-Zip的“修复压缩档”功能或者命令行7z x -y直接强制解压通常能绕过去。解压完成后建议先不急着打开图片先看目录结构# 递归查看目录只显示文件夹层级不刷屏 find . -type d -maxdepth 3这一步能让你快速了解数据集的组织方式。常见的工业数据包结构会是图片目录、标注目录、类别配置文件各占一块或者已经按train/valid划分好了。看到结构后先别动任何文件的路径因为后面配置训练时会用到。2.2 标注格式识别txt、xml还是json决定你后续工具的选型打开标注目录看文件后缀名这一步决定你后面用什么工具链。.txt格式是YOLO系列最常用的每行对应一个目标格式是class_id x_center y_center width height注意框的坐标是相对图片宽高的归一化值.xml是VOC格式保存的是绝对像素坐标使用labelImg标注工具默认输出的就是这个格式.json则可能是COCO风格的标注也可能是标注软件的自定义格式。检查具体标注格式的命令# 查看第一个标注文件的前几行 head -n 5 labels/xxx.txt # 统计类别编号列表确认类别数是否与配置文件一致 awk {print $1} labels/xxx.txt | sort -u第二个命令非常实用它能直接列出标注文件里出现过的所有类别编号。举个例子如果类别配置文件写着0是“脏污”、1是“水渍”但awk结果里出现了2说明标注里混了没在配置里定义的类别训练时会报错或者直接忽略这种问题在别人整理好的数据集里也不罕见。2.3 图片与标注的对应关系命名前缀是唯一的线索工业数据集的图片文件命名通常是一串编号标注文件与图片文件一一对应靠前缀匹配。检查它们的对应关系最稳妥的办法是写个三行脚本扫描import os img_dir images label_dir labels img_names {os.path.splitext(f)[0] for f in os.listdir(img_dir)} label_names {os.path.splitext(f)[0] for f in os.listdir(label_dir)} # 找出有图片没标注、以及有标注没图片的情况 missing_labels img_names - label_names missing_images label_names - img_names print(缺标注的图片数:, len(missing_labels)) print(缺图片的标注数:, len(missing_images))这段脚本的逻辑是把图片和标注的文件名去掉扩展名后分别做成集合再求差集。如果缺标注的图片数不为0这些样本在训练时会被YOLO自动跳过等于白占数据集名额有标注没图片则会在数据加载时报错。对这个数据量级跑完脚本一眼就能确认资源能不能直接进训练。3. 数据集接入YOLOv8训练完整流程与参数配置3.1 为什么目标检测任务最终都落在YOLO上以及YOLOv8的具体优势这份数据集的使用场景是玻璃表面的脏污检测对算法的要求是快速迭代定位准确。YOLO系列把目标检测当成单阶段的回归问题一次前向传播直接输出边框和类别不需要像Faster R-CNN那样分两阶段走。对于脏污这类小目标、低对比度缺陷YOLOv8的anchor-free设计让边框预测不再依赖预设框的尺寸和比例小目标的召回率比YOLOv5有实质性提升。另一个实际原因是用的人多社区生态完整。数据加载、训练、导出、部署的坑基本都被踩过了遇到问题能搜到解决方案。在这个数据量级下YOLOv8的nano或small模型就够用训练时间短且显存消耗小适合先在本地跑通再考虑部署。3.2 数据文件组织建目录、写data.yaml一个文件管好全部路径拿到数据集后先按YOLOv8的约定组织目录结构。标准做法是glass_defect_dataset/ ├── images/ │ ├── train/ │ └── val/ ├── labels/ │ ├── train/ │ └── val/ └── data.yaml如果原始数据集没有划分train和val自己用脚本按比例切分常见做法是9:1或8:2。玻璃脏污检测对训练集和验证集的分布有要求验证集里必须包含各个位置的脏污样本不能全部是中心区域的否则模型在边缘脏污上的表现无法被真实评估。data.yaml的内容如下path: /absolute/path/to/glass_defect_dataset # 数据集根目录的绝对路径 train: images/train # 相对于path的训练图片目录 val: images/val # 相对于path的验证图片目录 names: 0: dirty 1: water_stain 2: smudge参数说明path建议写绝对路径避免相对路径在不同工作目录下出问题。names的类别顺序和数量必须以标注文件里实际出现的类别编号为准——如果你检查后发现实际只有两类却配置了三个名字训练不会报错但类别错位最终推理结果会完全不对。这也是我建议先做2.2节类别检查的原因。3.3 训练启动与参数调整资源有限时的推荐配置启动训练前先确认显卡显存不同型号显存用的batch size差异很大。以显存8GB为参考yolo detect train \ modelyolov8n.pt \ dataglass_defect_dataset/data.yaml \ epochs100 \ imgsz640 \ batch16 \ device0 \ patience20参数说明modelyolov8n.pt加载预训练权重能加速收敛epochs100在这个数据量下通常已经足够imgsz640是YOLOv8默认输入尺寸如果原始图片分辨率较低或者脏污目标相对较大640足够如果脏污目标在图中占比很小可以试imgsz1280代价是训练时间和显存占用翻倍patience20表示连续20个epoch验证集指标没有提升就提前结束这是一个很有效的防过拟合手段同时能省训练时间。训练过程中的监控重点是验证集上的mAP50和mAP50-95。mAP50是IoU阈值0.5时的平均精度工业缺陷检测里大家最在意这个值mAP50-95是多个IoU阈值下的均值更严格。两者差距过大比如mAP50很高但mAP50-95很低说明模型对框的定位精度不够稳脏污边缘的框抖动明显。3.4 训练输出解读那张混淆矩阵图应该怎么看训练结束后runs/detect/目录下会生成混淆矩阵、PR曲线、验证集推理图等文件不要只看mAP数字就收工。打开confusion_matrix.png矩阵对角线越亮说明每个类别的分类越准。对玻璃脏污检测而言还要看非对角线区域有没有显著亮块——比如把水渍误判成脏污这通常意味着两类样本在视觉上存在重叠区域光加数据不够需要考虑在预处理上做区分或者合并类别。val_batch*.jpg是验证集的预测可视化图逐张看图比看指标更直观。我一般会特别看玻璃边缘和角落位置的检测框有没有偏移这类位置反光干扰大是脏污检测的常见重灾区。4. 数据质量排查noise怎么过滤、类别怎么合并、样本怎么清洗4.1 脏污数据集中最容易混入的noise样本拿到别人整理好的数据集不能假设所有样本都是干净的。玻璃脏污检测数据集里最常见的三类问题一是反光区域被标成了缺陷这类样本在训练时会逼着模型去学习“亮斑脏污”的错误规律推理时遇到镜面反射就误报二是包含非玻璃材质样本比如亚克力板、贴膜后的屏幕材质不同反光和透光特性完全不同混在一起相当于两个任务揉在了一个模型里三是标注框的中心坐标落在图片边缘外或者宽度高度为0这类无效标注在训练时会被跳过但数据加载时报错会影响心态。清洗脚本的常见做法是# 找出坐标异常的标注文件 awk $20 || $30 || $21 || $31 || $40 || $50 {print FILENAME} labels/*.txt坐标取值范围是0~1的归一化值$40或$50对应非法框。跑完这个命令如果输出为空说明标注文件格式层面是干净的如果有一批文件输出就得回到原图上一张张确认看看是标注软件导出问题还是人为失误。4.2 类别过细导致模型学不动要不要合并工业脏污数据集有时候会把“油污”“灰尘”“水渍”分开标成三类但实际在玻璃上的视觉差异并不大模型很容易混淆。遇到这种情况我一般会先看类别样本数分布如果某一类的样本数只有另一类的十分之一甚至更少先合并不是偷懒而是务实。假设原始标注文件类别1是“手指印”、类别2是“灰尘”两者框的位置和形态高度重叠训练后模型的区分度很差就需要做类别合并import os label_dir labels # 定义类别映射把类别1和类别2合并成新的类别1 mapping {1: 1, 2: 1} for f in os.listdir(label_dir): if not f.endswith(.txt): continue path os.path.join(label_dir, f) with open(path, r) as fp: lines fp.readlines() with open(path, w) as fp: for line in lines: parts line.strip().split() cls_id int(parts[0]) if cls_id in mapping: parts[0] str(mapping[cls_id]) fp.write( .join(parts) \n)这段代码会覆盖原标注文件执行前务必先备份。判断是否需要合并的标准训练完看混淆矩阵如果两个类别互相误判的比例超过15%同时两者在实际业务场景中不需要区分处理就合并。提醒一句合并完成之后同时要改data.yaml里的names列表否则类别编号和名称对不上推理结果会显示错误标签。4.3 数据量不够时先做传统增强还是先做Mosaic这份数据集的量不大训练YOLOv8时增强策略就变得很关键。YOLOv8默认开启Mosaic增强它的原理是把四张图随机裁剪后拼接成一张让模型在训练里看到更丰富的上下文和小目标样本。对脏污检测有个副作用脏污区域经过裁剪缩放后可能严重变形模型学到的是“变形的脏污”而不是“真实的脏污”。我的一般处理方式是数据量在几百张级别时先把Mosaic关掉跑一版基线对比用mosaic0.0如果关掉后mAP明显下降再逐步调回来。同时打开hsv_h、hsv_s这类颜色增强参数因为玻璃脏污的颜色差异对检测结果影响很大yolo detect train \ modelyolov8n.pt \ dataglass_defect_dataset/data.yaml \ epochs100 \ mosaic0.5 \ hsv_h0.015 \ hsv_s0.7 \ fliplr0.5参数解释mosaic0.5让一半的训练样本走Mosaic流程降低纯Mosaic带来的畸变影响hsv_h0.015控制色调轻微扰动玻璃背景颜色微变时模型不至于崩hsv_s0.7饱和度扰动幅度较大因为脏污在偏黄照明和偏白照明下的饱和度差异明显。翻转变换fliplr0.5对玻璃脏污是安全的脏污本身没有方向性水平翻转不会改变类别语义。5. 避坑与常见问题排雷从标注到训练的顽固坑5.1 训练时loss正常但mAP一直上不去现象损失曲线稳步下降看着一切正常但验证集的mAP50始终在0.3~0.4之间波动死活突破不了。原因最常见的是数据本身的问题——训练集和验证集分布不一致。比如训练集里脏污大多是中心区域的大块污渍验证集里却混了许多边缘细条状脏污模型没见过这种形态自然测不准。解决先检查验证集图片和标注确认脏污形态覆盖是否与训练集一致再检查标注框质量用可视化脚本把标注框画出来看有没有框偏大偏小或者框住了整片玻璃的情况。如果数据没问题尝试衔接freeze层数参数增加——工业数据量小时模型容易过拟合冻结前10层主干特征提取网络例如freeze10往往能让泛化能力稍微好转。5.2 标注框坐标没越界但训练时报Image size错现象4.1节那个awk命令检查过了坐标都在0~1之间但训练启动时提示Image size doesnt match数据加载直接中断。原因YOLO的标注框size必须大于某个阈值过小或为负都会被过滤。这类数据集常见问题是标注了极小的脏污点归一化后宽高只有0.001甚至更小视觉上是一两个像素的噪点。解决用awk加一个最小尺寸阈值来过滤awk $40.005 || $50.005 {print FILENAME, $0} labels/*.txt命令含义打印出所有宽度或高度小于0.005的标注行。看到结果后手动确认这些是否是真实目标如果是噪点标注就删除该行如果是真实脏污但目标确实极小可以在预处理里先做裁切放大再重新标注。5.3 推理阶段把反光白斑当成脏污现象模型在训练集上mAP漂亮一到真实产线图片玻璃反光、日光灯倒影全被框出来了误报率居高不下。原因训练数据里反光区域的脏污标注和正常反光区域没有区分开模型学到的特征边界是“亮斑脏污”。这是玻璃检测特有的问题跟模型本身无关纯粹是数据的锅。解决两个方向。其一在数据侧补充负样本——专门采集无反光脏污但带反射的图片放入训练集但不打任何标注其二如果脏污检测的部署端有固定的光源和拍照角度尽可能在同样的光照条件下采集数据减少训练场景和部署场景的域偏移。这种场合我一般会建议宁可数据数量少一点也要保证采集环境跟实际产线一致。5.4 batch size调大后训练速度反而变慢甚至爆显存现象觉得数据集小把batch从8调到64想让训练跑快点结果OOM了或者Gpu利用率掉到60%以下。原因玻璃脏污图片通常分辨率不低批尺寸太大时显存被中间张量占满触发内存换页训练反而变慢。不要以为batch大就一定快。解决监控显存占用和吞吐量从batch8开始成倍往上加每次跑个几十步看实际迭代速度。YOLOv8在训练时会打印每个epoch耗时用这个数值做对比找到吞吐量的拐点就行。同时确认workers参数数据加载线程数至少是4很多训练慢其实是CPU加载数据跟不上GPU导致的。6. 进阶玩法用这份数据集做缺陷分类与分割任务的扩展这份数据集虽然是按目标检测格式压缩好的但它的价值不止是拿来跑一个YOLO模型。如果你手头项目需要更细的缺陷分析可以基于它的标注框做扩展。一个实际可操作的方案是把检测框内的区域裁剪出来重新整理成缺陷分类数据集import cv2 from pathlib import Path img_dir Path(images) label_dir Path(labels) output_dir Path(cropped_defects) output_dir.mkdir(exist_okTrue) for label_file in label_dir.glob(*.txt): img_path img_dir / (label_file.stem .jpg) img cv2.imread(str(img_path)) if img is None: continue h, w img.shape[:2] with open(label_file, r) as f: for idx, line in enumerate(f): cls_id, cx, cy, bw, bh map(float, line.strip().split()) # 还原为像素坐标 x1 int((cx - bw / 2) * w) y1 int((cy - bh / 2) * h) x2 int((cx bw / 2) * w) y2 int((cy bh / 2) * h) # 防止越界裁剪 x1, y1 max(0, x1), max(0, y1) x2, y2 min(w, x2), min(h, y2) crop img[y1:y2, x1:x2] if crop.size 0: continue output_path output_dir / f{label_file.stem}_{idx}.jpg cv2.imwrite(str(output_path), crop)这段脚本做的事情是遍历每个标注文件把检测框里的图像区域裁剪出来按“原图文件名_编号.jpg”命名保存。裁剪后可以有两种玩法。其一直接按类别编号建子目录重新训练一个轻量级分类模型用于区分脏污的具体成因类型这种在产线上对“设备维护”和“环境清洁”分工会很有用。其二用分割模型比如YOLOv8-seg结合裁剪结果做二次标注获得更精细的缺陷轮廓。我在实际项目里试过用检测框裁剪后再做标注比直接在原图上标注效率高一倍多尤其适合脏污边缘不清晰的情况。参数解释cx,cy,bw,bh是标注文件里的归一化中心坐标和宽高乘上图片宽高得到像素坐标max(0, x1)和min(w, x2)用来防止裁剪区域越界——别看标注坐标合法四舍五入后仍可能产生1~2像素的溢出。在使用这份数据集的整个过程中最值得投入时间的不是调模型结构而是数据质量本身。从那以后我每次拆解这类工业检测数据包都会强制走一遍完整流程先查标注格式与类别冲突再扫无效框和坐标越界最后看一眼类别分布再合并——这三步能省掉后面训练和排障大量无效调试时间。这套流程同样适用于你这边的玻璃脏污项目希望帮到你。本文还有配套的精品资源点击获取