基于YOLO26深度学习的晶圆体缺陷识别检测系统（项目源码+数据集+模型权重+UI界面+python+深度学习+远程环境部署）

摘要

本研究提出并验证了一种基于YOLO26架构的自动化晶圆体缺陷检测系统，旨在解决半导体制造过程中复杂缺陷识别的难题。系统针对包含中心缺陷、环形缺陷、边缘局部缺陷等在内的9种典型晶圆图样进行了训练与优化。实验使用了总计13,000张晶圆图的混合数据集，其中训练集10,400张，验证集与测试集各1,300张。实验结果表明，该模型在验证集上取得了优异的性能，平均精度均值（mailto:mAP@0.5）达到0.943。特别是在“边缘环”、“无缺陷”及“环形”等类别的识别上，AP值接近0.99。尽管在“局部”与“划痕”等形态相似缺陷的区分上存在微小混淆，但整体检测速度与精度均满足工业级在线检测的需求，为提升晶圆良率分析效率提供了可靠的技术支持。

详细功能展示视频

https://www.bilibili.com/video/BV164oWB3Epi/

目录

摘要

详细功能展示视频

https://www.bilibili.com/video/BV164oWB3Epi/

功能模块

1、用户管理模块

2、界面与交互模块

3、检测源管理模块

4、检测参数配置模块

5、YOLO检测核心模块

6、结果显示模块

7、结果保存模块

8、工具栏功能

9、辅助功能

10、数据校验模块

引言

背景

半导体制造与良率管理的重要性

晶圆图与典型缺陷分类

从传统方法到深度学习的演进

数据集介绍

数据集统计

类别分布与标注

训练结果

整体概况​编辑

精度与召回率分析

混淆矩阵分析

曲线分析

Ultralytics YOLO26

概述

主要功能

常用标注工具

详细功能展示视频

功能模块

✅用户登录注册：支持密码检测，密码加密。

注册

登录

✅图片检测：可对图片进行检测，返回检测框及类别信息。

✅参数实时调节（置信度和IoU阈值）

✅支持选择检测目标：可以选择一个或者多个类目的目标进行检测

✅视频检测：支持视频文件输入，检测视频中每一帧的情况。

✅摄像头实时检测：连接USB 摄像头，实现实时监测。

✅日志记录：日志标签页记录操作和错误信息，带时间戳

✅结果保存模块：支持图片/视频/摄像头检测结果保存

1、用户管理模块

2、界面与交互模块

3、检测源管理模块

4、检测参数配置模块

5、YOLO检测核心模块

6、结果显示模块

7、结果保存模块

8、工具栏功能

9、辅助功能

10、数据校验模块

引言

在半导体产业飞速发展的今天，晶圆制造作为产业链的核心环节，其良率直接决定了芯片的生产成本与市场竞争力。随着制程工艺不断向纳米级微缩，晶圆表面产生缺陷的概率增加，且缺陷形态日益复杂。传统的基于人工显微镜检查或简单规则匹配的缺陷检测方法，已难以满足现代晶圆厂对高通量、高精度及实时性的要求。人工检测不仅效率低下，且极易受主观因素影响导致漏检或误检。

为了解决上述问题，基于深度学习的目标检测技术逐渐成为晶圆缺陷识别的主流方案。本研究引入先进的YOLO26目标检测算法，构建了一套端到端的晶圆缺陷识别系统。该系统旨在通过海量数据训练，自动学习各类缺陷的深层特征，实现对晶圆图中“中心”、“环形”、“划痕”等9类缺陷的快速、精准定位与分类。本文将详细阐述该系统的训练策略、数据集构建过程以及最终的评估结果，重点分析模型在不同缺陷类型上的表现差异及混淆情况，验证其在实际工业场景中的应用潜力。

背景

半导体制造与良率管理的重要性

半导体是现代电子工业的基石，广泛应用于人工智能、5G通信、汽车电子等领域。晶圆作为半导体器件的载体，其制造过程涉及光刻、刻蚀、离子注入、薄膜沉积等数百道复杂工序。在这一过程中，任何微小的环境波动或设备异常都可能导致晶圆表面产生缺陷。这些缺陷若未被及时发现和纠正，将导致后续芯片功能失效，严重降低生产良率。因此，快速准确地识别缺陷类型并追溯其产生根源，是晶圆厂进行良率提升的关键环节。

晶圆图与典型缺陷分类

晶圆缺陷通常通过“晶圆图”来可视化展示，图中每一个点代表一个芯片单元，根据其电性测试结果被标记为合格或不合格。根据缺陷的空间分布模式，工业界通常将其分为以下几类，这也是本系统需要识别的9个目标类别：

• 中心缺陷：通常由光刻或研磨过程中的中心对准问题引起。
• 环形缺陷：呈现同心圆状，常与化学机械抛光过程有关。
• 边缘局部与边缘环缺陷：集中在晶圆边缘，可能与边缘刻蚀效应或传输过程中的机械接触有关。
• 局部缺陷：随机分布在特定区域的簇状缺陷，成因复杂。
• 近满缺陷：大面积的失效区域，通常意味着严重的工艺失控。
• 划痕：细长的线性损伤，多由机械传输或探针测试造成。
• 随机缺陷：无明显规律的散点分布。
• 无缺陷：作为负样本，用于训练模型区分正常晶圆。

从传统方法到深度学习的演进

早期的晶圆缺陷识别主要依赖人工设计的特征提取算法（如HOG、LBP）结合传统分类器（如SVM、KNN）。然而，这些方法对噪声敏感，且难以处理形态多变、边界模糊的复杂缺陷（如“划痕”与“局部”缺陷的混淆）。近年来，以卷积神经网络为代表的深度学习技术，凭借其强大的特征自学习能力，在计算机视觉领域取得了突破性进展。YOLO系列算法作为单阶段目标检测的代表，以其“一次前向传播即可完成检测”的特性，在保证高精度的同时实现了极快的推理速度，非常适合晶圆制造这种对实时性要求极高的工业场景。

数据集介绍

本研究使用的数据集是半导体缺陷检测领域广泛使用的标准数据集（基于WM-811K进行筛选与预处理），涵盖了半导体制造中常见的各类缺陷模式。

数据集统计

数据集被严格划分为训练集、验证集和测试集，以确保模型评估的客观性。具体分布如下：

• 训练集：10,400张图像，用于模型权重的学习与更新。
• 验证集：1,300张图像，用于训练过程中监控模型性能，调整超参数。
• 测试集：1,300张图像，用于最终评估模型的泛化能力。
• 总计：13,000张高质量的晶圆图。

类别分布与标注

数据集包含9个检测类别，涵盖了从简单几何形状到复杂随机分布的多种缺陷。根据训练集统计，各类别实例数量分布如下（部分类别存在样本不平衡现象，模型需具备较强的鲁棒性）：

• Center（中心）：约1,716个实例。
• Donut（环形）：约444个实例（样本较少，属于长尾分布）。
• Edge-Loc（边缘局部）：数量最多，约3,251个实例。
• Edge-Ring（边缘环）：约1,937个实例。
• Loc（局部）：约1,917个实例。
• Near-full（近满）：约119个实例（极度稀缺样本）。
• None（无缺陷）：约1,024个实例。
• Random（随机）：约693个实例。
• Scratch（划痕）：约1,348个实例。

训练结果

整体概况

• 总体性能强劲：模型在验证集上的 mAP@50 达到了0.943，mAP@50-95 达到了0.817。这是一个非常高的分数，说明模型对晶圆缺陷的定位和分类都非常准确。
• 部分类别表现完美：如“边缘环”类别的 AP 值接近 1.0，几乎没有误检或漏检。
• 训练收敛良好：损失函数下降平稳，没有明显的过拟合迹象。

精度与召回率分析

• mAP (平均精度均值)：
  • mAP@50 = 0.943：这意味着在 IoU 阈值为 0.5 时，模型检测正确的比例极高。
  • mAP@50-95 = 0.817：这是一个更严格的指标，考虑到高 IoU 阈值。0.817 的分数表明模型不仅框得对，而且框得很准（边界框回归做得很好）。
• 各类别 AP 值：
  • 表现最好的类别：边缘环 (0.995)、环形 (0.977)、无缺陷 (0.977)、中心 (0.976)。这些类别的特征非常明显，模型极易学习。
  • 表现较弱的类别：局部 (0.862)、划痕 (0.884)、边缘局部 (0.874)。这三类相对较低，说明它们的特征可能比较模糊，或者容易与其他背景混淆。

混淆矩阵分析

这是最需要关注的部分，揭示了模型的弱点。

• 主要混淆点：
  • 划痕 vs. 背景/其他：从混淆矩阵看，“划痕”这一行和列有一些非对角线的数值。特别是真实的“划痕”被预测为“背景”或“局部”的情况。
  • 局部 vs. 划痕/边缘局部：真实的“局部”缺陷有相当一部分被预测成了“划痕”或“边缘局部”。
  • 边缘局部 vs. 背景：真实的“边缘局部”有约 13% (归一化矩阵数据) 被漏检成了背景。
• 原因推测：“划痕”通常细长且不明显，“局部”缺陷形态多变，这两者在视觉上可能非常相似，导致模型难以区分。

曲线分析

• F1-Confidence Curve：
  • 所有类别的 F1 分数峰值都很高，且集中在置信度 0.6-1之间。
  • “边缘环”和“无缺陷”的曲线几乎顶格，说明这两个类别的鲁棒性极强。
  • “局部”和“划痕”的曲线相对较低，且峰值较宽，说明很难找到一个完美的置信度阈值来平衡这两类的查准率和查全率。
• Precision-Recall Curve：
  • 曲线整体向右上角凸起，包围面积大。
• Loss 曲线
  • train/box_loss,train/cls_loss,train/dfl_loss均平稳下降并趋于收敛。
  • val(验证集) 的损失曲线在后期有轻微回升（尤其是val/box_loss），这可能暗示训练后期有轻微的过拟合，或者学习率调整导致的震荡，但总体影响不大。

Ultralytics YOLO26

概述

Ultralytics YOLO26 是 YOLO 系列实时对象检测器的最新演进，从头开始专为边缘和低功耗设备而设计。它引入了简化的设计，消除了不必要的复杂性，同时集成了有针对性的创新，以实现更快、更轻、更易于访问的部署。

YOLO26 的架构遵循三个核心原则：

• 简洁性:YOLO26是一个原生的端到端模型，直接生成预测结果，无需非极大值抑制（NMS）。通过消除这一后处理步骤，推理变得更快、更轻量，并且更容易部署到实际系统中。这种突破性方法最初由清华大学的王傲在YOLOv10中开创，并在YOLO26中得到了进一步发展。
• 部署效率：端到端设计消除了管道的整个阶段，从而大大简化了集成，减少了延迟，并使部署在各种环境中更加稳健。
• 训练创新：YOLO26 引入了MuSGD 优化器，它是SGD 和MUON的混合体——灵感来源于 Moonshot AI 在 LLM 训练中Kimi K2的突破。该优化器带来了增强的稳定性和更快的收敛，将语言模型中的优化进展转移到计算机视觉领域。
• 任务特定优化：YOLO26 针对专业任务引入了有针对性的改进，包括用于Segmentation的语义分割损失和多尺度原型模块，用于高精度姿势估计的残差对数似然估计 (RLE)，以及通过角度损失优化解码以解决旋转框检测中的边界问题。

这些创新共同提供了一个模型系列，该模型系列在小对象上实现了更高的精度，提供了无缝部署，并且在CPU 上的运行速度提高了 43%— 使 YOLO26 成为迄今为止资源受限环境中最实用和可部署的 YOLO 模型之一。

主要功能

• DFL 移除
  分布式焦点损失（DFL）模块虽然有效，但常常使导出复杂化并限制了硬件兼容性。YOLO26 完全移除了 DFL，简化了推理过程，并拓宽了对边缘和低功耗设备的支持。

• 端到端无NMS推理
  与依赖NMS作为独立后处理步骤的传统检测器不同，YOLO26是原生端到端的。预测结果直接生成，减少了延迟，并使集成到生产系统更快、更轻量、更可靠。

• ProgLoss + STAL
  改进的损失函数提高了检测精度，在小目标识别方面有显著改进，这是物联网、机器人、航空影像和其他边缘应用的关键要求。

• MuSGD Optimizer
  一种新型混合优化器，结合了SGD和Muon。灵感来自 Moonshot AI 的Kimi K2，MuSGD 将 LLM 训练中的先进优化方法引入计算机视觉，从而实现更稳定的训练和更快的收敛。

• CPU推理速度提升高达43%
  YOLO26专为边缘计算优化，提供显著更快的CPU推理，确保在没有GPU的设备上实现实时性能。

• 实例分割增强
  引入语义分割损失以改善模型收敛，以及升级的原型模块，该模块利用多尺度信息以获得卓越的掩膜质量。

• 精确姿势估计
  集​成残差对数似然估计​(RLE)，以实现更精确的关键点定位，并优化解码过程以提高推理速度。

• 优化旋转框检测解码
  引入专门的角度损失以提高方形物体的检测精度，并优化旋转框检测解码以解决边界不连续性问题。

常用标注工具

假设您现在准备好进行标注。有几种开源工具可以帮助简化数据标注流程。以下是一些有用的开放标注工具：

Label Studio：一个灵活的工具，支持各种标注任务，并包含用于管理项目和质量控制的功能。 CVAT：一个强大的工具，支持各种标注格式和可定制的工作流程，使其适用于复杂的项目。 Labelme：一个简单易用的工具，可以快速标注带有多边形的图像，非常适合简单的任务。 LabelImg: 一款易于使用的图形图像标注工具，特别适合以 YOLO 格式创建边界框标注。

这些开源工具经济实惠，并提供一系列功能来满足不同的标注需求。

界面核心代码：

详细功能展示视频