简介面向能源行业的光伏运维人员与计算机视觉算法工程师一份三十页的 PDF 系统梳理了 YOLOv11 在光伏板表面污渍检测与清洁机器人路径规划中的应用方案。压缩包仅含一个 PDF 文件整体大小约 1.88MB且内置完整目录结构支持大纲显示与章节快速定位跳转查阅方便。内容从能源行业背景与污渍对发电效率的影响入手依次展开 YOLOv11 的骨干网络、损失函数与训练策略光伏板污渍数据集的采集、清洗、增强、归一化、标注规范与划分模型优化清洁机器人路径规划算法选型以及结合检测结果的路径规划实现最后覆盖系统测试、应用案例与成果展示。全文条理清晰、结构完整已有 153 人学习浏览适合需要搭建光伏板污渍检测与清洁调度完整流程的读者参考。1. 光伏板污渍检测与清洁机器人一份文档怎么贯通 YOLOv11 和路径规划光伏板脏了不是小事灰尘、鸟粪、落叶挡住了阳光发电效率能掉 10%~30%沙漠和沿海电站掉得还要狠。以前靠人肉眼巡检看到脏了就派水车去冲既不及时又费水。这份 30 页的文档把整条链路串起来了用 YOLOv11 做光伏板表面污渍检测拿到检测框之后映射到地图坐标再交给清洁机器人做路径规划。适合正在做光伏电站运维的人、准备把目标检测落地的算法工程师以及做 AGV 路径规划的机器人开发者。它不绕概念直接给从数据采集到训练、评估、路径规划一整套能照做的流程。2. YOLOv11 网络结构拆解从输入到损失函数搞清楚再动手2.1 目标检测模型怎么选单阶段检测为什么适合光伏现场YOLO 系列从 YOLOv1 就把目标检测当成回归问题处理而不是像两阶段检测器那样先提候选区域再分类。这种单阶段方案对光伏现场的意义在于速度一台巡检小车带着边缘设备扫过整排光伏板每秒能处理的帧数直接决定清扫效率。YOLOv1 的核心思想是先把图像划分成网格目标中心落在哪个格子里就由哪个格子负责预测边界框。这个思路为后续所有版本定了基调端到端、一次扫描、直接输出检测结果。之后 YOLOv2 引入了批量归一化和锚框YOLOv3 开始做多尺度预测YOLOv4 和 YOLOv5 在结构和训练策略上继续改进。到 YOLOv11 这里它不是某一项单点创新而是把轻量骨干、特征融合、多尺度检测整合在一套网络里。光伏板污染检测这个任务的特点是类别少、目标尺度变化大灰尘渍可能覆盖半块板鸟粪只有一小条这类任务用 YOLOv11 比两阶段检测器更容易在嵌入式设备上跑起来。常见误用是拿老版本权重直接套在污渍检测上骨干不换、数据没准备聊精度都是玄学。先想清楚速度要求、算力上限、目标尺度这三个约束再决定改哪一层不是无脑调参。提示选择模型的第一原则是匹配你的部署设备算力不是匹配榜单精度。设备跑不动mAP 再高也是白搭。2.2 输入层到检测头每个模块解决一个具体问题输入层。YOLOv11 的输入通常是 640×640 像素的固定尺寸送入网络前做归一化把像素值缩放到 0~1 或 -1~1。缩放到 0~1 最简单稳妥img.astype(np.float32) / 255.0一步到位。别小看这一步不归一化的图像数据会让模型前几个 epoch 的损失下降明显变慢训练时间白白拉长。骨干网络负责从输入图像里提取特征文档里判断 YOLOv11 会采用轻量级高效骨干类似基于 MobileNet 或 ShuffleNet 改进而来的结构。这类结构的优势是参数少、推理快代价是深层语义特征不如大模型丰富。对于污渍检测来说速度优先于极限精度。骨干会输出不同尺度的特征图浅层特征保留细节适合小目标深层特征保留语义适合大目标。颈部网络做特征融合。YOLOv11 大概率用 PANet 这类结构通过自下而上和自上而下的路径把不同尺度的特征图叠在一起。光伏板图像里鸟粪可能只有几十个像素小目标检测靠的就是这条路径浅层细节和深层语义结合之后小目标才能被识别出来。检测头是最终的输出出口做多尺度预测。每个预测位置输出边界框坐标、置信度、类别概率。对光伏应用来说输出就是“哪里是污渍”和“这个框有多可信”。2.3 损失函数和训练策略模型真正被优化的内容边界框回归用 CIoU 损失它在 IoU 之外还要求预测框和真实框的中心点距离接近宽高比保持一致。简单说如果只用 IoU 去约束模型容易只学“框得住”不学“框得准”。CIoU 在重叠面积之外又加了两条约束让预测框的位置更贴合真实污渍区域。分类损失用交叉熵置信度损失用二元交叉熵。这三项损失在训练时默认按 1:1:1 相加工程上通常不用调权重但有一个容易翻车的点当回归损失占主导时loss 持续下降、mAP 却不动这是框在优化、分类没跟上的典型信号。排查时把各项损失分开打印一眼能看出是谁在拖后腿。优化器选 Adam它自适应调整学习率收敛速度比 SGD 快。训练初期用 1e-3 的初始学习率后期转余弦退火让学习率逐步降到极小值权重在最优区域附近慢慢落定。文档里给出的训练策略是跑 300 个 epoch但光伏污渍数据如果比较单一100~150 个 epoch 就能看到精度平台。训练不是越久越好后面全是过拟合时间。3. 构建光伏板污渍数据集采集参数、清洗脚本与标注规范3.1 数据来源和采集参数清晰、一致、够多数据从哪来文档给了三条路实地光伏电站、实验室模拟环境、公开数据集。实地电站是主渠道沙漠电站的沙尘、沿海电站的盐雾和鸟粪污渍形态差很远。一个只在河北电站拍出来的数据集拿去识别西北戈壁的积灰效果会崩。实验室模拟方便控制变量人工撒灰、抹油污能精确控制污渍的分布和浓度适合补全极端案例。公开数据集只能锦上添花光伏板图像本身公开资源少别指望它当主力。相机参数是容易被忽视的坑。分辨率至少 1920×1080低于这个数鸟粪的小细节就丢了。拍摄距离控制在 1~2 米角度尽量垂直于板面避免斜视造成的尺度不一致。光圈、快门、感光度按现场光照条件调最省事的做法是固定拍摄距离和角度让数据尺度一致。数据采集阶段的一致性直接影响后面标注和训练的省力度。3.2 图像清洗脚本把模糊和过曝的图先踢出去原始图像里一定混着模糊图、过曝图、重复图。不清洗直接训练模型会在模糊样本上学到错误特征推理时反而把失焦看成污渍。最实用的清洗方式是检测图像清晰度思路很简单计算灰度图梯度方差方差小说明画面平滑极可能是失焦。import os from PIL import Image def is_blurry(image_path, threshold100): # 转灰度梯度信息集中在亮度变化上 image Image.open(image_path).convert(L) width, height image.size pixels list(image.getdata()) # 统计横向和纵向相邻像素的差值 grad_x [] grad_y [] for y in range(height): for x in range(width): idx y * width x if x 1 width: grad_x.append(pixels[idx 1] - pixels[idx]) if y 1 height: grad_y.append(pixels[idx width] - pixels[idx]) grads grad_x grad_y if len(grads) 0: return True mean_grad sum(grads) / len(grads) variance sum((g - mean_grad) ** 2 for g in grads) / len(grads) return variance threshold def clean_images(data_dir): removed [] for root, _, files in os.walk(data_dir): for file in files: if not file.lower().endswith((.jpg, .jpeg, .png)): continue file_path os.path.join(root, file) if is_blurry(file_path): removed.append(file_path) os.remove(file_path) print(f清洗完成移除模糊图像 {len(removed)} 张) return removed逻辑说明is_blurry把彩色图转灰度之后分别计算横向相邻像素和纵向相邻像素的差值把所有差值收集起来求方差。清晰的图像轮廓边缘多像素差值大方差高模糊图整个画面平滑差值小方差就低。threshold控制严格程度默认 100现场照片噪声大时可以调到 150~200。这个双层循环在数据集上万张时耗时明显实测可以先把图像缩小到 1/4 再算梯度速度能快 5~10 倍判定效果几乎不变。3.3 数据增强与归一化不要一上来就堆积样本清洗之后再谈增强。增强扩样本的初衷是提升泛化能力不是把数据量凑好看。翻转让模型对污渍的朝向不敏感旋转让模型适应光伏板不同安装角度亮度调整模拟阴天和正午的光照变化。import cv2 def augment_image(image): augmented [] augmented.append(cv2.flip(image, 1)) # 水平翻转 augmented.append(cv2.flip(image, 0)) # 垂直翻转 augmented.append(cv2.rotate(image, cv2.ROTATE_90_CLOCKWISE)) augmented.append(cv2.rotate(image, cv2.ROTATE_180)) # 亮度增强alpha 控制倍率beta 控制偏移 brightened cv2.convertScaleAbs(image, alpha1.2, beta30) augmented.append(brightened) return augmented逻辑说明cv2.flip的第二个参数控制翻转方向1 是水平0 是垂直。cv2.rotate按角度旋转图像。convertScaleAbs做的是out alpha * src betaalpha1.2 把像素值整体拉高beta30 再提一档亮度模拟晴天强光环境。参数说明里有个关键动作增强后必须同步修改标注文件坐标。如果标注框是 YOLO 的相对坐标格式水平翻转时x_center要做1 - x_center变换垂直翻转时y_center同理旋转 90 度时宽高互换。只增强图像不同步改标注训练时损失函数会把框拉到错误位置模型直接学废。归一化放到训练加载时处理不要保存归一化后的图否则既占空间又影响后续可视化。3.4 标注规范与数据集划分80/10/10 的比例和操作标注工具方面小数据集用 LabelImg界面直观支持 PASCAL VOC 和 YOLO 格式导出团队协作或数千张图以上的场景用 CVAT支持多人同时标注。标注规范必须提前定死。类别按污渍类型分——灰尘、鸟粪、树叶、油污不要出现“脏东西”这种模糊类别。边界框要把污渍完整框进去边缘空隙控制在几个像素内。标完必须二次审核文档里特别提到多次审核和修正实践经验是拉一个没参与标注的人随机抽 20% 复核漏标率立刻暴露。划分比例训练集 80%、验证集 10%、测试集 10%。划分前先按光伏板编号分组同一块光伏板的不同照片不能既进训练又进测试否则模型等于提前见过答案评估出的 mAP 虚高。用 sklearn 的train_test_split做两次切分import os from sklearn.model_selection import train_test_split def split_dataset(data_dir, train_ratio0.8, val_ratio0.1, test_ratio0.1): assert abs(train_ratio val_ratio test_ratio - 1) 1e-6 image_files [] for root, _, files in os.walk(data_dir): for file in files: if file.endswith(.jpg) or file.endswith(.png): image_files.append(os.path.join(root, file)) train_val, test_files train_test_split( image_files, test_sizetest_ratio, random_state42) train_files, val_files train_test_split( train_val, test_sizeval_ratio / (train_ratio val_ratio), random_state42) for name, files in [(train, train_files), (val, val_files), (test, test_files)]: out_dir os.path.join(data_dir, name) os.makedirs(out_dir, exist_okTrue) for f in files: os.rename(f, os.path.join(out_dir, os.path.basename(f))) print(f训练集 {len(train_files)} 张验证集 {len(val_files)} 张测试集 {len(test_files)} 张)逻辑说明第一次切分从全部数据里拆出测试集第二次在剩余样本里按val_ratio / (train_ratio val_ratio)的比例切出验证集。random_state固定为 42保证多次执行结果一致方便复现。如果你的标注文件和图像同名这个脚本只移动图像标注文件会留在原目录需要把移动逻辑改成图像和标注成对处理否则切完训练时会报找不到标注。一个能进训练的数据集状态应该是图像和标注一一对应、类别只有预设的几种、图像尺寸接近、每类样本数量差异不超过两倍。数量不均衡时优先做类别重采样而不是盲目复制增强图。4. 让 YOLOv11 真正收敛预训练权重、训练循环与评估指标4.1 预训练权重加载为什么 strictFalse 是常态模型初始化时加载 ImageNet 预训练权重可以让网络不必从零学基础视觉特征收敛速度和最终精度都受益。但预训练模型的分类头是针对 1000 类 ImageNet 类别设计的我们的任务只有几个污渍类别最后一层结构对不上直接load_state_dict会报 key 不匹配所以要加strictFalse。import torch def load_pretrained(model, weights_path): if not os.path.exists(weights_path): print(权重文件不存在请检查路径) return model state_dict torch.load(weights_path, map_locationcpu) model.load_state_dict(state_dict, strictFalse) # 输出未加载的参数排查问题靠这一行 missing_keys set(state_dict.keys()) - set(model.state_dict().keys()) print(f未使用预训练参数 {len(missing_keys)} 个属于分类头可忽略) return model逻辑说明torch.load加map_locationcpu可以避免机器上没有 GPU 时直接崩溃。strictFalse允许缺失或多余的 key 存在但“允许”不等于“可以忽略”你要自己确认缺失的只是分类头。如果骨干层的 key 也对不上说明预训练权重版本和你安装的 YOLOv11 代码不匹配换权重文件别硬调。参数说明weights_path指向预训练权重.pth文件。加载后打印出来的缺失参数数量正常应该在几十个左右如果出现几百个多半是框架版本不一致。4.2 训练关键参数硬件不充裕时的取舍训练环境里硬件是硬约束。显存 8~16G 的消费级显卡batch size 开到 8~16 就够了调度上再用梯度累积等效到 32效果和直接开大 batch 接近。数据加载时num_workers设为 4~8瓶颈在磁盘 IO 时收益很明显。输入分辨率 640×640 是文档给定的标准输入。如果光伏板图像中污渍普遍很小可以试试 768 或 832 训练小目标 mAP 会涨一点但显存占用上升很快要量力而行。训练循环不要自己手写一堆样板代码把数据增强挂在 DataLoader 里就行。from torch.utils.data import DataLoader def get_dataloader(dataset, batch_size16, shuffleTrue, num_workers4): loader DataLoader( dataset, batch_sizebatch_size, shuffleshuffle, num_workersnum_workers, collate_fndataset.collate_fn, pin_memoryTrue ) return loadercollate_fn在检测任务里必须自定义因为每张图像的标注框数量不等默认的 collate 会把标签打包失败。pin_memoryTrue在 GPU 训练时能加快 CPU 到 GPU 的数据拷贝代价是锁页内存占用更多内存紧张的机器建议关掉。shuffle只在训练集开验证集和测试集必须保持False否则评估结果不稳定。学习率策略用余弦退火。训练初期大学习率确保模型快速走出随机初始化区域后期小学习率让权重在小范围内震荡到更优位置。很多新人调参翻车在“loss 不降就调大学习率”实际上训练到后半段损失降速变慢是正常的看测试集指标比看训练损失更可靠。4.3 评估指标mAP 之外还要看小目标漏检率文档里的评估指标选了 mAP、IoU 这些常规项但工程上我建议额外加三类按尺寸分开的 mAP大/中/小、漏检率和误检率、不同污渍类型的召回率。光伏板污渍有个特点是区域范围差异大灰尘渍可能覆盖半块板鸟粪只有一小条只用整体 mAP 会掩盖小目标漏检问题。评估脚本每 N 个 epoch 跑一次验证集用 mAP0.5 作为主指标mAP0.5:0.95 作为参考指标。mAP0.5 只统计 IoU 阈值 0.5 的表现适合先粗筛模型mAP0.5:0.95 是一串阈值的平均值更严格也更能反映边界框质量。参数建议值说明batch size8~16显存受限时加梯度累积初始学习率1e-3Adam 常用起步值训练 epoch100~300单一场景 100~150 见平台输入尺寸640 或 768小目标多时优先 768学习率策略余弦退火后期避免跳过局部最优评估间隔每 10 epoch配合早停保留最优权重训练循环本身不复杂核心是每个 batch 清梯度、算损失、反传、更新for epoch in range(start_epoch, total_epochs): model.train() total_loss 0.0 for batch in train_loader: images batch[image].to(device) targets batch[labels] optimizer.zero_grad() loss_dict model(images, targets) loss sum(loss_dict.values()) loss.backward() optimizer.step() total_loss loss.item() print(fepoch {epoch 1} loss {total_loss / len(train_loader):.4f})zero_grad每个 batch 都必须调用不清零梯度会累积到上一步相当于隐式放大了 batch size。sum(loss_dict.values())把分类、置信度、回归三项损失合在一起默认等权重相加就行。start_epoch用于断点续训中断后从上次保存的 epoch 继续不要每次都从零开始。实践里我会把每轮验证结果写进日志mAP 连续 20 个 epoch 不再提升就早停避免过拟合。过拟合的典型表现是训练损失很低、验证 mAP 下滑这时候的处理不是加数据增强而是先查验证集和训练集是不是来自同一批光伏板。这个坑在数据划分章节提过一次这里再强调一遍因为它是划分错误不是模型问题。5. 从检测框到清洁路径路径规划算法选型与四个排查现场5.1 路径规划算法如何选贪心、A*、遗传算法的适用边界清洁机器人路径规划的目标不是简单的“走完全程最短”而是“优先处理高价值区域”。光伏电站里污渍浓度不同对发电量损失的影响也不同。路径规划要考虑三个约束机器人的运动学限制比如最小转弯半径、续航电量、光伏板排列的几何形状。文档对比了三种算法。贪心算法实现最简单每次挑离当前位置最近的未清洁污渍点适合小面积、污渍点稀少的场景缺点是容易走出“绕路”全局路径不是最优。A* 算法在栅格地图上标定障碍和污渍位置输出起点到终点的最短路径适合已知静态环境使用最广。遗传算法能同时优化多个目标比如路径总长、转向次数、电量消耗适合污渍点多且分布复杂的大型电站但收敛慢参数调不好容易陷进局部最优。算法复杂度适用场景主要缺点贪心O(n log n)污渍点少、分布稀疏全局路径非最优A*O(n log n)栅格地图、静态障碍明确环境变化需重算遗传算法高大型阵列多目标优化收敛慢、参数敏感我的选型逻辑是单块光伏板上用 A*整片阵列用分层规划上层用贪心或遗传算法排访问顺序下层用 A* 走格点。这和文档里 6.2 的三选一思路一致但工程上很少全局只用一种算法。5.2 检测结果解析与坐标映射像素框怎么变成机器人坐标YOLOv11 输出的原始结果是若干组(x1, y1, x2, y2, conf, cls)。要变成机器人能用的路径点中间有四步阈值过滤、结果解析、坐标系映射、世界坐标转换。def parse_detections(results, conf_threshold0.5): parsed [] for det in results.boxes: x1, y1, x2, y2 det.xyxy[0].tolist() conf det.conf[0].item() cls det.cls[0].item() if conf conf_threshold: continue parsed.append({ bbox: [x1, y1, x2, y2], conf: conf, cls: cls, cx: (x1 x2) / 2.0, cy: (y1 y2) / 2.0, area: (x2 - x1) * (y2 - y1) }) return parsedconf_threshold先设 0.5之后用验证集画出“置信度-召回率”曲线再定。阈值取低了误检框会变成错误的清洁目标取高了漏检导致脏污点没被清理。cx、cy是框中心坐标路径规划真正使用的是这个中心点不是整个框。坐标映射时把图像像素坐标换算到光伏板物理坐标需要标定一个参数图像宽度对应光伏板的实际宽度米。更精确的做法是四点透视变换先在图像上找到光伏板四角计算单应矩阵再把所有污渍中心点变换到物理坐标。文档 7.1 里提到的“污渍信息与地图坐标映射”实际就是这一步。5.3 动态路径调整现场环境变化时怎么办实际现场有两个动态变量风沙可能让检测结束后板上又多了新污渍机器人执行清洁时支架阴影和检修人员是临时障碍物。文档提出了动态路径规划工程实现建议用双循环外循环每隔固定时间跑一次检测内循环在机器人行进中重新规划局部路径。def replan_if_needed(robot_pos, map_grid, detected_points, dirty_threshold3): # 污渍点太少不值得重新规划 if len(detected_points) dirty_threshold: return None # dirty_flag 由感知模块维护检测到新污渍或障碍物时置位 if robot_pos is None or robot_pos.dirty_flag: return plan_astar_path(map_grid, robot_pos, detected_points) return Nonedirty_flag是感知模块和规划模块之间的通信开关检测到新污渍或障碍物就置位规划模块收到后重算路径。dirty_threshold设 3 是为了避免污渍点过少时频繁重规划让机器人来回空跑。重规划频率控制在 5 秒以上一次比较稳否则机器人会频繁停下掉头反而降低清洁效率。5.4 路径规划集成常见问题与排查现象一检测效果不错但机器人去了错误的位置。 原因图像坐标到世界坐标的映射参数错了可能是标定用的光伏板尺寸和实际不一致。 解决在测试现场物理网格上放几个标记点打印映射前后的坐标逐个比对不要直接改代码里写死的比例尺。现象二路径规划每次都从同一点出发没有避开障碍物。 原因栅格地图没有更新障碍物信息是旧数据。 解决在地图维护模块里加时间戳每次路径规划前强制读取最新地图地图超过设定秒数就触发重新扫描。现象三机器人清洁路径重叠率高同一个点反复清扫。 原因访问顺序用了贪心选择虽然每步都找最近点但整体路径绕路。 解决把访问顺序改成带方向约束的贪心下一个目标点优先选当前行进方向附近的污渍点抵消贪心造成的回头路。现象四mAP 高但实际清洁率低。 原因评估集和真实现场存在数据分布差异比如现场光照角度、相机安装位置和训练数据不一致。 解决收集现场图像做增量训练至少补 500 张现场图迭代一个版本再重新上线。6. 交付前最后一遍检查单图推理、权重导出与现场验收习惯单图推理是检查模型最直接的方式。选一张验证集图片推理后把框画上去、保存成新图一眼就能看出模型到底学到了什么。太多人训练完只看 loss 曲线结果新模型可能把框画在光伏板边缘线上或者把支架阴影误检成污渍保存图出来立刻穿帮。import cv2 def predict_and_save(model, image_path, output_path, conf_threshold0.5): img cv2.imread(image_path) results model(img) for det in results.boxes: x1, y1, x2, y2 map(int, det.xyxy[0].tolist()) conf det.conf[0].item() if conf conf_threshold: continue # 颜色按类别区分BGR 顺序 color (0, 0, 255) if det.cls[0].item() 0 else (0, 255, 0) cv2.rectangle(img, (x1, y1), (x2, y2), color, 2) cv2.putText(img, f{conf:.2f}, (x1, max(0, y1 - 5)), cv2.FONT_HERSHEY_SIMPLEX, 0.6, color, 2) cv2.imwrite(output_path, img)这段代码会读取一张图像、跑一次推理、把所有置信度大于阈值的框画上去连同置信度数值一起保存。cv2.putText的坐标有越界风险所以y1 - 5前套了max(0, ...)防止文字画到图像外面。类别颜色按 BGR 写红色是第一类污渍绿色是其他类。模型收敛后把最后五个最优 epoch 的权重都保留下来不要只留best.pt。部署时可能发现某个 epoch 的权重在特定光照条件下更稳现场翻车时有后悔药可以换。从那以后我每次训练完强制走一遍“单图推理 保存结果 备份多个 epoch 权重”的流程确认输出框不是玄学再去谈部署。这份 PDF 文档里还有沙漠和沿海电站的完整案例、评估指标和测试流程的细节建议下载后先翻目录挑你当下卡住的那一章看。希望帮到你。本文还有配套的精品资源点击获取