拓冰网站定制 
简介这份PDF文献面向从事茶叶加工自动化、计算机视觉与深度学习应用的研究人员和工程开发者针对机采鲜茶叶中风选、筛选难以精确细分等级的问题提出一套基于卷积神经网络的智能分选方案。文中搭建了7层结构的CNN识别模型通过共享权值与逐渐下降的学习速率提升训练性能并结合图像分割与尺度变换完成输入归一化实验显示识别正确率不低于90%可对单芽、一芽一叶、一芽二叶、一芽三叶、单片叶及叶梗进行有效分类。资源包为单一PDF文件共1个文件大小约2.31MB便于直接阅读与引用。目前已有172人学习下载适合作为智能系统开发、图像识别课题的参考文献与专业指导材料读者可从中获取完整的网络结构设计、训练策略与实验验证思路。1. 鲜茶叶分选这道题卷积神经网络到底能解哪一段鲜叶进厂那会儿一筐里混着单芽、一芽一叶、一芽二叶还有对夹叶、老梗、虫咬叶和红变叶。传统做法靠振动筛分加风选再请几位老师傅在传送带两边盯着挑问题是筛孔只能按尺寸粗分风选只能按重量分颜色和瑕疵全靠人眼。一条日产两千斤鲜叶的初制线光拣剔工就要六到八个人而且上午和下午的光线一变老师傅的判断标准也会漂移。鲜茶叶智能分选系统要解决的就是这件事把「什么样的叶子算特级、什么样算一级」从人的经验变成可复现的图像判别再用卷积神经网络把判别速度拉到产线节拍。这套方案适合两类人一类是茶厂里负责设备改造的工程师想搞清楚视觉分选到底能不能接上现有的摊青和杀青工序另一类是做农业视觉的算法同学手里有茶叶图像但不知道从哪一步开始搭分类器。下面按「数据怎么来、模型怎么选、产线怎么接、坑在哪」的顺序讲透。2. 从鲜叶图像到可训练数据集采集、标注与增强的完整链路卷积神经网络再强喂进去的是糊的、偏色的、标注混乱的图出来的就是玄学。鲜茶叶分选和通用图像分类最大的差别在于目标极小、类别间差异细微、光照条件随车间窗户和灯管变化。所以数据链路要单独拿出来讲不能一句「采集并标注」带过。2.1 采集端工业相机、光源与背景的硬约束常见做法是用卷帘快门 CMOS 工业相机配远心镜头分辨率至少 500 万像素因为单芽长度约 1.5 到 2.5 厘米要在一帧里同时看清芽尖绒毛和叶面红变像素当量得压到 0.05 毫米每像素以内。光源用高显色指数 LED 条形灯从两侧 45 度打光显色指数 Ra 大于 90否则绿色叶和红变叶在 RGB 空间里会挤在一起。背景用哑光黑色或深灰传送带避免反光把叶缘吃掉。采集时鲜叶要单层摊开重叠率控制在 5% 以下。重叠一高标注框就会互相压分类器学到的边界是错的。我一般会在传送带上方加一个振动匀料板让叶子在进入相机视野前先散开。帧率按产线速度反推如果传送带 0.3 米每秒视野 0.3 米那相机至少 2 帧每秒才能不丢叶实际取 5 到 10 帧每秒留余量。2.2 标注规范四类还是六类先定死再动手鲜叶分选不是越细越好。类别一多类间差异就逼近标注员的一致性极限。我建议先按收购计价方式定类别常见是四类单芽、一芽一叶、一芽二叶、非茶类杂物老梗、虫叶、红变叶合并。如果茶厂按特级、一级、二级计价那就把单芽和一芽一叶再拆开但拆之前先做一轮标注一致性测试让三个人独立标同一批 200 张图算 Cohen kappa低于 0.75 就说明类别定义有歧义得回去改规范。标注用矩形框还是分割掩码如果后续只做分类不做定位整图分类就够把单叶裁成小图存成类别文件夹。如果要在传送带上做实时剔除需要检测框那就用 YOLO 格式的 txt。两种都行但别混着来。2.3 数据增强别用随机旋转把茶叶转成不存在的姿态鲜叶在传送带上主要是一个朝向随机旋转 90 度会造出自然界不存在的样本反而让模型学到伪特征。我一般只用水平翻转、±15 度小角度旋转、亮度 ±10% 和对比度 ±10% 的抖动。颜色抖动要克制因为红变叶和正常绿叶的区分就靠色相抖过头就把类别边界抹掉了。下面是一段用 Albumentations 做增强的代码直接可跑import albumentations as A import cv2 # 鲜叶增强管道几何变换保守颜色变换克制 train_transform A.Compose([ A.HorizontalFlip(p0.5), # 只做水平翻转符合传送带实际 A.Rotate(limit15, border_modecv2.BORDER_CONSTANT, value(0, 0, 0), p0.5), # 小角度旋转黑边填充 A.RandomBrightnessContrast( brightness_limit0.1, contrast_limit0.1, p0.5), # 亮度对比度各±10% A.HueSaturationValue( hue_shift_limit5, sat_shift_limit10, val_shift_limit10, p0.3), # 色相只动5保护红变特征 A.Resize(224, 224), # 统一到骨干网络输入尺寸 ]) # 使用示例 img cv2.imread(fresh_leaf_001.jpg) img cv2.cvtColor(img, cv2.COLOR_BGR2RGB) aug train_transform(imageimg)[image]逻辑说明HorizontalFlip模拟叶子在传送带上左右朝向的随机性Rotate限制在 15 度是因为鲜叶不会在带上竖起来HueSaturationValue的hue_shift_limit5是血泪经验设到 20 以上红变叶和正常叶就分不开了。参数怎么改如果相机换了、光源色温变了先把brightness_limit调到 0.15 再重训别一上来就加旋转角度。提示增强后的图要抽 20 张肉眼过一遍确认没有把芽尖转出画面、没有把红变叶调成绿叶。这一步花五分钟能省一次通宵重训。3. 骨干网络选型与轻量化ResNet、MobileNet 还是自己搭一维 CNN标题里写的是卷积神经网络但卷积神经网络结构图一搜一大把落到鲜叶分选上选哪个骨干、要不要轻量化、输入尺寸定多少直接决定能不能在产线工控机上跑起来。3.1 分类还是检测先分清任务再选结构如果只是给每片叶子打等级、不做位置剔除那就是图像分类任务输入是单叶裁图输出是类别概率。这种场景用 ResNet-18 或 MobileNetV3 就够224×224 输入在几千张图的规模上微调验证集准确率能到 95% 以上。如果要在传送带上实时定位并吹除杂物那就是目标检测得用 YOLOv5n 或 YOLOv8n 这类轻量检测器输入 640×640单帧推理控制在 20 毫秒以内才能跟上 5 帧每秒的采集。我一般会先问一句茶厂到底是要「分级统计」还是「在线剔除」。前者分类就够后者必须检测。别为了显得高级硬上检测标注成本翻三倍产线还不一定需要。3.2 轻量化取舍MobileNetV3 在工控机上的实测边界工控机常见配置是 Intel i5 或 i7 带核显没有独立显卡。这种情况下 ResNet-50 单帧要 80 到 120 毫秒跟不上节拍。MobileNetV3-Small 在 OpenVINO 加速下能压到 8 到 12 毫秒精度掉 1 到 2 个百分点完全可接受。如果厂里配了 Jetson Nano 或 Orin那可以上 ResNet-18 加 TensorRT精度和速度都稳。下面是一段用 PyTorch 加载预训练 MobileNetV3 并替换分类头的代码import torch import torch.nn as nn from torchvision import models # 加载 ImageNet 预训练的 MobileNetV3-Small model models.mobilenet_v3_small(weightsmodels.MobileNet_V3_Small_Weights.DEFAULT) # 替换分类头鲜叶分4类 in_features model.classifier[3].in_features model.classifier[3] nn.Linear(in_features, 4) # 4类单芽/一芽一叶/一芽二叶/杂物 # 冻结前几层只微调后半段小数据集防过拟合 for name, param in model.named_parameters(): if features.0 in name or features.1 in name: param.requires_grad False # 优化器分类头用大学习率骨干用小学习率 optimizer torch.optim.Adam([ {params: model.features.parameters(), lr: 1e-4}, {params: model.classifier.parameters(), lr: 1e-3}, ])逻辑说明weightsDEFAULT拿 ImageNet 预训练权重鲜叶数据集通常只有几千张从头训会过拟合。替换classifier[3]是因为 MobileNetV3 的分类头最后一层是全连接输出维度改成自己的类别数。冻结前两层是常见做法浅层学的是边缘和纹理通用性强没必要动。参数怎么改如果数据集超过两万张可以把冻结去掉学习率统一降到 1e-4如果验证集准确率震荡把分类头学习率从 1e-3 降到 5e-4。3.3 输入尺寸与批大小的联动输入尺寸不是随便定的。224×224 是 ImageNet 标准但鲜叶的芽尖细节在缩到 224 后会糊。我试过 320×320精度涨了 1.5 个百分点推理时间涨 40%。如果产线节拍允许优先 320。批大小在工控机上设 8 或 16再大内存吃紧。训练时批大小 32配合学习率 1e-3是比较稳的起点。注意别在训练时用 224、推理时用 320尺寸不一致会让精度掉得莫名其妙。训练和推理的预处理必须完全一致。4. 产线落地从模型文件到分选执行机构的对接模型在笔记本上跑通只是第一步真正难的是把它接到传送带、气阀和工控机上让每一片叶子在正确的位置被吹走或放行。4.1 推理服务化Flask 还是直接 C 嵌入常见做法有两种。一种是 Python 起一个 Flask 或 FastAPI 服务工控机上的采集程序通过 HTTP 发图服务返回类别和坐标。优点是开发快缺点是 HTTP 开销在 5 帧每秒下还能忍再高就不行。另一种是用 OpenVINO 或 TensorRT 把模型转成 C 推理引擎直接嵌进采集程序延迟能压到 5 毫秒以内。我一般先上 Flask 验证流程跑通了再转 C别一上来就啃推理引擎容易卡在环境配置上。下面是一个最小 Flask 推理服务的代码from flask import Flask, request, jsonify import torch, io from PIL import Image import torchvision.transforms as T app Flask(__name__) model torch.load(mobilenetv3_leaf.pt, map_locationcpu) model.eval() # 预处理必须和训练时一致 preprocess T.Compose([ T.Resize((320, 320)), T.ToTensor(), T.Normalize(mean[0.485, 0.456, 0.406], std[0.229, 0.224, 0.225]), ]) app.route(/predict, methods[POST]) def predict(): file request.files[image].read() img Image.open(io.BytesIO(file)).convert(RGB) tensor preprocess(img).unsqueeze(0) # 加batch维度 with torch.no_grad(): logits model(tensor) prob torch.softmax(logits, dim1) cls torch.argmax(prob, dim1).item() return jsonify({class: cls, confidence: prob[0][cls].item()}) if __name__ __main__: app.run(host0.0.0.0, port5000)逻辑说明preprocess里的Resize和Normalize必须和训练脚本逐字一致均值方差用 ImageNet 的因为骨干是预训练的。unsqueeze(0)是给单张图加批维度模型 forward 要求四维输入。参数怎么改如果换成 224 输入改Resize即可但记得重训或至少重新校准。端口 5000 如果被占改成 5001同时改采集端的请求地址。4.2 执行机构气阀延迟与坐标映射检测框中心点从图像坐标转到传送带物理坐标需要一个标定矩阵。常见做法是在传送带上放一张棋盘格用相机拍一张算单应性矩阵。然后根据传送带速度和相机到气阀的距离算出延迟帧数。比如传送带 0.3 米每秒相机到气阀 0.6 米那就是 2 秒延迟。如果推理加通信耗时 50 毫秒那气阀触发要再提前 50 毫秒。这个延迟算错叶子就被吹到隔壁筐里了。4.3 现场光照漂移的在线补偿车间窗户透进来的自然光从早到晚色温变化能到 1500K模型精度会掉。常见做法是在相机旁加一个白板每半小时拍一张算白平衡系数在线校正输入图。或者干脆把窗户遮死全用 LED 灯省事但费电。我一般建议遮窗加 LED因为在线白平衡校正本身也会引入误差。提示上线前用同一批叶子在早中晚各测一轮记录精度波动。如果波动超过 3 个百分点先查光源别急着改模型。5. 避坑与排查鲜叶分选项目里最容易翻车的五件事这一章按「现象 → 原因 → 解决」写都是我在现场踩过的。现象一训练集准确率 99%验证集只有 70%。原因同一片叶子被裁成多张高度相似的图分到了训练集和验证集造成数据泄漏。解决按「批次」划分同一筐叶子要么全在训练集要么全在验证集。用GroupShuffleSplit按采集批次分组。现象二模型在实验室准到车间就乱判。原因实验室用白色背景车间用黑色传送带背景分布变了。解决采集时就用产线同款传送带和光源别在实验室搭一个干净环境自欺欺人。现象三红变叶被大量判成正常叶。原因红变叶样本太少类别不平衡。解决过采样红变叶或在损失函数里给红变叶类别加权权重设为其他类的 3 到 5 倍。别只靠数据增强增强造不出真实的红变纹理。现象四推理服务跑几小时后变慢甚至卡死。原因Flask 默认单线程请求堆积或者torch.no_grad()忘了加显存/内存泄漏。解决用gunicorn起多 worker确认推理代码在no_grad上下文里并定期重启服务。现象五气阀偶尔不吹或连吹。原因坐标映射的延迟参数没算通信耗时或者气阀响应时间没标定。解决用高速相机拍一次吹气过程量出从发信号到气阀实际出气的毫秒数把这个值加进延迟补偿。6. 把精度再抬两个点测试时增强与置信度阈值调优模型训完、产线跑通之后如果还想把精度往上抬最划算的两招是测试时增强和置信度阈值调优不用重训。测试时增强的做法是推理时对同一张图做水平翻转和原图两次前向把两个 softmax 概率平均再取 argmax。代价是推理时间翻倍但在 5 帧每秒的节拍下完全扛得住。我实测在鲜叶四分类上能涨 0.8 到 1.2 个百分点尤其是单芽和一芽一叶这种容易混的类。置信度阈值调优更直接模型输出的 softmax 概率不是校准过的直接取 argmax 会把一些低置信样本也硬分。做法是统计验证集上每个类别的置信度分布找一个阈值低于阈值的样本送人工复检或直接归为「不确定」。在产线上「不确定」的叶子可以吹到另一个筐回头再处理比错分到特级里强。下面是一段测试时增强加阈值过滤的代码import torch import torch.nn.functional as F def predict_with_tta(model, img_tensor, threshold0.85): # img_tensor: 1x3xHxW with torch.no_grad(): logits_1 model(img_tensor) logits_2 model(torch.flip(img_tensor, dims[3])) # 水平翻转 prob (F.softmax(logits_1, dim1) F.softmax(logits_2, dim1)) / 2 conf, cls torch.max(prob, dim1) if conf.item() threshold: return -1, conf.item() # -1 表示不确定送复检 return cls.item(), conf.item()逻辑说明torch.flip(img_tensor, dims[3])是水平翻转和训练时的HorizontalFlip对应。两个概率平均后取最大。threshold0.85是起点具体值要在验证集上扫一遍看误判率和复检率的平衡。参数怎么改如果产线不想频繁复检把阈值降到 0.75如果特级叶不允许混入把阈值提到 0.92。最后说个习惯我每次上线新模型前都会留一筐「钉子户」叶子——就是那些人工都容易看走眼的单芽和一芽一叶混装——单独跑一遍看模型判成什么。这筐叶子的结果比验证集准确率更能说明问题。希望帮到你。本文还有配套的精品资源点击获取 基于卷积神经网络的鲜茶叶智能分选：从数据到产线落地
简介这份PDF文献面向从事茶叶加工自动化、计算机视觉与深度学习应用的研究人员和工程开发者针对机采鲜茶叶中风选、筛选难以精确细分等级的问题提出一套基于卷积神经网络的智能分选方案。文中搭建了7层结构的CNN识别模型通过共享权值与逐渐下降的学习速率提升训练性能并结合图像分割与尺度变换完成输入归一化实验显示识别正确率不低于90%可对单芽、一芽一叶、一芽二叶、一芽三叶、单片叶及叶梗进行有效分类。资源包为单一PDF文件共1个文件大小约2.31MB便于直接阅读与引用。目前已有172人学习下载适合作为智能系统开发、图像识别课题的参考文献与专业指导材料读者可从中获取完整的网络结构设计、训练策略与实验验证思路。1. 鲜茶叶分选这道题卷积神经网络到底能解哪一段鲜叶进厂那会儿一筐里混着单芽、一芽一叶、一芽二叶还有对夹叶、老梗、虫咬叶和红变叶。传统做法靠振动筛分加风选再请几位老师傅在传送带两边盯着挑问题是筛孔只能按尺寸粗分风选只能按重量分颜色和瑕疵全靠人眼。一条日产两千斤鲜叶的初制线光拣剔工就要六到八个人而且上午和下午的光线一变老师傅的判断标准也会漂移。鲜茶叶智能分选系统要解决的就是这件事把「什么样的叶子算特级、什么样算一级」从人的经验变成可复现的图像判别再用卷积神经网络把判别速度拉到产线节拍。这套方案适合两类人一类是茶厂里负责设备改造的工程师想搞清楚视觉分选到底能不能接上现有的摊青和杀青工序另一类是做农业视觉的算法同学手里有茶叶图像但不知道从哪一步开始搭分类器。下面按「数据怎么来、模型怎么选、产线怎么接、坑在哪」的顺序讲透。2. 从鲜叶图像到可训练数据集采集、标注与增强的完整链路卷积神经网络再强喂进去的是糊的、偏色的、标注混乱的图出来的就是玄学。鲜茶叶分选和通用图像分类最大的差别在于目标极小、类别间差异细微、光照条件随车间窗户和灯管变化。所以数据链路要单独拿出来讲不能一句「采集并标注」带过。2.1 采集端工业相机、光源与背景的硬约束常见做法是用卷帘快门 CMOS 工业相机配远心镜头分辨率至少 500 万像素因为单芽长度约 1.5 到 2.5 厘米要在一帧里同时看清芽尖绒毛和叶面红变像素当量得压到 0.05 毫米每像素以内。光源用高显色指数 LED 条形灯从两侧 45 度打光显色指数 Ra 大于 90否则绿色叶和红变叶在 RGB 空间里会挤在一起。背景用哑光黑色或深灰传送带避免反光把叶缘吃掉。采集时鲜叶要单层摊开重叠率控制在 5% 以下。重叠一高标注框就会互相压分类器学到的边界是错的。我一般会在传送带上方加一个振动匀料板让叶子在进入相机视野前先散开。帧率按产线速度反推如果传送带 0.3 米每秒视野 0.3 米那相机至少 2 帧每秒才能不丢叶实际取 5 到 10 帧每秒留余量。2.2 标注规范四类还是六类先定死再动手鲜叶分选不是越细越好。类别一多类间差异就逼近标注员的一致性极限。我建议先按收购计价方式定类别常见是四类单芽、一芽一叶、一芽二叶、非茶类杂物老梗、虫叶、红变叶合并。如果茶厂按特级、一级、二级计价那就把单芽和一芽一叶再拆开但拆之前先做一轮标注一致性测试让三个人独立标同一批 200 张图算 Cohen kappa低于 0.75 就说明类别定义有歧义得回去改规范。标注用矩形框还是分割掩码如果后续只做分类不做定位整图分类就够把单叶裁成小图存成类别文件夹。如果要在传送带上做实时剔除需要检测框那就用 YOLO 格式的 txt。两种都行但别混着来。2.3 数据增强别用随机旋转把茶叶转成不存在的姿态鲜叶在传送带上主要是一个朝向随机旋转 90 度会造出自然界不存在的样本反而让模型学到伪特征。我一般只用水平翻转、±15 度小角度旋转、亮度 ±10% 和对比度 ±10% 的抖动。颜色抖动要克制因为红变叶和正常绿叶的区分就靠色相抖过头就把类别边界抹掉了。下面是一段用 Albumentations 做增强的代码直接可跑import albumentations as A import cv2 # 鲜叶增强管道几何变换保守颜色变换克制 train_transform A.Compose([ A.HorizontalFlip(p0.5), # 只做水平翻转符合传送带实际 A.Rotate(limit15, border_modecv2.BORDER_CONSTANT, value(0, 0, 0), p0.5), # 小角度旋转黑边填充 A.RandomBrightnessContrast( brightness_limit0.1, contrast_limit0.1, p0.5), # 亮度对比度各±10% A.HueSaturationValue( hue_shift_limit5, sat_shift_limit10, val_shift_limit10, p0.3), # 色相只动5保护红变特征 A.Resize(224, 224), # 统一到骨干网络输入尺寸 ]) # 使用示例 img cv2.imread(fresh_leaf_001.jpg) img cv2.cvtColor(img, cv2.COLOR_BGR2RGB) aug train_transform(imageimg)[image]逻辑说明HorizontalFlip模拟叶子在传送带上左右朝向的随机性Rotate限制在 15 度是因为鲜叶不会在带上竖起来HueSaturationValue的hue_shift_limit5是血泪经验设到 20 以上红变叶和正常叶就分不开了。参数怎么改如果相机换了、光源色温变了先把brightness_limit调到 0.15 再重训别一上来就加旋转角度。提示增强后的图要抽 20 张肉眼过一遍确认没有把芽尖转出画面、没有把红变叶调成绿叶。这一步花五分钟能省一次通宵重训。3. 骨干网络选型与轻量化ResNet、MobileNet 还是自己搭一维 CNN标题里写的是卷积神经网络但卷积神经网络结构图一搜一大把落到鲜叶分选上选哪个骨干、要不要轻量化、输入尺寸定多少直接决定能不能在产线工控机上跑起来。3.1 分类还是检测先分清任务再选结构如果只是给每片叶子打等级、不做位置剔除那就是图像分类任务输入是单叶裁图输出是类别概率。这种场景用 ResNet-18 或 MobileNetV3 就够224×224 输入在几千张图的规模上微调验证集准确率能到 95% 以上。如果要在传送带上实时定位并吹除杂物那就是目标检测得用 YOLOv5n 或 YOLOv8n 这类轻量检测器输入 640×640单帧推理控制在 20 毫秒以内才能跟上 5 帧每秒的采集。我一般会先问一句茶厂到底是要「分级统计」还是「在线剔除」。前者分类就够后者必须检测。别为了显得高级硬上检测标注成本翻三倍产线还不一定需要。3.2 轻量化取舍MobileNetV3 在工控机上的实测边界工控机常见配置是 Intel i5 或 i7 带核显没有独立显卡。这种情况下 ResNet-50 单帧要 80 到 120 毫秒跟不上节拍。MobileNetV3-Small 在 OpenVINO 加速下能压到 8 到 12 毫秒精度掉 1 到 2 个百分点完全可接受。如果厂里配了 Jetson Nano 或 Orin那可以上 ResNet-18 加 TensorRT精度和速度都稳。下面是一段用 PyTorch 加载预训练 MobileNetV3 并替换分类头的代码import torch import torch.nn as nn from torchvision import models # 加载 ImageNet 预训练的 MobileNetV3-Small model models.mobilenet_v3_small(weightsmodels.MobileNet_V3_Small_Weights.DEFAULT) # 替换分类头鲜叶分4类 in_features model.classifier[3].in_features model.classifier[3] nn.Linear(in_features, 4) # 4类单芽/一芽一叶/一芽二叶/杂物 # 冻结前几层只微调后半段小数据集防过拟合 for name, param in model.named_parameters(): if features.0 in name or features.1 in name: param.requires_grad False # 优化器分类头用大学习率骨干用小学习率 optimizer torch.optim.Adam([ {params: model.features.parameters(), lr: 1e-4}, {params: model.classifier.parameters(), lr: 1e-3}, ])逻辑说明weightsDEFAULT拿 ImageNet 预训练权重鲜叶数据集通常只有几千张从头训会过拟合。替换classifier[3]是因为 MobileNetV3 的分类头最后一层是全连接输出维度改成自己的类别数。冻结前两层是常见做法浅层学的是边缘和纹理通用性强没必要动。参数怎么改如果数据集超过两万张可以把冻结去掉学习率统一降到 1e-4如果验证集准确率震荡把分类头学习率从 1e-3 降到 5e-4。3.3 输入尺寸与批大小的联动输入尺寸不是随便定的。224×224 是 ImageNet 标准但鲜叶的芽尖细节在缩到 224 后会糊。我试过 320×320精度涨了 1.5 个百分点推理时间涨 40%。如果产线节拍允许优先 320。批大小在工控机上设 8 或 16再大内存吃紧。训练时批大小 32配合学习率 1e-3是比较稳的起点。注意别在训练时用 224、推理时用 320尺寸不一致会让精度掉得莫名其妙。训练和推理的预处理必须完全一致。4. 产线落地从模型文件到分选执行机构的对接模型在笔记本上跑通只是第一步真正难的是把它接到传送带、气阀和工控机上让每一片叶子在正确的位置被吹走或放行。4.1 推理服务化Flask 还是直接 C 嵌入常见做法有两种。一种是 Python 起一个 Flask 或 FastAPI 服务工控机上的采集程序通过 HTTP 发图服务返回类别和坐标。优点是开发快缺点是 HTTP 开销在 5 帧每秒下还能忍再高就不行。另一种是用 OpenVINO 或 TensorRT 把模型转成 C 推理引擎直接嵌进采集程序延迟能压到 5 毫秒以内。我一般先上 Flask 验证流程跑通了再转 C别一上来就啃推理引擎容易卡在环境配置上。下面是一个最小 Flask 推理服务的代码from flask import Flask, request, jsonify import torch, io from PIL import Image import torchvision.transforms as T app Flask(__name__) model torch.load(mobilenetv3_leaf.pt, map_locationcpu) model.eval() # 预处理必须和训练时一致 preprocess T.Compose([ T.Resize((320, 320)), T.ToTensor(), T.Normalize(mean[0.485, 0.456, 0.406], std[0.229, 0.224, 0.225]), ]) app.route(/predict, methods[POST]) def predict(): file request.files[image].read() img Image.open(io.BytesIO(file)).convert(RGB) tensor preprocess(img).unsqueeze(0) # 加batch维度 with torch.no_grad(): logits model(tensor) prob torch.softmax(logits, dim1) cls torch.argmax(prob, dim1).item() return jsonify({class: cls, confidence: prob[0][cls].item()}) if __name__ __main__: app.run(host0.0.0.0, port5000)逻辑说明preprocess里的Resize和Normalize必须和训练脚本逐字一致均值方差用 ImageNet 的因为骨干是预训练的。unsqueeze(0)是给单张图加批维度模型 forward 要求四维输入。参数怎么改如果换成 224 输入改Resize即可但记得重训或至少重新校准。端口 5000 如果被占改成 5001同时改采集端的请求地址。4.2 执行机构气阀延迟与坐标映射检测框中心点从图像坐标转到传送带物理坐标需要一个标定矩阵。常见做法是在传送带上放一张棋盘格用相机拍一张算单应性矩阵。然后根据传送带速度和相机到气阀的距离算出延迟帧数。比如传送带 0.3 米每秒相机到气阀 0.6 米那就是 2 秒延迟。如果推理加通信耗时 50 毫秒那气阀触发要再提前 50 毫秒。这个延迟算错叶子就被吹到隔壁筐里了。4.3 现场光照漂移的在线补偿车间窗户透进来的自然光从早到晚色温变化能到 1500K模型精度会掉。常见做法是在相机旁加一个白板每半小时拍一张算白平衡系数在线校正输入图。或者干脆把窗户遮死全用 LED 灯省事但费电。我一般建议遮窗加 LED因为在线白平衡校正本身也会引入误差。提示上线前用同一批叶子在早中晚各测一轮记录精度波动。如果波动超过 3 个百分点先查光源别急着改模型。5. 避坑与排查鲜叶分选项目里最容易翻车的五件事这一章按「现象 → 原因 → 解决」写都是我在现场踩过的。现象一训练集准确率 99%验证集只有 70%。原因同一片叶子被裁成多张高度相似的图分到了训练集和验证集造成数据泄漏。解决按「批次」划分同一筐叶子要么全在训练集要么全在验证集。用GroupShuffleSplit按采集批次分组。现象二模型在实验室准到车间就乱判。原因实验室用白色背景车间用黑色传送带背景分布变了。解决采集时就用产线同款传送带和光源别在实验室搭一个干净环境自欺欺人。现象三红变叶被大量判成正常叶。原因红变叶样本太少类别不平衡。解决过采样红变叶或在损失函数里给红变叶类别加权权重设为其他类的 3 到 5 倍。别只靠数据增强增强造不出真实的红变纹理。现象四推理服务跑几小时后变慢甚至卡死。原因Flask 默认单线程请求堆积或者torch.no_grad()忘了加显存/内存泄漏。解决用gunicorn起多 worker确认推理代码在no_grad上下文里并定期重启服务。现象五气阀偶尔不吹或连吹。原因坐标映射的延迟参数没算通信耗时或者气阀响应时间没标定。解决用高速相机拍一次吹气过程量出从发信号到气阀实际出气的毫秒数把这个值加进延迟补偿。6. 把精度再抬两个点测试时增强与置信度阈值调优模型训完、产线跑通之后如果还想把精度往上抬最划算的两招是测试时增强和置信度阈值调优不用重训。测试时增强的做法是推理时对同一张图做水平翻转和原图两次前向把两个 softmax 概率平均再取 argmax。代价是推理时间翻倍但在 5 帧每秒的节拍下完全扛得住。我实测在鲜叶四分类上能涨 0.8 到 1.2 个百分点尤其是单芽和一芽一叶这种容易混的类。置信度阈值调优更直接模型输出的 softmax 概率不是校准过的直接取 argmax 会把一些低置信样本也硬分。做法是统计验证集上每个类别的置信度分布找一个阈值低于阈值的样本送人工复检或直接归为「不确定」。在产线上「不确定」的叶子可以吹到另一个筐回头再处理比错分到特级里强。下面是一段测试时增强加阈值过滤的代码import torch import torch.nn.functional as F def predict_with_tta(model, img_tensor, threshold0.85): # img_tensor: 1x3xHxW with torch.no_grad(): logits_1 model(img_tensor) logits_2 model(torch.flip(img_tensor, dims[3])) # 水平翻转 prob (F.softmax(logits_1, dim1) F.softmax(logits_2, dim1)) / 2 conf, cls torch.max(prob, dim1) if conf.item() threshold: return -1, conf.item() # -1 表示不确定送复检 return cls.item(), conf.item()逻辑说明torch.flip(img_tensor, dims[3])是水平翻转和训练时的HorizontalFlip对应。两个概率平均后取最大。threshold0.85是起点具体值要在验证集上扫一遍看误判率和复检率的平衡。参数怎么改如果产线不想频繁复检把阈值降到 0.75如果特级叶不允许混入把阈值提到 0.92。最后说个习惯我每次上线新模型前都会留一筐「钉子户」叶子——就是那些人工都容易看走眼的单芽和一芽一叶混装——单独跑一遍看模型判成什么。这筐叶子的结果比验证集准确率更能说明问题。希望帮到你。本文还有配套的精品资源点击获取