1. 出餐口AI视觉质检到底在解决什么问题1.1 从后厨到出餐口品控的最后一米为什么最难守做过餐饮连锁运营的人都有一个共识后厨的SOP可以写得很细培训可以做得很好但真正到了出餐口那一瞬间品控就变成了一个“人盯人”的游戏。一份宫保鸡丁花生米有没有炸糊、鸡丁大小是否均匀、葱段颜色是否翠绿、酱汁有没有裹匀、盘边有没有溅到汤汁——这些判断全压在出餐口那个最忙的岗位身上。高峰期一分钟出十几份餐人的注意力和判断力是断崖式下降的。我见过太多门店的真实数据同一道菜不同时段出餐的品相一致性差异能达到30%以上。这不是厨师手艺不行而是人在高压、重复、快节奏的环境下视觉判断本身就会疲劳和漂移。更麻烦的是品控问题往往在顾客端才暴露——差评、退菜、投诉这时候追溯已经晚了你只能看到结果看不到过程。出餐口AI视觉质检要干的事情就是在这个“最后一米”上装一双不会累、不会走神、标准始终如一的眼睛。它不替代厨师而是在菜品离开后厨之前用计算机视觉技术自动判断这份餐“合不合格”不合格就报警、拦截、记录把品控从“事后追溯”变成“事中拦截”。1.2 这套系统适合谁看能落地到什么程度先说清楚适用边界。这套方案最适合的是有标准化菜品体系的连锁餐饮、中央厨房、团餐食堂、预制菜出餐线。如果你的菜单天天换、每道菜都是创意菜那AI质检的标注成本会很高投入产出比不划算。但只要你的菜单里有20到50道高频主力菜品且这些菜品的出品标准相对固定这套系统就能跑起来。从技术落地角度整套系统可以拆成三层感知层摄像头光源、算法层目标检测实例分割多模态大模型、应用层报警、记录、看板。小门店可以只做单点报警连锁总部可以做多店数据汇总和趋势分析。我下面会从方案设计、核心算法选型、实操部署、问题排查四个维度把整套东西拆开讲透。注意AI视觉质检不是万能的。它能判断“有没有”“多不多”“颜色对不对”“位置偏没偏”但很难判断“味道好不好”“口感对不对”。它的定位是标准化品控的辅助工具不是替代品鉴师。2. 整体方案设计与技术选型思路2.1 为什么是“目标检测实例分割多模态大模型”三层组合很多人一上来就问能不能直接上多模态大模型让它看图说话判断菜品合不合格我的回答是可以但成本和延迟你扛不住。出餐口是实时场景一份餐从进入画面到离开可能只有3到5秒。多模态大模型的推理延迟通常在秒级甚至更高而且对硬件要求高单店部署成本下不来。所以我的方案设计是分层处理各司其职第一层目标检测YOLO系列。负责快速定位画面里有哪些菜品、每个菜品在什么位置。这一层追求的是速度和召回率先把“有没有菜”“菜在哪”搞清楚。第二层实例分割YOLO-Seg系列。负责把菜品的像素级轮廓抠出来判断摆盘面积、食材分布、酱汁覆盖范围。这一层追求的是精度用来做定量判断。第三层多模态大模型。负责处理那些规则难以描述的判断比如“色泽是否自然”“整体观感是否合格”。这一层不追求实时可以异步处理或者只在检测层触发报警时调用做二次确认。这个三层架构的核心逻辑是用轻量模型做实时筛选用重量模型做精准复核。既保证了出餐口的实时性要求又保证了判断的准确性。2.2 为什么选YOLOv11而不是其他检测框架目标检测框架的选择我实测过Faster R-CNN、SSD、YOLOv5、YOLOv8、YOLOv11。最终推荐YOLOv11Ultralytics版本作为主力原因很实际框架推理速度小目标效果部署难度社区生态Faster R-CNN慢好高一般SSD中一般中一般YOLOv5快中低好YOLOv8快好低很好YOLOv11很快很好低很好YOLOv11在保持YOLO系列一贯的部署友好性基础上对注意力机制和特征融合做了优化小目标检测能力明显提升。出餐口场景里花生米、葱花、芝麻这些细小食材的检测YOLOv11的表现比YOLOv5好一个档次。而且Ultralytics的API设计非常统一从检测到分割到姿态估计一套代码风格走到底维护成本低。提示如果你之前用的是YOLOv5迁移到YOLOv11的成本很低。Ultralytics的接口基本兼容主要改一下模型加载和推理调用的部分就行。2.3 实例分割在菜品质检里的独特价值目标检测给的是矩形框但菜品质检很多时候需要的是像素级信息。举个例子一份水煮牛肉红油覆盖面积占整个菜品的比例是多少目标检测只能告诉你“这里有一份水煮牛肉”但实例分割能告诉你“红油区域占菜品总面积的72%”。这个比例如果低于60%说明红油给少了高于85%说明油太多。再比如摆盘宫保鸡丁里的花生米应该均匀分布在菜品表面如果实例分割发现花生米都集中在某个角落那摆盘就不合格。这些判断没有实例分割根本做不了。YOLOv11的Seg版本yolo11n-seg.pt、yolo11s-seg.pt等可以直接输出每个实例的掩码配合OpenCV做面积计算和分布分析非常顺手。我实测下来在RTX 3060上yolo11s-seg的推理速度能到30FPS以上完全满足出餐口的实时要求。2.4 多模态大模型的兜底与复核角色多模态大模型在这套系统里不是主力而是“专家复核员”。它的调用时机有两个检测层触发报警时比如实例分割发现红油面积异常系统先报警同时把这张图送给多模态大模型做二次判断让它用自然语言描述“这份菜看起来有什么问题”。这样报警信息就不是冷冰冰的“面积异常”而是“红油覆盖偏少菜品色泽偏干建议检查酱汁配比”。定期抽检时每隔一段时间随机抽取若干张出餐图片送给大模型做整体评估生成品控报告。这个报告可以用来发现那些规则没覆盖到的新问题。多模态大模型的选型上我建议用开源的轻量级多模态模型做本地部署或者用API调用。具体选哪个取决于你的预算和延迟容忍度。如果只是做异步复核API调用完全够用如果要实时就得本地部署硬件成本会上去。3. 核心细节解析与实操要点3.1 数据采集出餐口摄像头怎么架、光怎么打这套系统成败的第一关不是算法是数据采集。我见过太多项目算法调得很好但摄像头架的位置不对、光线不对采集到的图片质量差后面全白搭。摄像头选型出餐口场景推荐用工业级RGB相机分辨率至少1080P帧率30FPS以上。不要用普通的USB摄像头色彩还原和稳定性差太多。如果预算有限至少要用支持手动曝光和白平衡的摄像头避免自动模式在光线变化时反复调整。架设位置摄像头应该从斜上方45度角俯拍出餐台距离菜品表面约80到120厘米。这个角度能同时看到菜品的正面和侧面轮廓避免纯俯拍导致的高度信息丢失。摄像头要固定死不能有任何晃动否则每次画面偏移都会影响检测。光源设计这是最容易被忽视的环节。出餐口的光线往往很复杂后厨的暖光、餐厅的冷光、窗户的自然光混在一起。我的做法是加装一个环形LED补光灯色温固定在5500K左右显色指数CRI大于90。补光灯要加柔光罩避免在酱汁表面产生高光反射。如果菜品表面有油光可以考虑加偏振镜。注意光源一旦确定就不要随意改动。算法模型对光线变化很敏感今天暖光明天冷光模型准确率会大幅波动。如果实在无法控制环境光就要在训练数据里加入各种光线条件下的样本让模型学会适应。3.2 数据标注检测框、分割掩码、质检标签怎么标数据标注的质量直接决定模型上限。出餐口AI质检的标注分三类第一类目标检测标注。用矩形框标出每个菜品和关键食材。比如一份宫保鸡丁要标出“宫保鸡丁”这个整体还要标出“花生米”“葱段”“干辣椒”这些关键食材。标注工具推荐LabelImg或CVAT前者轻量后者支持多人协作。第二类实例分割标注。用多边形描出每个食材的精确轮廓。这个工作量比检测框大很多但价值也大。标注工具推荐LabelMe或CVAT的分割模式。实操建议先标检测框再在检测框基础上细化分割掩码效率会高很多。第三类质检标签。这是最关键的也是很多团队容易忽略的。每张图不仅要标出“有什么”还要标出“合不合格”。质检标签可以分几个维度色泽正常/偏暗/偏亮/发黑份量正常/偏少/偏多摆盘正常/散乱/集中异物无/有如果有标出位置质检标签的标注需要由有经验的品控人员来做不能随便找个人标。我建议至少让两个人独立标注然后对比一致性不一致的样本拿出来讨论形成标注规范。3.3 模型训练从预训练权重到菜品专用模型YOLOv11的训练流程很成熟但有几个关键点需要注意数据划分训练集、验证集、测试集按7:2:1划分。注意要按“出餐批次”划分不能随机划分。比如今天采集的数据做训练明天采集的数据做验证后天采集的数据做测试。这样才能真实反映模型在新数据上的表现。数据增强出餐口场景的数据增强要贴近真实变化。推荐用随机亮度/对比度调整模拟光线变化随机旋转±15度模拟摆盘角度差异随机缩放0.8到1.2倍模拟菜品大小差异马赛克增强YOLO自带提升小目标检测不要用随机裁剪因为裁剪会破坏菜品的完整性导致模型学到错误的特征。训练参数以yolo11s-seg为例我的常用配置是from ultralytics import YOLO model YOLO(yolo11s-seg.pt) model.train( datadish_quality.yaml, epochs200, imgsz640, batch16, lr00.01, lrf0.01, momentum0.937, weight_decay0.0005, warmup_epochs3, patience50, device0 )imgsz640是速度和精度的平衡点。如果菜品细节很多可以提到imgsz1280但推理速度会下降。patience50表示50个epoch没有提升就早停避免过拟合。训练监控重点看三个指标mAP50、mAP50-95、以及每个类别的precision和recall。如果某个类别的recall特别低说明漏检多要检查标注是否完整如果precision低说明误检多要检查是否有相似类别的干扰。3.4 多模态大模型的提示词设计多模态大模型在这套系统里做复核提示词设计很关键。不能简单问“这菜好不好”要给它明确的判断维度和输出格式。我常用的提示词模板是这样的你是一个餐饮品控专家。请根据以下标准评估这张菜品图片 1. 色泽正常/偏暗/偏亮/发黑 2. 份量正常/偏少/偏多 3. 摆盘正常/散乱/集中 4. 异物无/有如有描述位置和类型 请用JSON格式输出不要添加额外解释。这样输出的结果可以直接被程序解析和检测层的报警信息做融合。如果大模型的判断和检测层一致就提高报警置信度如果不一致就标记为“待人工复核”。提示多模态大模型的输出有随机性同样的图片可能给出不同结果。建议对关键判断做多次采样取多数结果或者设置温度参数为0降低随机性。4. 实操过程与核心环节实现4.1 环境配置从零搭建YOLOv11训练环境如果你是0基础跟着下面步骤走半小时能跑通。第一步装Python和CUDA。推荐Python 3.10CUDA 11.8或12.1。去Python官网下载安装包安装时勾选“Add to PATH”。CUDA去NVIDIA官网下载安装后命令行输入nvcc -V验证。第二步创建虚拟环境。不要直接在系统Python里装包容易冲突。python -m venv yolo_env yolo_env\Scripts\activate # Windows source yolo_env/bin/activate # Linux/Mac第三步安装Ultralytics。pip install ultralytics如果你要用GPU训练还要装PyTorch的CUDA版本pip install torch torchvision --index-url https://download.pytorch.org/whl/cu118第四步验证安装。from ultralytics import YOLO model YOLO(yolo11n.pt) results model(https://ultralytics.com/images/bus.jpg) results[0].show()能弹出图片就说明环境OK。4.2 数据集准备YOLO格式的目录结构和配置文件YOLO要求的数据集目录结构是这样的dish_quality/ ├── images/ │ ├── train/ │ ├── val/ │ └── test/ ├── labels/ │ ├── train/ │ ├── val/ │ └── test/ └── dish_quality.yamldish_quality.yaml的内容path: ./dish_quality train: images/train val: images/val test: images/test names: 0: gongbao_jiding 1: huashengmi 2: congduan 3: ganlajiao 4: shuizhu_niurou 5: hongyou检测任务的标签文件是.txt每行格式类别id 中心x 中心y 宽 高坐标都要归一化到0到1之间。分割任务的标签格式类似但后面跟的是多边形点的坐标序列。4.3 训练与验证一次完整的模型迭代记录我拿一个真实项目的数据来说。某连锁餐饮品牌30道主力菜品采集了约8000张出餐口图片标注了检测框和分割掩码。第一次训练用yolo11s-seg200epochimgsz640。结果mAP50到了0.82但花生米和葱段的recall只有0.65左右。分析原因这两类目标太小640分辨率下特征丢失严重。第二次训练把imgsz提到1280其他不变。mAP50到了0.89花生米recall提到0.78葱段提到0.74。但推理速度从35FPS降到18FPS勉强满足实时要求。第三次训练在1280基础上加入马赛克增强和copy-paste增强把小目标复制粘贴到其他位置。花生米recall到0.85葱段到0.81。推理速度不变。最终模型yolo11m-segimgsz1280mAP500.91推理速度22FPSRTX 3060。这个配置在准确率和速度之间取得了比较好的平衡。4.4 推理部署从模型文件到出餐口实时报警训练好的模型要部署到出餐口需要写一个推理服务。核心逻辑是import cv2 from ultralytics import YOLO model YOLO(best.pt) cap cv2.VideoCapture(0) while True: ret, frame cap.read() if not ret: break results model(frame, imgsz1280, conf0.5) for r in results: boxes r.boxes masks r.masks # 检测逻辑 for i, box in enumerate(boxes): cls int(box.cls[0]) conf float(box.conf[0]) if cls 0: # 宫保鸡丁 # 计算红油面积 if masks is not None: mask masks.data[i] area_ratio mask.sum() / mask.numel() if area_ratio 0.6: trigger_alarm(红油覆盖偏少, frame) elif area_ratio 0.85: trigger_alarm(红油覆盖偏多, frame) cv2.imshow(Quality Check, frame) if cv2.waitKey(1) 0xFF ord(q): breaktrigger_alarm函数负责保存图片、记录日志、发送报警。报警方式可以是声音、灯光、或者推送到店长手机。注意推理服务的稳定性很重要。建议加一个看门狗进程如果推理服务挂了自动重启。另外摄像头断流也要处理不能因为摄像头问题导致整个系统崩溃。5. 常见问题与排查技巧实录5.1 模型误检漏检的排查思路问题一把相似菜品认错。比如把辣子鸡认成宫保鸡丁。排查方法看混淆矩阵确认是哪两类在互相干扰。解决方法增加这两类的区分性特征标注比如辣子鸡的鸡块更大、干辣椒更多把这些特征单独标出来。问题二小目标漏检严重。花生米、葱花、芝麻这些。排查方法看小目标的recall指标。解决方法提高输入分辨率、增加小目标增强、或者单独训练一个小目标检测模型做补充。问题三光线变化导致准确率波动。排查方法按时间段统计准确率看是否和光线变化相关。解决方法增加光线增强的数据样本或者在推理前做图像归一化处理。5.2 实时性与准确率的平衡技巧出餐口场景对实时性要求高但准确率也不能太低。我的经验是检测层用轻量模型yolo11n或yolo11s保证速度分割层用中等模型yolo11s-seg或yolo11m-seg保证精度多模态大模型异步调用不阻塞主流程如果硬件有限可以降低推理帧率。比如摄像头30FPS但推理只跑10FPS中间帧跳过。出餐口的菜品不会瞬间消失10FPS足够捕捉到。5.3 常见问题速查表问题现象可能原因排查方法解决方案模型完全不检测模型文件损坏或类别配置错误用测试图片验证模型重新导出模型检查yaml配置检测框位置偏移摄像头移动或分辨率变化对比训练和推理的输入尺寸固定摄像头统一推理尺寸某类菜品准确率骤降该菜品配方或摆盘改变检查近期出餐图片补充新样本重新训练推理速度突然变慢GPU被其他进程占用查看GPU利用率限制其他进程或升级硬件报警过于频繁阈值设置过严统计报警分布调整阈值或增加二次确认多模态大模型输出不稳定温度参数过高多次采样对比设置temperature0或多数投票5.4 独家避坑经验坑一不要用手机拍照做训练数据。手机拍照有美颜和自动增强和出餐口摄像头采集的图片分布差异很大。训练数据必须用实际部署的摄像头采集。坑二不要忽略负样本。空盘子、半成品、员工的手这些都要作为负样本标进去。否则模型会把所有东西都当成菜品。坑三不要一次性上太多菜品。建议先从5到10道主力菜品开始跑通流程后再逐步增加。一次性上30道菜标注和调试的工作量会压垮你。坑四不要忽视数据隐私。出餐口摄像头可能拍到员工面部部署前要做好隐私遮挡或者调整角度只拍菜品区域。坑五不要只依赖AI。AI质检是辅助工具最终判断权还是要在人手里。报警后要有明确的人工复核流程不能AI说不行就直接倒掉。6. 系统扩展与长期迭代思路6.1 从单店到连锁数据闭环怎么建单店跑通后下一步就是连锁复制。核心是建数据闭环每个门店的出餐图片、报警记录、人工复核结果都汇总到总部。总部用这些数据持续训练模型然后把新模型推送到各门店。这个闭环的关键是数据标准化。各门店的摄像头型号、架设角度、光源条件要统一否则数据没法混在一起训练。如果实在没法统一就要在训练时加入门店标识让模型学会区分不同门店的分布。6.2 从质检到预测还能挖出什么价值出餐口AI质检积累的数据除了做品控还能做很多事出餐效率分析统计每道菜从进入画面到离开的时间找出瓶颈菜品。食材消耗预测根据出餐量反推食材消耗辅助采购。顾客偏好分析哪些菜品被点得多、哪些被退得多辅助菜单优化。员工培训用报警记录做案例针对性培训出餐岗位。这些扩展不需要额外硬件只需要在现有系统上加分析模块。6.3 技术演进开放词汇检测和三维检测的潜力目前这套系统还是闭集检测只能识别训练过的菜品。未来可以探索开放词汇目标检测让模型能识别没见过的菜品。这样新菜品上线时不需要重新标注训练直接就能检测。三维目标检测也值得关注。现在的二维检测只能判断面积和分布三维检测能判断菜品的堆叠高度、体积对份量判断更准确。不过三维检测需要深度相机硬件成本会上去目前还在观望阶段。我个人在实际操作中的体会是出餐口AI视觉质检这件事技术不是最大的门槛数据质量和流程配合才是。我见过算法很牛但数据一塌糊涂的项目也见过算法一般但数据标注极其规范、流程配合到位的项目后者反而跑得更稳。所以如果你要启动这个项目先把摄像头架好、光源调好、标注规范定好这三件事做扎实了后面的算法迭代就是水到渠成的事。