ARTICLE DETAIL

资讯详情

深耕网站建设与运营推广的一线实战洞察。

基于文本提示 视觉提示的主流模型

基于文本提示 视觉提示的主流模型 一、 核心定调为什么视觉提示是工业质检的最优解文本提示的死穴工业缺陷如 0.05mm 虚焊、冷焊、拉丝、阳极氧化发花具有像素级微小纹理特征缺乏行业图文预训练对且人类自然语言根本无法精准描述。视觉提示的突破质检员在 1~5 张样本上画框Box或打点Point模型直接提取高维视觉特征向量Visual Embedding。后续产线直接做特征匹配彻底消除语义鸿沟实现零重训的秒级换线。二、 核心主流模型盘点事实核验版1. 视觉提示 / 双提示阵营工业质检首选YOLOE-26实时高吞吐王者机制清华团队YOLO-World 原班作者SAVPE 模块解耦提取示例语义与空间激活支持视觉提示 文本 原生 Mask 实例分割。性能T4 TensorRT 达 161 FPSRTX 4090 仅需 2~4ms。注意事项开源协议为AGPL-3.0有传染风险闭源商用需做服务化隔离。PET-DINO精度上限与商用安全底座机制Prompt-Enriched Training DINOCVPR 2026 Highlight腾讯优图华中科大。文本视觉双提示AFVPG 共享参数视觉增强的同时文本能力零损失COCO 零样本 54.0 AP。性能Swin-T TRT 约 30~60ms对复杂反光背景与微小缺陷特征极其敏感。最大优势Apache 2.0 开源协议商用最干净的高精度底座。SAM 3轮廓质检终局2025.11机制Meta 概念级分割Promptable Concept支持单图示例/文本提示直接输出全图/视频连续 Mask 并跟踪性能与泛化远超 SegGPT/Matcher。用途工件装配间隙测量、异形瑕疵高精度测面积与定损。RF-DETR无污染实时备选机制Apache 2.0协议的实时 DETR 检测/分割模型是避开 YOLOEAGPL-3.0产权风险的首选平替。避坑警示T-Rex / T-Rex2密集计数极强但仅有商业 API无开源权重不可本地/边端部署。MQ-Det切断文本做纯视觉会导致性能腰斩LVIS 34.7 AP 跌至 17.6 AP且无开源 License不建议工程采用。2. 文本提示阵营宏观与复合工位为主Florence-2复合工位神器微软开源MIT 协议。0.23B 极小体积边缘端 20~30ms单模型搞定目标检测 细粒度 OCR 字符识别适合铭牌读数与装配漏装一体化检查。Grounding DINO高精度语义基线。注意 1.0 开源Apache 2.0而1.5/1.6 已转向商业闭源 API。YOLO-World纯文本驱动实时检测AGPL-3.0受限于 CLIP 语义先验对工业冷门缺陷乏力。三、 工业落地选型速查口诀场景需求推荐模型核心理由产线飞拍高速拦截60 FPS 测缺陷面积YOLOE-26速度最快T4 161 FPS自带 Mask 分割输出高反光精密工件 要求商用闭源安全PET-DINOApache 2.0 纯净协议双模态无损微瑕疵捕获精度极高需要避开 AGPL 传染的实时备选方案RF-DETRApache 2.0一键导出 TensorRT兼顾速度与合规字符读取 (OCR) 零部件到位复合检测Florence-2MIT 协议0.23B 极低显存多任务统一输出异形缺陷高精度轮廓定量测量SAM 3最强概念级 Mask 分割能力换线初期仅有良品零缺陷样本AnomalyDINO1~4 张良品图建立白名单分流解决冷启动空窗期四、 视觉画框Exemplar工程落地必须解决的 3 件事防背景污染缺陷 32px32\text{px}32px 时画框内 80% 是良品底纹。必须强制升级为点提示Point Prompt或显著性加权 Pooling并绑定 P2 高分辨率特征层。多原型字典Multi-Prototype同类缺陷累计 ≥8\ge 8≥8 个样本时用 K-means 聚成 2~3 个特征向量推理时取最大余弦相似度严禁全局统一阈值需在验证集上按类别独立标定。大图切片SAHI协同坑切片后当前 Tile 内可能没有示例目标会导致局部提示缓存失效。必须在全局图上单次提取 Embedding作为静态 Query 注入至各切片检测头再合并坐标。
返回列表