CVPR 2024 | 从OVSeg到开放世界：Mask-Adapted CLIP如何重塑语义分割的边界
1. OVSeg与开放词汇分割的崛起
语义分割一直是计算机视觉领域的核心任务之一，但传统方法存在一个致命缺陷：它们只能识别训练集中出现过的固定类别。想象一下，你训练了一个能识别20种常见物体的模型，但当遇到第21种物体时，系统就会完全失效。这种局限性在真实世界中显得尤为突出，毕竟现实场景中的物体种类几乎是无限的。
OVSeg（Open-Vocabulary Semantic Segmentation）的出现打破了这一僵局。它的核心思想是让模型能够理解并分割训练时从未见过的类别。这就像教会一个孩子认识"动物"这个概念后，他就能识别各种没见过的动物，而不需要每种动物都单独教一遍。在CVPR 2023上发表的OVSeg论文中，研究者们巧妙地改造了CLIP模型，使其能够处理被mask遮挡的图像，从而实现了开放词汇分割的突破。
开放词汇分割面临两大核心挑战：首先是语言定义的模糊性。比如"家具"这个类别，到底该包含哪些具体物品？其次是评估方式的困难，因为测试集的类别可能完全超出训练时的想象。OVSeg通过mask-adapted CLIP和创新的训练策略，为这些挑战提供了可行的解决方案。
2. Mask-Adapted CLIP的技术奥秘
2.1 CLIP的局限性及其改造
原始的CLIP模型在完整图像上表现优异，但当面对被mask分割后的图像片段时，性能会大幅下降。这是因为CLIP是在自然图像上预训练的，而masked image与训练数据存在明显的domain gap。就好比让一个习惯看完整照片的人突然只看照片的某个碎片，识别难度自然会增加。
OVSeg的解决方案是双管齐下：一方面对CLIP进行特殊微调，另一方面引入Mask Prompt Tuning（MPT）。微调时使用从image-caption数据构造的弱监督数据集，这比使用人工标注的闭集数据更能保持模型的开放词汇能力。具体来说，研究者们从COCO-Captions中提取名词-掩码对，虽然这些数据带有噪声，但多样性反而带来了更好的泛化性能。
2.2 Mask Prompt Tuning的精妙设计
MPT的核心思想是在视觉Transformer中将属于背景的token替换为可学习的prompt token。这类似于在语言模型中使用的prompt tuning，但针对视觉任务做了特殊适配。研究发现：
- 单独使用MPT就能显著提升CLIP在masked image上的性能
- 先微调CLIP再应用MPT效果最好
- 同时学习mask prompts和微调CLIP反而会导致性能下降
这种分阶段的优化策略确保了模型既保持了对新类别的泛化能力，又适应了masked image的特殊场景。在实际应用中，这种设计使得模型可以灵活应对各种未知类别的分割任务。
3. 从开放词汇到开放世界的跨越
3.1 评估范式的革新
传统语义分割的评估方式在开放世界场景下面临严峻挑战。OVSeg的研究揭示了几个关键发现：
- 语言定义的模糊性会导致模型混淆相似类别
- 现有评估指标可能无法全面反映开放词汇模型的真实能力
- 需要建立更贴近真实世界动态性的评估体系
这些问题指向一个更深层的思考：在开放世界中，语义分割不仅要准确识别物体，还要理解概念的层次结构和关联性。比如"交通工具"和"汽车"之间的关系，或者"家具"和"椅子"的包含关系。
3.2 数据多样性的关键作用
OVSeg的实验证明，使用带有噪声的image-caption数据反而比精心标注的数据表现更好。这是因为：
- 噪声数据更接近真实世界的分布
- 更大的词汇覆盖增强了模型的泛化能力
- 数据多样性帮助模型建立更鲁棒的特征表示
特别值得注意的是，研究者发现使用5个caption反而比使用1个caption效果差，这说明数据质量比数量更重要，适度的数据筛选可以提高训练效率。
4. 实战中的经验与技巧
4.1 模型部署的注意事项
在实际部署OVSeg类模型时，有几个关键点需要注意：
首先，prompt engineering的质量直接影响模型性能。OVSeg使用了15个text prompt模板，对嵌入进行平均。这种做法虽然简单，但非常有效。在实践中，可以根据具体应用场景设计更针对性的prompt模板。
其次，两阶段训练策略需要谨慎实施。先训练MaskFormer，再微调CLIP的顺序不能颠倒。微调CLIP时要特别注意保持其开放词汇能力，避免过度拟合到训练数据的封闭类别上。
4.2 性能优化的实用技巧
通过分析OVSeg的实验结果，可以总结出几个提升开放词汇分割性能的技巧：
- 使用适度的数据增强：太强的增强可能破坏masked image的特性
- 控制训练数据的噪声水平：完全干净的标注反而可能损害泛化能力
- 平衡模型容量和计算效率：CLIP的大模型能力是关键，但要考虑部署成本
一个有趣的发现是，将伪标签与真实标签组合使用，效果不如纯伪标签。这说明在开放词汇场景下，标注的一致性可能比准确性更重要。
5. 开放世界分割的未来方向
OVSeg的成功为语义分割开辟了新的可能性，但仍有许多挑战待解决。语言与视觉的深度融合是一个重要方向，如何让模型更好地理解概念的层次结构和语义关系，是提升开放世界感知能力的关键。
另一个有前景的方向是动态适应机制。现实世界是不断变化的，理想的开放世界系统应该能够持续学习和适应新概念，而不需要完全重新训练。在这方面，prompt tuning等技术可能会发挥更大作用。
在实际应用中，计算效率也是不容忽视的问题。如何在保持开放词汇能力的同时降低计算成本，是产业落地必须考虑的平衡点。或许未来会出现专为开放世界分割优化的轻量级架构。
从技术本质来看，开放世界分割的核心挑战是建立稳健的视觉-语言联合表示空间。OVSeg通过mask-adapted CLIP迈出了重要一步，但要真正实现人类水平的开放世界理解，还需要在模型架构、训练范式等多个维度持续创新。