Decoupled and Reusable Adaptation for Efficient Cross-Modal Transfer

Abstract

跨模态迁移方法在将基于 RGB 的基础模型扩展到非 RGB 模态方面取得了显著进展。然而，现有的迁移范式主要是面向任务的，这意味着一旦任务发生变化，就需要重新训练并重新存储模型，从而在数据、计算和存储方面造成大量冗余。为了解决这一局限性，我们提出了一种高效的跨模态迁移范式，将整个过程解耦为一次性的通用模态知识迁移和灵活的任务知识迁移两个阶段。

在第一阶段，我们提出了一种渐进式自监督调优策略，该策略结合了模态感知的结构重建与语义判别学习，使模型能够仅利用无标注数据，通过一次训练过程学习与任务无关的模态知识，并生成可复用的目标模态 LoRA。

在第二阶段，我们引入模态 LoRA，并进一步提出了任务提示的模态专家混合模块。该设计能够实现轻量级的任务知识注入，同时在多模态融合过程中有效平衡任务特定知识、模态通用知识和模态特定知识，以适应多种下游任务。

在六种跨模态迁移场景下开展的大量实验，以及对数据、计算和存储效率的分析，均证明了我们方法的优越性。

1. Introduction

热成像、深度、事件相机和 LiDAR 等多模态数据能够提供 RGB 图像之外的互补信息，因此在各类下游视觉应用中变得越来越有价值 [6, 20, 29, 44]。然而，由于标注数据稀缺，以及这些模态与易于获取的 RGB 数据之间存在数据不平衡，这些领域中的大规模基础模型仍然发展不足。因此，现有方法通常依赖于针对每一种模态和每一个下游任务分别训练任务特定模型。

考虑到这些传感器模态与 RGB 之间共享一定的视觉先验，近期研究 [21, 26, 48, 54, 59] 开始探索跨模态迁移技术，以将 RGB 基础模型适配到非 RGB 模态。例如，Zhao 等人 [59] 采用了一种参数高效的适配器策略，在文本引导下将 SAM 2 [37] 迁移为 RGB-热成像语义分割模型。Yu 等人 [54] 则提出了 DSAM 模型，用于探索 RGB 与深度模态之间的交互，从而使 SAM [19] 模型能够适配于基于深度的伪装目标检测任务。

尽管这些工作取得了较有前景的结果，但它们仍然遵循面向任务的迁移范式，即直接使用任务特定的标注数据进行监督训练，从而将 RGB 基础模型适配到某一特定目标模态任务。因此，当切换到一个新任务时，需要额外收集标注数据、从头重新训练模型并单独存储该模型。这忽略了不同任务之间共享的模态知识，并带来了大量的标注、计算和存储成本。

为克服这些局限性，我们旨在实现一种高效的跨模态迁移方法，使模型在适配到下游非 RGB 领域时，能够同时保持较高的数据效率、计算效率和存储效率。基于上述讨论，我们对从 RGB 到非 RGB 模态的迁移过程提出了两个关键观察。

首先，现有跨模态迁移方法 [3, 21, 26, 54, 59] 中的面向任务迁移范式，将模态差异和任务差异的学习耦合在同一个适配过程中。因此，当模型需要适配到新的下游任务时，必须从头重新训练，从而带来大量的计算和存储成本。然而，这种范式忽略了一个重要认识：尽管下游任务可能各不相同，但主导跨模态差异的模态差异在不同任务之间很大程度上是共享的，可以通过一次性微调过程加以解决，并且所学习到的模态适配能力可以通过一个统一模块在不同任务之间复用，从而避免冗余的重复训练。因此，开发更加高效的训练策略和迁移范式，对于提升计算效率和存储效率至关重要。

其次，从 RGB 基础模型到非 RGB 模态的跨模态迁移同时涉及模态差异和任务差异，其中模态差异是主要挑战 [32, 46]。因此，仅依赖任务特定的标注数据不足以同时弥合这两类差异，尤其是在某一具体任务的标注样本稀缺时更是如此。尽管来自不同任务的目标模态数据具有异构的标注形式，但它们共同刻画了目标模态在模态层面的内在特征和底层分布。因此，将这些来自不同任务的数据汇聚成一个大规模无标注数据集，对于学习与任务无关的模态知识至关重要。因此，有效的跨模态迁移必须利用无标注数据来提升数据效率。

基于上述分析，我们提出了一种新的跨模态迁移范式，将迁移过程解耦为一次性的通用模态知识迁移（阶段一）和灵活的任务知识迁移（阶段二）。

在阶段一中，关键挑战在于设计一种有效的训练策略，使模型能够在不依赖任务标签的情况下学习通用的目标模态知识。为此，受自监督学习（SSL）在视觉表征学习中取得成功的启发，我们引入了一种渐进式自监督调优策略（Progressive Self-Supervised Tuning, PSST）。该策略利用了非 RGB 模态的一个关键特性：其结构模式和辐射模式本身就蕴含着语义线索。具体而言，我们引入了基于 MAE [14] 的结构重建和基于 DINOv2 [33] 的语义判别学习，并通过上述特性将这两种自监督学习技术结合起来，从而仅利用无标注数据，逐步学习从低层纹理与结构到高层语义的模态知识。

阶段一仅需执行一次，训练得到的目标模态 LoRA 会被存储下来，并在阶段二中复用于不同的下游任务。阶段二中，为了实现灵活、快速且鲁棒的任务级适配，我们提出了任务提示的模态专家混合模块（Task-Prompted Mixture-of-Modality Experts, TP-MoME）。该模块通过可控且轻量级的视觉提示将任务特定知识注入模型，并采用 MoME 设计进行多模态融合，从而在面向不同下游任务的融合过程中，有效平衡任务特定知识、模态通用知识和模态特定知识。

实验结果表明，我们的方法在六种跨模态迁移场景中均展现出卓越性能。此外，与 SOTA 跨模态迁移方法相比，我们的方法在标注数据占比低于20%的情况下将平均交并比（mIoU）提升6.2%，达到相同性能阈值所需的训练轮数减少9轮，并且在相同数量的下游任务下可训练参数效率提升44.3%。我们的主要贡献总结如下：

（1）我们探索了跨模态迁移中的效率问题，并提出了一种新的迁移范式，将迁移过程解耦为一次性的通用模态知识迁移和灵活的任务知识迁移，从而实现较高的数据效率、计算效率和存储效率。

（2）我们提出了一种渐进式自监督调优策略，该策略能够仅利用无标注数据，通过一次性训练实现与任务无关的模态知识学习，并获得可复用的目标模态 LoRA。

（3）我们提出了一种任务提示的模态专家混合模块（Task-Prompted Mixture-of-Modality Experts, TP-MoME）。该模块旨在实现轻量级、灵活且鲁棒的任务知识注入，以适配多样化的下游任务。其核心设计包含两个关键部分：任务提示（Task Prompt）和模态专家混合（MoME）。

任务提示（Task Prompt）是一种可学习的视觉提示向量，它作为任务特定知识的轻量级载体。对于每一个下游任务（例如，热成像语义分割、深度目标检测），我们仅需训练一个微小的任务提示向量，而无需对整个模型或模态适配模块进行重新训练。这使得模型能够以极低的参数成本（通常仅占模型总参数的0.1%以下）快速适应新任务，显著提升了计算和存储效率。

模态专家混合（MoME）则负责在推理过程中进行多模态融合。它由多个“专家”（Expert）网络组成，每个专家被设计为擅长处理特定类型的知识：任务特定专家专注于从任务提示中提取的、与当前任务高度相关的特征；模态通用专家负责处理从阶段一获得的、与任务无关的通用模态知识（存储在目标模态 LoRA 中）；模态特定专家则捕捉目标模态（如热成像、深度）独有的底层信号特性。一个可学习的门控网络（Gating Network）会根据输入样本动态计算权重，将这些专家的输出进行加权融合。这种设计确保了在面对不同下游任务时，模型能够智能地平衡任务特定知识、模态通用知识和模态特定知识，从而获得最优的跨模态表示。

TP-MoME 模块的优势在于其解耦的设计哲学：它将一次性的模态知识学习（阶段一）与灵活的任务知识注入（阶段二）分离。这不仅避免了为每个新任务重复进行昂贵的跨模态适配训练，还通过专家混合机制增强了模型在不同任务和场景下的泛化能力与鲁棒性。

（4）我们在六种跨模态迁移场景下对所提出方法进行了评估，并从数据效率、计算效率和存储效率三个方面进行了分析，以证明该方法的有效性和优越性。

2. Related Works

2.1. VFMs and Transfer Learning

在大规模 RGB 数据上预训练的视觉基础模型（Vision Foundation Models, VFMs）已经在多种视觉任务中展现出卓越的泛化能力。SAM [19] 及其视频扩展模型 SAM 2 [37] 通过在十亿级掩码数据上训练的可提示架构，表现出强大的零样本分割能力。除分割任务外，CLIP [36] 和 DINOv2 [33] 等模型也为跨模态理解和密集预测提供了强大的特征表示。

为了有效地将这些模型适配到下游任务，参数高效迁移学习技术受到了广泛关注，例如 LoRA [2, 24, 53]、适配器（adapter）[4, 10, 47, 58] 和提示调优（prompt tuning）[18, 21, 55, 62]。这些方法能够在冻结骨干网络的基础上，仅引入少量额外参数，实现轻量级适配。近期研究已成功将这类技术应用于视觉基础模型，在避免完整模型重新训练的同时，在分割 [21, 30, 47, 49]、检测 [12, 38, 60] 和分类 [1, 41, 58] 等任务上取得了优异性能。

2.2. Cross-Modal Transfer and Adaptation

跨模态迁移旨在将基于 RGB 的模型扩展到深度、热成像、事件相机等非 RGB 模态。近期研究 [3, 9, 15, 26, 28, 34, 35, 47, 54, 59, 63, 64] 越来越多地将预训练视觉基础模型（VFMs）引入跨模态任务中。例如，Cai 等人 [3] 将模态感知提示引入 SAM [19]，用于 RGB+X 分割；而 DSAM [54] 则将 SAM [19] 适配到深度模态，用于伪装目标检测。此外，SHIFNet [59] 利用语言引导将 SAM 2 [37] 适配到 RGB-T 分割任务中。

除 SAM 之外，RGB-Th-Bench [31] 探索了视觉语言模型（VLMs）中的 RGB-T 理解能力；VS-TDX [5] 则分析了 VLMs 在解释非 RGB 传感器数据方面能力有限的问题，并提出了传感器感知微调方法。

尽管这些方法取得了进展，但现有方法在很大程度上仍然是面向任务的，即使用标注数据针对特定任务进行端到端训练。该范式要求每遇到一个新任务都重新训练并重新存储模型参数，从而在标注、计算和存储方面造成显著冗余，限制了跨模态基础模型的可扩展性和实际部署。在本文中，我们旨在开发一种高效的跨模态迁移范式。

2.3. Mixture-of-Experts Methods

混合专家（Mixture-of-Experts, MoE）架构近年来在计算机视觉领域受到越来越多关注，因为其能够高效地扩展模型容量。Vision MoE [40] 率先在 Vision Transformer 中引入稀疏专家层，随后研究 [7, 50, 51] 将 MoE 扩展到密集预测任务中，使不同专家能够专注于不同的视觉模式或语义区域，以支持多任务学习。

此外，MoE 也被应用于与文本相关的多模态学习中 [13, 16, 23, 63]。例如，Uni-MoE [23] 探索了视觉问答（Visual Question Answering, VQA）领域，建模语音、音频和文本模态之间的交互；而 FuseMoE [13] 和 CL-MoE [16] 则聚焦于基于 RGB 图像数据的视觉问答任务。

对于非 RGB 视觉任务，MLE-SAM [63] 将不同模态对应的 LoRA 视为专家模型，并采用门控机制进行分割任务中的融合。然而，这本质上与非 MoE 的多模态融合方式并无明显差异。在本文中，我们提出了 TP-MoME，这是一种专门面向跨模态迁移设计的新方法，能够利用 MoE 的独特优势，实现灵活的多模态融合。

3. Proposed Method

3.1. Overview

在本文中，我们提出了一种两阶段训练流程，将跨模态迁移过程解耦为一次性的通用知识迁移和灵活的任务知识迁移，以实现高效的迁移学习。整体框架如图 2 所示。

形式化地，令表示从互联网收集的大规模无标注目标模态数据集合，其中 (m) 表示目标模态的索引。在阶段一中（第 3.2 节），渐进式自监督调优策略（Progressive Self-Supervised Tuning, PSST）在 (X) 上联合利用基于 MAE 的结构重建和 DINOv2 风格的语义对齐，逐步捕获低层的模态感知结构和高层语义表征。对于每一种目标模态，阶段一仅训练一次，即可获得可复用的模态 LoRA。

在阶段二中（第 3.3 节），给定带标注的下游任务样本 ((X, Y))，根据任务需求部署对应的模态特定 LoRA。可学习的视觉提示 (P) 被插入到每个模块中，用于获取任务知识；同时，模态专家混合模块（Mixture-of-Modality-Experts, MoME）被引入到指定模块中，以实现多模态融合。最终，融合后的嵌入表示或单模态嵌入表示会被输入到多模态或单模态任务解码器中。

3.2. Progressive Self-supervised Tuning Strategy

为了实现无标签的跨模态知识迁移，我们收集了多样化的目标模态数据，这些数据涵盖低层和高层任务。由于不同任务之间的语义标注并不一致，统一的监督训练难以实现。受自监督学习（Self-Supervised Learning, SSL）能够从多样化数据中学习鲁棒表征这一能力的启发，我们提出了一种渐进式自监督调优策略（Progressive Self-Supervised Tuning, PSST）。

然而，并非所有自监督学习任务都适合非 RGB 模态学习。最常用的对比学习目标通常是基于 RGB 先验设计的，例如要求模型在不同图像之间保持亮度和纹理不变性。相比之下，对于热成像、深度或事件相机等非 RGB 模态而言，亮度或纹理的变化往往对应着语义内容的变化。基于这一观察，我们认为，MAE 风格的单图像重建和 DINOv2 风格的自蒸馏/自教学方法更适合非 RGB 模态学习，并将二者结合起来，以逐步学习从低层纹理与结构到高层语义的模态感知知识。

MAE 预热训练。在预热阶段，我们执行一种模态感知的掩码自编码预训练，以捕获目标模态的内在结构。给定一张无标注的非 RGB 图像 (x_m \in X_m)，掩码生成器 (G(\cdot)) 会选择一部分图像块作为可见块。经过掩码后的输入 (\tilde{x}m = x_m \odot G(x_m)) 被送入由模态 LoRA (\Delta\theta) 增强的冻结骨干网络 (E{\theta_0}) 中进行编码：

[
z_m = E_{\theta_0+\Delta\theta}(\tilde{x}_m). \tag{1}
]

随后，MAE 解码头 (D_{\text{MAE}}) 对原始图像进行重建，其重建目标为：

[
\mathcal{L}{\text{MAE}} =
\frac{1}{|G|}
\sum{i \in G}
\left|D_{\text{MAE}}(z_m)i - x{m,i}\right|_1. \tag{2}
]

该训练过程会持续若干个 epoch，以促使 (\Delta\theta) 内化目标模态特有的局部结构。

在预热阶段之后，我们从无标注数据中筛选出一个子集 (D_{\text{high},m})。该子集包含结构复杂度较高或语义信息较丰富的样本，这一点可以通过较高的 MAE 重建方差来体现。在该子集上，我们联合训练 MAE 分支和 DINOv2 分支，其中前者提供结构监督，后者侧重于语义对齐。

在训练过程中，MAE 分支和 DINOv2 分支中的学生网络共享同一个冻结骨干网络以及可训练的 LoRA 参数，这些 LoRA 参数通过梯度反向传播进行更新。而 DINOv2 分支中的教师网络保持固定，其权重通过学生网络权重的指数滑动平均（Exponential Moving Average, EMA）进行更新。

3.3. Task-Prompted Mixture-of-Modality Experts

为了将上述模态 LoRA 应用于后续下游任务，同时在仅引入少量额外参数的情况下实现快速且鲁棒的适配，我们提出了一个任务提示的模态专家混合模块（Task-Prompted Mixture-of-Modality Experts, TP-MoME）。该模块通过提示学习实现轻量级的任务知识注入，并引导一个灵活的模态专家混合模块（Mixture-of-Modality Experts, MoME）在多模态融合过程中有效平衡模态通用性与模态特异性。