055、VLA的co-fine-tuning：视觉语言动作联合微调的关键技术055、VLA的co-fine-tuning：视觉语言动作联合微调的关键技术上个月调试一个机械臂抓取项目，模型在仿真里跑得好好的，一上真机就翻车——不是抓偏就是撞到障碍物。我盯着loss曲线看了半天，发现视觉编码器的梯度在第三轮之后几乎不更新了，而语言分支的loss还在正常下降。后来才意识到，问题出在我把视觉和语言两个分支分开微调，动作头倒是学得挺快，但视觉特征根本没跟上任务需求。这就是典型的co-fine-tuning没做对。先说清楚co-fine-tuning到底在解决什么问题。VLA模型通常由预训练的视觉编码器（比如CLIP）、大语言模型骨干和动作解码器三部分组成。直接端到端微调整个模型，理论上可行，但实际训练时你会发现三个分支的收敛速度完全不在一个量级。语言模型学得快，动作头学得也快，唯独视觉编码器像个老顽固，梯度信号传过去就衰减得差不多了。这导致模型最终学到的策略是"用语言猜动作"，视觉信息成了摆设。我踩过最深的坑是试图用统一学习率微调所有模块。视觉编码器需要较小的学习率保持预训练特征稳定，动作头需要较大的学习率快速拟合机器人运动学，语言模型则介于两者之间。你用一个折中的学习率，结果就是视觉分支学不动，动作分支学不稳。后来我改成分层学习率，视觉编码器用1e-6，语言模型用5e-5，动作头用1e-4，训练稳定多了。但分层学习率只是co-fine-tuning的第一步。真正关键的是如何设计联合训练的信号交互。我试过三种方案：第一种是简单的多任务loss加权相加，视觉loss、语言loss、动作loss各占一份；第二种是交替训练，每