VLAVision-Language-Action视觉-语言-动作模型里最容易被低估的部分往往是那个“L”。做机器人操作、桌面抓取、具身智能任务时很多人会碰到一个现象视觉条件一换、光照一变、物体位置一挪模型表现立刻下滑。于是圈子流行一种说法语言指令没用VLA里的L只是装饰真正起作用的是视觉和动作。我最近用几组对照实验验证了一遍结论刚好相反。语言指令不是没用而是接入位置和指令写法没对一旦调整好指令泛化能力可以提升20%-40%。这里想先把这个结论说清楚所谓“用对位置”不是简单地把提示词写长也不是把语言模型调大而是要让语言条件在正确的位置进入模型并且让指令本身包含可验证的空间关系。下面按实际操作顺序拆开讲。1. “L无用论”到底在质疑什么1.1 VLA里的L到底是什么VLA 是 Vision-Language-Action 三个词的缩写。Vision 负责感知画面里的物体、颜色、轮廓和位置Language 负责接收任务指令Action 负责输出机械臂关节角度、末端执行器位姿或桌面移动轨迹。这里的 L在大多数开源方案里是一条自然语言指令比如“把红色杯子放到左边托盘”。这条指令会被文本编码器转成向量再以某种方式参与模型计算。L 不等于“把所有语言模型能力都搬进来”它是任务层面的条件约束作用很像给模型递了一张写着目标的纸条。不夸张地说L 的接入方式决定了模型看到的是一张任务蓝图还是一段无关紧要的旁白。1.2 说L无用的人多半是在简单任务上做验证我见过不少“L 无用”的测试。做法通常是搭一个单目标抓取环境桌面上只有一个杯子、一个托盘指令写“拿起杯子放到托盘上”。这种任务里视觉信息已经完整覆盖了所有可能决策模型不需要语言也知道唯一能抓的就是杯子唯一能放的就是托盘。语言条件有没有结果当然一样。一旦任务复杂度上来结论就会变。比如桌上有红蓝两个杯子、左右两个托盘指令写“拿起蓝色杯子放到右边托盘”。画面里有颜色、有位置但“应该拿哪一个、放到哪一边”这两个关键决策只存在于语言指令里。视觉特征不会自己告诉你当前任务目标是蓝杯子还是红杯子。所以“L 无用论”通常是在低区分度任务上做出来的结论。任务越简单语言越显得可有可无任务越接近真实场景语言越不可替代。2. 语言指令在VLA里的四种常见接入位置2.1 位置不同效果差异很大接入位置是影响语言条件是否真正发挥作用的第一道关口。我把常见做法分成四类token 前缀拼接、cross-attention 注入、多层重复注入、动作头拼接。接入方式实现思路交互深度适用场景主要代价token 前缀拼接指令文本 token 拼在图像和动作 token 前面浅入门验证、快速跑通长指令容易冲淡视觉特征cross-attention 注入解码层用语言 embedding 作为 K/V 参与注意力计算中中等复杂度操作任务实现复杂度高训练收敛稍慢多层重复注入每个 Transformer 层都加入指令 embedding深复杂空间关系、多目标任务显存和耗时明显上升动作头拼接只在输出动作时把语言 embedding 拼进 MLP浅动作空间强依赖语言约束中间层完全感知不到任务目标我的建议是不要一开始就上多层注入。先从前缀拼接或动作头拼接里选一个把数据管道、训练脚本、评测脚本全部跑通再逐步改接入方式。2.2 前缀拼接最容易上手但要注意序列长度前缀拼接是把指令文本 token 放在视觉 token 前面一起送进 Transformer。这个做法最简单很多 VLA 的 Demo 都是这个结构。优点是很直观模型在做自注意力时每个视觉位置都能直接看到前面的语言 token。缺点是如果指令很长比如超过 50 个 token注意力很容易被语言部分占据视觉细节被稀释。还有一种情况如果视觉 token 数量特别大前缀离后面的动作 token 太远深层网络可能记不住开头指令。我一般会先用固定模板控制指令长度保证语义完整但不超过 20 个 token。这样既能验证语言是否有用又不会因为序列太长导致训练不稳定。2.3 Cross-Attention 注入语言和视觉在更深的层相遇Cross-attention 注入的做法是在 Transformer 解码层计算注意力时用语言 embedding 作为 Key 和 Value与来自视觉特征的 Query 做交互。语言不是放在开头而是作为外部条件持续参与每一层解码。这种方式比前缀拼接更符合直觉视觉特征和语言特征在深层结构里不断对碰模型可以在不同层级反复校验“当前看到的东西”和“指令要求的东西”是否匹配。代价是结构复杂训练时需要更多 step 才能稳定。如果项目已经在前缀拼接上跑通了数据链路我建议第二个对比实验就是 cross-attention。大部分情况下它的指令跟随效果比前缀拼接更稳。2.4 多层重复注入和动作头拼接什么时候该用多层重复注入是每一层都显式加入语言条件适合指令里包含复杂约束的任务比如“先抓红色方块再放到蓝色托盘左侧”。这种任务需要模型在多个抽象层次都保留任务目标只在开头注入信息可能在中途丢失。动作头拼接则是语言只作用于最后输出动作的部分。它的优点是改动最小缺点也很明显视觉编码器完全不知道当前任务是什么相当于模型看完整张图之后才临时接到一条指令。对于需要“先识别目标物体再决定动作”的任务这个位置往往不够用。动作头拼接也不是一无是处。如果动作空间本身很小比如只有“抓”和“放”两个选项而语言指令的作用就是选一个那它可以省下不少计算量。但一旦需要连续动作、组合操作它就会成为瓶颈。3. 怎么设计“位置指令”从数据集到推理提示3.1 指令里要有可验证的空间关系标题里提到的“位置指令”我理解不是指某个网络层的位置而是指令本身要包含明确空间位置信息。比如“把左边的杯子放到右边的托盘”比“把这个东西放到那里”要有效得多。为什么会这样因为泛化能力来自约束。模型需要从视觉特征中找到与指令匹配的物体再去推断目标位置。如果指令只说“这个东西”模型无从知道“这个”对应画面里的谁。语言条件要想发挥作用必须让模型从文字里获得可验证的属性颜色、形状、相对位置、数量、动作顺序。我踩过不少坑。刚开始做桌面放置任务时训练数据里大量使用“拿起它”“放下”这类指代词。模型训练成功率看上去还行因为测试环境里往往只有一个目标物。换到多物体环境后成功率直接掉到三分之一以下。问题不是模型坏了是语言指令本身没有提供可对应到画面的信息。3.2 位置标注要和坐标方向对齐这一步很容易被忽略。指令里写“左边”但视觉画面里的“左边”究竟是以相机视角为准还是以机器人基座为准必须提前定死。如果训练时相机固定那“左边”就是指图像左边。“如果相机放在机械臂侧面而测试时相机换了位置原来的“左边”语义就不成立了。这类位置指令泛化失败通常不是模型能力不足而是语义空间和视觉坐标没有对齐。所以我在构建数据集时会做一层校验每一条含位置指令的数据都会记录目标物体的坐标范围再确认指令里的“左/右/远/近”与坐标关系一致。不一致的数据直接删掉否则模型会学到语言和视觉之间的错误关联。3.3 推理提示不能随意改变风格训练时如果统一使用“将蓝色物体放置到右侧托盘”这个句式测试时就尽量不要突然改成“blue one, right side”。这不是说模型完全不能处理同义改写而是泛化能力需要分阶段测。更稳妥的做法是保留一组固定模板做基础评测再准备一组同义改写模板做压力测试。如果固定模板效果好改写模板差说明模型学到了指令与动作的关联只是还没学会跨语言表达。这时候不一定需要改模型结构可以增加指令模板的多样性。如果固定模板和改写模板都差那就要回退检查语言条件是否真的参与计算以及训练数据里位置分布是否太单一。4. 实验验证单任务、组合任务和位置泛化测试怎么写4.1 先定义评测集再谈能力提升性能提升 20%-40% 听起来很明确但评测集不同数字含义完全不同。所以我建议先写一份自己的评测协议再让不同接入方式在同一协议下对比。我常用的参考协议是这样的桌面模拟环境固定相机两个托盘训练时物体出现在左侧区域测试时物体可能出现在右侧或中间指令统一包含颜色和目标位置。训练集用 40 条左右的基础指令测试集拆成两组一组是相同句式的新物体另一组是位置偏移后的新组合。每个配置跑 3 个随机种子取平均成功率和指令正确率。只跑一次很容易被初始化干扰尤其是 Transformer 模型不同种子之间可能差 10 个百分点。4.2 三个容易忽略的对比实验第一无语言基线。直接把语言条件去掉只保留视觉输入和动作标签。这个基线用来衡量任务本身的难度。如果无语言基线成功率已经很高说明你的评测任务区分度不够后续所有提升都没有说服力。第二动作头拼接和 cross-attention 的对比。这个对比能直观看出“语言注入位置”的影响。如果动作头拼接的成功率和无语言基线接近但 cross-attention 明显更高说明问题不是 L 无用而是 L 放错了位置。第三同义改写测试。同一语义用两种句式写比如“把红色方块放到右侧托盘”和“右侧托盘上放红色方块”。如果句子顺序一变效果就崩说明模型依赖固定模板还没有真正理解指令含义。4.3 怎么看结果指标只看整体任务成功率不够。我习惯把失败类型分成四类目标物抓错、方向摆错、位置偏差过大、任务超时。然后分别统计。如果整体成功率提升了但错误类型分布没有改变可能只是随机波动。如果“目标物抓错”数量明显下降说明语言条件帮助模型更好地区分目标物体这是指令参与决策的强信号。如果“方向摆错”还在说明模型理解了“拿什么”但没理解“放哪里”这时候可能需要在指令里把空间关系写得更显式而不是继续调模型结构。5. 泛化能力提升20%-40%背后的关键因素5.1 语言注入位置影响的是特征提取不是最后的动作映射为什么把语言条件从动作头挪到 cross-attention泛化能力会有明显变化原因是动作头拼接时前面的视觉编码器已经把所有信息压缩成了与任务无关的特征。模型不是不会看而是不知道该重点看什么。而 cross-attention 注入后语言条件在每一层解码过程中持续引导注意力视觉编码器相当于带着“任务滤镜”去看画面。模型会更早学会忽略无关物体把计算资源集中在指令相关的目标上。这个差异在多目标场景里会被放大。我在实际实验里看到单物体抓取时不同接入方式几乎没差别但物体数量从 1 个增加到 4 个后动作头拼接的指令跟随率开始快速下滑cross-attention 仍然保持稳定。这就是“位置”的力量。5.2 指令表达的一致性会放大或抹平结构优势模型结构再合适如果训练数据里的指令写得乱七八糟提升也会被吃掉。最典型的问题是同一个位置关系有大量不一致说法有人标注“左边”有人标注“左方”还有人标注“左侧”。从模型角度看这些词可能被编码成不同的向量导致原本相似的任务在特征空间里被拆散。泛化不是凭空来的它依赖训练数据提供稳定规律。语言标注的一致性就是最重要的规律来源之一。我建议在数据标注阶段做一份词汇表限定方位词、颜色词、动作词的范围。不是不让模型见新词而是把基础词表先稳定住再逐步增加表达变化。5.3 数字不是绝对值别被相对提升迷惑“提升 20%-40%”听起来很夸张但它通常是相对提升。举个例子原来指令跟随泛化率是 30%调整后变成 39%绝对提升 9 个百分点相对提升 30%。这种相对提升在论文和博客里都很常见但落地时要看你起点在哪。如果起点是 70%再提升 20%-40% 会非常困难如果起点只有 20%调整空间大得多。所以看结果时要同时记录绝对成功率和相对提升率别只盯着大的百分比。我在评测里会同时打印两列绝对成功率、相对无语言基线的提升比例。这样才能判断是语言起作用还是评测任务本身太简单。6. 常见失败案例和排查顺序6.1 先确认语言条件真的参与计算很多人调了半天发现没变化最后定位到代码 bug语言 embedding 在 forward 里被丢掉或者被 mask 掉了。一个很简单的检查方法把语言 embedding 整体置零再看训练 loss 是否有变化。如果 loss 完全不动说明模型根本没有建立对语言条件的依赖。这时候要检查 cross-attention 的 mask、dropout 路径以及文本编码器输出是否真的传到了主网络。另外可以在日志里定期打印语言特征的 L2 norm。如果 norm 始终是 0那基本不用谈泛化提升。6.2 再检查数据里的位置标注如果语言条件参与计算但新指令泛化还是很差下一个怀疑对象是数据。重点看三类问题第一指令里是否用了指代词比如“这个”“那个”。第二方位词是否与视觉坐标一致。第三训练数据里是否只有固定位置模型可能把“目标在左侧”当成唯一解测试时换成右侧就崩。我一般会统计训练集里方位词的分布。如果“左侧”出现 90%即便模型理解了语言也很难泛化到右侧。解决方法是重采样或补充数据让方位分布更均衡。6.3 最后才改模型结构如果数据和日志都没问题再考虑结构。这时候可以对比前缀拼接和 cross-attention。通常我会先固定语言编码器不更新它的参数只训练投影层和动作头。这样训练速度快也更容易判断语言特征是否稳定。如果 cross-attention 收敛慢可以尝试把语言 embedding 的 learning rate 调低一点或者加一层 LayerNorm 稳定特征。不要一上来就换更大的语言模型那样会引入更多变量。6.4 一张排查清单现象优先检查项再检查项语言条件似乎没有影响语言 embedding 是否置零、是否被 maskcross-attention 的梯度路径单目标效果好多目标崩训练数据里目标数量分布是否单一指令是否有唯一物体属性描述换同义指令效果下降训练模板是否太过固定语言编码器是否覆盖新表达物体位置一换就失败方位词是否与坐标对齐训练集方位分布是否均衡训练成功率高测试成功率低评测集是否和训练集分布差异过大是否只取了一个随机种子7. 落地建议该保留什么、该剪掉什么7.1 场景简单时语言模块可以精简如果你的任务永远是单一物体、固定位置比如传送带上只有一个工件机械臂只需要抓起来放到固定位置那语言条件确实可以剪掉。这个场景下保留语言模块只会增加训练成本不会带来泛化收益。这种情况下不做 VLA 也可以视觉加规则控制往往更稳。所谓“L 无用”应该限定在这种场景任务本身没有语言可提供的信息增量。7.2 场景复杂时语言必须保留且要放对位置只要任务里出现多个同类物体、不同目标位置、数量限制、否定指令或组合动作语言就必须保留。语言不是装饰它是区分任务目标的主要信息来源。保留语言时我建议的优先级是cross-attention 注入优先于 token 前缀拼接动作头拼接只作为快速基线使用。如果算力允许再做一层多层重复注入对比是否带来额外提升。7.3 资源有限时先冻结语言编码器很多 VLA 项目不是被模型能力卡住而是被显存卡住。一个直观做法是冻结语言编码器只训练语言到视觉特征空间的投影层。这样既保留了预训练语言模型的语义对齐能力又大幅降低训练开销。冻结之后要记得检查语言特征 norm 是否正常。因为这个方案在代码实现上很容易出现“冻结后梯度断了”看起来没报错但语言条件根本没有更新。最直接确认方法还是用置零测试。7.4 把日志和评测协议当第一优先级如果只能给一个建议我会说先把日志和评测协议写好再调模型结构。没有稳定评测协议你根本不知道语言条件放在哪里更好也不知道“提升 20%-40%”到底来自哪里。我一般会从最小样例开始固定指令、固定位置、单物体确认链路通然后加入多目标再加入位置变化最后做同义改写压力测试。每一步都记录成功率、指令正确率、失败类型分布。多跑几轮之后你会发现VLA 里的 L 不仅有用还经常是决定模型能不能跨场景泛化的关键。它不是那个“应该被反击的冗余模块”而是最值得花时间调优的条件输入。