「给无人机装了两套系统」

目录

01 现有无人机VLN三条路线的固有短板

02 慢系统管语义，快系统管实时飞控

2.1 慢系统：稳定提取全局语义先验

2.2 快系统：基于DiT扩散Transformer生成低延迟连续动作

2.3 双系统异步并行运行逻辑

03 两大配套优化策略，解决长时序训练与推理缺陷

3.1 全局自适应归一化

3.2 时序加权TW-MSE损失（核心训练创新）

04 实验数据

4.1 导航精度指标横向对比

4.2 实时推理效率

4.3 动作视野消融实验

05 写在最后

无人机在执行长距离巡检、搜救任务时，导航指令通常是这样的：“沿主路向东飞行500米，在第二个路口左转，绕过红色建筑后向北继续巡航。”

听懂这句话不难，难的是一边理解语义、一边实时控机。现有方案始终卡在一个核心矛盾上：大模型语义理解准但推理慢，轻量化模型响应快但“记不住”。语义理解得越深，动作响应就越慢；动作响应得越快，长距离飞行就越容易偏航。

北大、鹏城实验室、深先进院团队提出的FSD-VLN，给了一套干脆的解法：把“想”和“动”拆成两套独立系统，异步并行运行。

慢系统负责理解语义、记住全程目标；快系统负责高频生成飞行指令，两者互不阻塞。在仿真城市低空场景中，未知环境导航成功率提升近2倍，单步推理耗时降低56%，整体任务耗时下降53%，长距离飞行轨迹连贯性显著改善。

01 现有无人机VLN三条路线的固有短板

当前行业三类主流方案，各有各的坑。

• 单帧即时反应模型：仅依靠当前图像+语言特征输出动作，不记录历史飞行轨迹，完全无视飞行器连续运动约束。长距离飞行时极易受临时建筑、光影干扰频繁变向，轨迹抖动严重，只适合百米内短距离定点飞行。
• 大模型自回归动作预测方案（NavGPT、OpenFly等）：依靠大视觉语言模型做全局语义推理，能精准识别地标、理解长句指令，但自回归解码带来极高推理延迟——单步动作推理动辄400ms以上。无人机飞控要求百毫秒级响应，高延迟会造成滞后操控，很难落地实装机载设备。
• 简易分层解耦架构（APEX等）：虽拆分感知与执行模块，但两套系统时序耦合松散，缺少跨时序动作依赖建模，最终导航成功率偏低，工程实用性不足。

三类方案都无法同时满足三个核心需求：完整理解长段导航指令、百毫秒级低延迟飞控输出、长距离轨迹平滑不累积误差。FSD-VLN正是针对这组冲突需求给出完整解决方案。

02 慢系统管语义，快系统管实时飞控

整套框架分为异步并行运行的慢系统（Slow System）、快系统（Fast System），中间依靠视觉语言特征缓冲区BVLF完成数据交互，两套系统独立运算互不阻塞，形成“全局语义持续更新、高频动作持续输出”闭环。

图 | FSD-VLN整体架构图

2.1 慢系统：稳定提取全局语义先验

慢系统核心是预训练视觉语言基础模型，专门负责处理图像与自然语言指令的跨模态融合，不参与高频动作生成，计算压力小、不需要实时迭代。

1. 完整流程：机载摄像头采集RGB图像送入视觉编码器，导航文本指令经过分词模块转换为文本token；
2. 预训练VLM融合视觉、文本特征，输出全局统一视觉语言语义特征仅作简化理解：融合当前画面和整段导航指令的全局上下文信息，记住全程地标、前进目标）；
3. 生成的语义特征持续写入BVLF缓冲区缓存，新图像抵达时自动刷新缓存，为快系统提供稳定、连贯的全局语义参考，不会因为单帧画面缺失丢失导航目标信息。

慢系统不需要每帧更新，图像刷新时才重新编码，大幅降低高频重复计算，从根源削减大模型带来的算力开销。

2.2 快系统：基于DiT扩散Transformer生成低延迟连续动作

快系统是整套方案的实时控制核心，基于轻量化扩散Transformer（DiT）搭建，以缓存的全局语义、无人机历史状态、过往动作为输入，持续批量输出未来飞行动作，实现高频率控制输出。

核心模块分为三类编码器与DiT交替注意力模块：

1. 状态编码器SED：编码无人机实时位置、偏航角等机身状态；
2. 动作编码器AED：编码历史连续动作序列，建模跨时序运动依赖，解决轨迹震荡问题；
3. DiT交替自注意力+交叉注意力层：自注意力挖掘历史动作时序关联，交叉注意力读取BVLF缓冲区的全局语义，把语言目标约束嵌入动作生成；
4. 动作解码器ADD：输出离散无人机飞行指令，整套动作集合包含前进3/6/9米、左右30°转向、升降、停机8类基础动作。

模型训练阶段会向真实动作序列逐步叠加高斯噪声，让DiT学习去噪还原连续飞行动作；推理时直接基于当前语义、机身状态批量预测未来步动作，一次性输出多步连续操控指令，不用逐帧反复推理，大幅压缩单次计算耗时。

2.3 双系统异步并行运行逻辑

图 | FSD-VLN双系统工作流程

两套系统完全并行执行，不存在等待阻塞：慢系统持续读取新图像更新语义缓存；快系统持续读取缓存特征迭代生成动作。只有无人机抵达途经地标、需要采集新观测画面时，才会触发新一轮图像编码、语义更新。

这种异步设计解决了传统单模型“感知计算阻塞动作输出”的致命问题：哪怕VLM编码耗时较长，快系统依旧能依靠历史缓存语义持续输出飞控指令，不会出现操控断档。

03 两大配套优化策略，解决长时序训练与推理缺陷

3.1 全局自适应归一化

长时序导航中，机身位置、动作、语义特征数值尺度差异极大，直接训练容易出现数值不稳定。框架采用全局统计归一化，基于数据集均值、方差缩放所有输入特征，同时用百分位裁剪剔除极端离群轨迹数据；推理阶段反向还原物理控制数值，稳定扩散模型训练过程，降低长序列训练崩溃概率。

3.2 时序加权TW-MSE损失（核心训练创新）

图 | 标准MSE与TW-MSE训练损失曲线

普通均方误差（MSE）对每一步动作损失权重均等，长序列后期预测误差会持续放大，训练时梯度剧烈震荡、收敛缓慢。论文设计时序加权损失TW-MSE（简化理解：越靠后的远期动作分配更高损失权重），强制模型优先保证长距离轨迹一致性，同时弱化早期微小预测误差带来的梯度干扰。

从损失曲线能直观看到：标准MSE训练全程震荡剧烈，TW-MSE曲线平滑、最终损失更低。消融实验也证明，该策略能稳定长时序扩散模型收敛，大幅缓解远距离导航的误差累积问题。

04 实验数据

本次实验全部基于AirVLN-S、OpenFly大型低空仿真平台，采样4类虚拟城市场景（城区、工业区、公园、乡村），叠加广州城市仿真场景，合计3万+导航轨迹，轨迹长度集中50-150米，单次导航动作20-50步，完全匹配真实巡检飞行工况。

图 | 数据集轨迹、动作数量分布

图 | 城市导航实景示例

4.1 导航精度指标横向对比

图 | 不同基线模型在导航性能方面的比较

评测采用VLN通用四大指标：SR导航成功率（抵达目标20米内占比）、OSR途中可达率、SPL路径加权成功率、NE终端导航误差（越低越好），选取Random、Seq2Seq、AerialVLN、OpenFly等主流无人机VLN基线对比。

1. 未知全新城市环境（最考验泛化能力）

FSD-VLN SR达13.6%，对比OpenFly的5.1%提升近2倍；SPL从3.5%提升至10.7%，终端导航误差NE从198降至78。说明双系统架构学到了通用地标语义匹配能力，不会局限在训练过的城市地貌；

2. 训练见过的熟悉场景

FSD-VLN SR 26.7%、SPL 22.8%，全部基线最优，OpenFly SPL仅12.2%，轨迹效率提升接近一倍。

图 | 不同基线模型在导航性能方面的比较

需要客观看待指标边界：表格数据全部来自仿真城市环境，真实户外存在阵风、动态遮挡、不规则建筑，成功率会出现一定回落，但相对基线的性能优势依旧成立。

4.2 实时推理效率

这是FSD-VLN最具备落地价值的核心亮点，同硬件条件对比OpenFly：

图 | 模型在动作生成时间消耗方面的测试结果

1. 单动作生成耗时：402ms → 176ms，推理延迟降低56%；

2. 完整航线总执行时长：307.6s缩短至144.7s，整体任务耗时下降53%；

图 | OpenFly与我们提出的FSD-VLN方法在动作生成效率方面的定量评估

即便筛选两类模型都能成功抵达的10条航线，FSD-VLN依旧能节省56%飞行时长。

提速来源分为两点：一是异步架构解除感知计算阻塞；二是DiT一次性多步动作预测，减少重复推理次数，飞行过程多余修正机动大幅减少，不用反复来回调整航向。

4.3 动作视野消融实验

论文测试单次预测动作步数H=1/2/4三种配置，结果显示H=1性能最优。看似更长预测窗口能减少推理次数，但远距离环境观测变化大，多步远期预测会产生分布偏移，误差持续累积。

图 | 行动视野对FSD-VLN导航性能的影响

这揭示无人机VLN的核心权衡：更长时序预判会带来精度损耗，短窗口、高频迭代才是低空动态环境更稳妥的控制策略，为后续同类生成式导航模型提供明确调参参考。

05 写在最后

FSD-VLN快慢异步双系统架构，第一次把高层视觉语言语义推理和底层高频无人机飞控生成做完全异步解耦，依靠DiT扩散Transformer建模连续时序动作，搭配时序加权优化解决长时序训练震荡、误差累积两大核心难题。

在仿真城市低空场景中，未知环境导航成功率翻倍，推理与整体飞行耗时均削减过半，完美平衡大模型语义理解能力与机载实时控制硬性需求。

虽然当前仅停留在仿真验证阶段，距离真实复杂户外部署仍有优化空间，但这套快慢分离的双系统设计，为后续低空无人机语言导航提供了全新范式，有效化解“语义深度”与“控制延迟”长期无法兼顾的行业矛盾，对轻量化机载自主视觉导航工程落地具备极强参考意义。

Ref

论文标题：FSD-VLN: Fast-Slow Dual-System Modeling for Aerial Long-Horizon Vision-Language Navigation

论文链接：https://arxiv:2607.08359