TL;DRCosFly 用把 3D 世界抽象成 2,067 个障碍物盒子 → 在连续空间做 9 目标梯度优化 → 反投影渲染多模态数据的管线构建了面向无人机动态目标跟踪的大规模多模态数据集。它既不是这个任务的第一个数据集城市 UAV 跟踪的首个已被早六周的 UAV-Track VLA 占去具身视觉跟踪任务本身更早一年就有 TrackVLA 做了真机验证它的差异化也不靠早而靠三件具体的事七通道对齐标注深度/分割/位姿/双语、由显式多约束优化MuCO生成的专家轨迹、覆盖 7 个 VLM 的基准协议。工程解剖罕见地诚实MuCO 优化器可迁移到一切跟随类任务。但三篇论文宣称的 12,000 条轨迹只公开了 250 条约 2%数据生成代码因公司政策不开源GitHub 仓库目前只有 README——而先到六周的竞品已放出数据样本与演示视频样本具体规模未公开说明早一年的邻域工作已经完成真机验证。方向 8.0 分开放度 2.5 分。1. 一个并不空旷的空位先把问题定义讲清楚。过去三年无人机视觉-语言导航数据集爆发式增长OpenFly100K 轨迹、AirNav143K、CityNav32.6K、AerialVLN8.4K、IndoorUAV16K。但它们全部回答同一个问题如何从 A 点飞到静态的 B 点。与此同时现实世界的无人机跟踪数据集UAV123、VisDrone、UAVDT、WebUAV-3M只提供 RGB 视频加边界框——没有深度、没有语义分割、没有语言指令、没有飞行动作。夹在中间的空白是连续跟随一个移动目标同时满足可见性、避障、运动学约束——搜救、自动跟拍、野生动物监测真正需要的那个任务。导航的成功定义是到达跟踪是持续目标本身就是动态约束源每个时间步都要重新解一次可见性、视角、碰撞的联立问题。但这个空位并不空旷三个时间戳足以说明TrackVLAarXiv:2505.231892025-05PKU/BAAI/Galbot提出具身视觉跟踪EVT任务170 万样本85.5 万跟踪 85.5 万识别自建 EVT-Bench并且完成了真机验证——四足平台Unitree GO2城市/室内跟踪难档成功率 70%超过商用跟踪无人机 DJI Flip 的 50%。但它的数据生态是地面智能体与室内场景Habitat 3.0与城市高空飞行是两个相邻域UAV-Track VLAarXiv:2604.022412026-04-02直接做了 CARLA 城市 UAV 跟踪数据集——892,756 帧约 20 万人工遥操作专家演示 69 万 APF 自动采集、176 个跟踪任务、85 类目标自称首个面向城市环境的具身 UAV 跟踪视觉-语言数据集GitHub 仓库已放出数据样本与演示视频样本具体规模未公开说明代码开放程度亦未逐一核实CosFly-Track2026-05-20第三个到场。那么 CosFly 还剩下什么差异化是真实的但必须用限定词说清楚轨迹生成哲学UAV-Track 的专家数据来自人工遥操作 人工势场APF——一种不考虑可见性、视角美学、多约束联立的朴素控制器CosFly 用 MuCO 做显式的九目标约束优化。数据集的天花板由生成器的目标函数定义这是 CosFly 把水位线抬得最高的地方标注通道UAV-Track 是前视 RGB800×600 速度状态 语言指令CosFly 是 RGB 度量深度 语义分割 六自由度 位姿 目标状态 中英双语指令的七通道对齐基准协议CosFly 提供 7 个 VLM 的系统微调基准和 16 城镇的已见/未见划分UAV-Track 是单一 π0.5 架构家族的模型对比。还有一处值得记录的文字张力CosFly-Track 论文声称没有任何现有数据集是为视觉跟踪设计的而它自己的技术报告在相关工作中引用了 UAV-Track [67]并称其面向城市环境中动态车辆与行人的具身视觉跟踪。这不是疏忽更像有意的边界划定——CosFly 实际主张的是没有由多约束连续优化生成、带七通道对齐标注的跟踪数据这一点在事实上成立但字面上的没有任何现有数据集这一表述越过了它自己承认的边界。2026 年互争首个是常规操作只是这次发生在自家引用的文献上格外刺眼。所以CosFly 必须靠深赢而深需要被定义本文给它三个宾语专家轨迹由显式、可复现的多约束目标函数生成数据集论文附录 A 完整到任何人可以照着重写标注是七通道对齐而非单目 RGB 加状态量评测协议跨 7 个 VLM 与 16 城镇。下文逐层解剖同时逐层记账。2. 第一层抽象65,614 → 2,067 个盒子管线的第一步是哲学性的把 CARLA 的 Town10HD_Opt 城市导出成 3D 边界盒然后狠狠地简化。原始导出 65,614 个轴对齐盒子其中植被占 62,581 个95.38%——城市几何复杂度的主要来源不是摩天楼是树。简化是一套精心设计的规则集分类合并按语义类别用 AABB-gap 邻接规则聚类植被阈值 2 m、建筑 5 m每个簇替换为外接盒。阈值故意取得保守偏大保证规划安全裁树手术每棵树在 2.0 m 高度切成树干树冠两个子盒树冠再向上抬升 0.5 m——因为 CARLA 的树盒是从地面贯穿到树顶的单一立方体不切开就会错误地把树下行走判为不可行地下盒清除用顶面判据z_center e_z 0才删保留半埋结构嵌套剪枝只在同类盒之间做跨类包含交通灯在建筑里不动避免静默丢语义。结果65,614 → 2,067 个盒子31.7× 压缩。这个数字出现在每张总览图的第 2 步里像是炫耀其实是自白——从第一步起抽象就开始欠债。论文自己在 §6.1 承认裁树手术制造出的树干-树冠缝隙按其构造方式就不代表真实物理开口。无人机在盒世界中学到的可以从树下过在真实世界未必成立。这笔债叫仿真到现实迁移。论文的最后一节局限性讨论就是结账的地方——而作者给出的答案是还没还真实数据仍在采集中。3. 第二层抽象MuCO——用 9 个代价函数定义跟拍美学这是整套工作中最硬核、也最值得独立借鉴的部分。数据集论文把全部 9 项代价函数的完整定义放在附录 A自称足以支撑独立复现技术报告的附录 H 则另给了一份工程实现级的算法规格。目标函数C(W) Σᵢ Σₖ₌₁⁹ λₖ · cₖ(wᵢ, contextᵢ)九项代价权重三个最有信息量的代价项可见性c_vis (1-v)²v 是打在目标身体上 5–10 个采样点的未遮挡射线比例。射线-障碍物求询用 BVH 从 O(n) 加速到 O(log n)配合逐路径障碍物过滤2,000 → 约 200 个单条轨迹优化从 ~12 s 降到 0.1–0.5 s24–120×视点质量c_view f(cos⟨-v_look, v_walk⟩) · dᵢ——全篇最懂任务的设计v_walk 取 ±15 帧窗口的净位移方向直接性因子 dᵢ 在目标转弯时自动降低约束强度。直走时要严格跟在正后方转弯时放松——好的轨迹优化器应该理解跟拍的语义而不只是几何加加速度 三阶差分惩罚直接保证运动学可执行性免去后处理平滑。求解器是刻意的朴素暴力不用自动微分而是坐标式有限差分ε0.5 m——大到足以跨过小障碍获取有效可见性梯度 自适应学习率 单步 0.5 m 位移裁剪 Rayon 并行200 个航点每次迭代 2–5 ms。对生产 6,000 条轨迹这个实际目标它诚实、可调试、够用。安全由软/硬四层架构保证软安全代价提供梯度引导 → 几何投影把陷入障碍的航点推出去穿透 5 m 沿 SDF 梯度大步推出垂直抬升 ≤3 m 能解决就抬升否则在 ±35° 扇形里评估四种策略选代价增量最小者→ 速度修复再分配投影尖峰 → 高度平滑消振荡。分层的原因是防止安全项梯度过强把优化器困死——用工程结构代替调参艺术的典型决策。优化之后还有 7 步后处理流水线遮挡段拉直、绕行消除、振荡消除、多轮安全投影……坦白承认优化器本身不是产品补丁才是。与 A* 的对决一个需要打折扣的 7.3%MuCO 与 A* 对比CosFly 实现了离散基线中的理论上限——四维时空体素图上的可见性感知 A*单条轨迹扩展约 140 万节点。结果A* 平均可见性高 7.3 个百分点但慢 22×、路径长 13%示例轨迹 315 m vs 200 m、且需要后处理平滑才能飞。引用这组数字时必须同时引用它的前提这个 7.3% 的差距是在一个生产场景下没人会用的基线上测出来的——按论文自己的账A* 生成 6,000 条轨迹要约 9 个 GPU·小时MuCO 只要 25 分钟。所以这组对比的准确读法不是谁更好而是在可行性约束下你愿意为更高的可见性支付多少答案是没有系统会为了 16/20 条本就 0.90 的可见度去付 22× 的成本。7.3% 仍然携带信息——离散搜索确实能找到可见性更高的路线这是方法谱系边界上的真实差距——但它对MuCO 是否够用这个问题的权重远小于数字本身暗示的程度。论文把 A* 定位为离线参照、MuCO 定位为生产器这个分工是清醒的引用差距数字的人也应该保持同样的清醒。这里需要补一个数字冲突问题因为它横跨两篇论文22 倍5.5 秒对 247 毫秒出自数据集论文第 4.3 节与图 2Path 0 案例为 10,075 毫秒对 311 毫秒而技术报告附录 H 用 20 场景复现实测给出了另一组数字——优化器纯计算 MuCO 平均 218 毫秒、TA*Smooth 平均 893 毫秒约 4 倍端到端计入编排开销后单条路径几乎打平958 对 906 毫秒四方综合评分也是 TA*Smooth0.782高于 MuCO0.699。这不是计时口径能解释的同一条 Path 0 上数据集论文的 A* 要扩展约 141 万个节点、耗时 10,075 毫秒而技术报告重写的 TA*Smooth 只要 906 毫秒——参照基线本身差了约 11 倍。换句话说22 倍依赖一个较慢的参照实现技术报告自己的复现没能确认这个招牌数字两组数字不必然逻辑矛盾比较的实现不同但对读者的实际含义是MuCO 速度优势的真实量级取决于你跟哪一个 A* 实现比。另一个跨论文的小出入技术报告 H.7.2 的 MuCO 权重2/4/3/2/2/1/2另加固定高度正则与数据集论文附录 B 表 7 的权重1/0.5/0.3/2/3/1/0.5/1/0.1不仅数值不同、结构也不同7 项加权加固定正则 对 9 项全加权两篇论文连参数表都没对齐照表复现时以哪份为准需要向作者确认。谱系定位MuCO 是 CHOMP2009→ TrajOpt → GPMP 这一连续优化谱系的工程化后裔算法新意有限。真正的贡献不在求解器而在为数据生产设计的跟踪专用目标函数和生产经济学。4. 第三层抽象双轨迹——把错误也做成数据双轨迹扰动设计每条行人路径生成两条无人机轨迹MuCO 专家轨迹 扰动轨迹。扰动由两个独立伯努利事件控制位置扰动 P0.6、半径 2–3 m朝向扰动 P0.6、最大 5°天然组合出四种状态16% 无扰动、24% 仅位置、24% 仅朝向、36% 双重扰动。滑窗采样窗长 10、步长 3用前 5 帧扰动观测做输入、完整 10 帧专家轨迹做监督——同一数据结构同时支持去噪、DAgger 式纠偏、对比学习、未来预测四种训练范式。消融给出了支撑设计的最佳证据只用专家轨迹训练偏航 MAE 反而恶化到 6.54°对比 3.85°——只见过完美数据的模型学不会纠偏。这本质上是 DAgger 经典教训在 2026 年的重演但把扰动写进数据结构比训完再 DAgger更干净。但证据链上缺了一环3.85° 这个纠偏后的基线本身是怎么来的如果 MuCO 生成的专家轨迹带有系统性偏差第 2 节的 裁树手术造出的假缝隙就是候选扰动数据教给模型的只是在专家分布内部如何回来而不是真实世界里的专家应该长什么样。扰动训练的鲁棒性收益因此要乘上一个贴现率——它等于策略从 CARLA 分布外推时的失败率而该系数论文没测。这个系数并非完全无锚。邻域里已有一笔公开的结算TrackVLA 在仿真基准 Gym-UnrealCV 上单目标零样本成功率 100%真机测试四足平台每档 10 次试验中档 90%、难档 70%对比商用无人机 DJI Flip 的 70% / 50%——粗略的仿真到现实折扣在 10–30 个百分点量级。这个锚要打三重折扣平台是四足而非飞行、场景是近地而非城市高空、每档样本仅 10 次。但它至少说明一件事CARLA 内量出的鲁棒性收益兑现到现实时个位数到几十个百分点量级的折损是常态而非意外。CosFly 的扰动收益将来大概率也在这个区间内贴现而且 UAV-Track 的 APF 扰动与 CosFly 的扰动双轨迹思想同源——扰动恢复已是该领域公共知识CosFly 在这上面的相对优势比论文呈现的小。字幕生成第 7 步用师生蒸馏Qwen3.5-397B → 2B产中英双语指令。因果链CoC管道用锚定策略——把正确 GT 飞行动作注入提示词保证 100% 决策一致性推理链是给正确答案写的事后合理化不是模型自己推出来的。这类数据对提升遮挡场景的表示也许有效但别把它当成无人机会推理的证据。另一个反直觉的决策值得单独表扬质检环节主动保留 5% 的不完美样本目标-车辆重叠、背景行人掉帧并用实验证明其对性能影响可忽略。数据世界观很清醒干净不是第一美德分布真实才是。5. 基准实验诚实的数字狡猾的比较零样本与微调对比七个 VLMQwen3.5-0.8B/2B/9B、Qwen3-VL-2B/8B、GLM-4.6V-Flash、Gemma-4-E4B的微调 宣传数字很炸SFT 后 SR1m 从 25–33% 跳到 78.3–95.6%53~69 个百分点。拆开看先说诚实的部分。零样本的全部 7 个模型输出与原地不动基线在小数点后 4 位一致——六自由度 数值回归对当前 VLM 是零样本不可解任务任务特定的 SFT 不可替代。同族规模实验揭示了真问题0.8B→9BSR1m 只 0.5 个百分点但 RotAcc1° 7.0 个百分点、MAE -18.3%——跟踪的难度在精细姿态不在粗位置。消融同样坦率去掉位姿历史 FDE 恶化 3.1×位姿框都在时RGB 的边际贡献几乎为零1.264 vs 1.249 m论文自己警告这暗示当前基准的结构化文本先验已足够做路径回归——这个基准对视觉还不够难视觉尚未被迫出场。多图训练把灾难性失败FDE10 m降低了 55.6%。再说狡猾的部分。53~69 个百分点的比较对象是零样本 VLM——一个本来就不该会六自由度回归的对手这是稻草人。真正该问的是比起在别家跟踪数据上微调CosFly-Track 的边际收益是多少两家数据集的动作空间、观测通道、评测协议各不相同直接横评很难——但这恰恰说明53~69 个百分点作为卖点比较参照系选得有多舒服。还有一层账0.8B 与 2B 在 25%–100% 数据上收敛到几乎同一点ADE≈2.14作者正确读出瓶颈是数据分布而非容量。但分布瓶颈的下一步追问是这个上限本身值多少钱一个在 2,067 个盒子的 CARLA 里 ADE≈2.14 的模型放到真实城市里上限是多少第 4 节的那笔邻域结算仿真到现实的折扣约 10–30 个百分点就是目前唯一能用的汇率读数而 CosFly 全系列的真机证据为零——它的 ADE、它的 SR、它零样本不可解的判定全部以 CARLA 物理为记账本位。下游迁移是加分项Depth Anything V2 AbsRel 0.77→0.045、SAM2.1 mIoU 0.74→0.86、Grounding DINO AP50 85.4→94.2且小模型≈大模型——覆盖度而非容量是瓶颈。从已见地图到未见地图的 FDE 劣化稳定保持在 50% 上下0.43–0.46 m且与模态选择无关——差距来自轨迹分布漂移。请记住这个数字它是下一节的伏笔。6. 影子第四篇CosFly-VLA 与它的泛化警报官方管线图数据集论文图 1*▲ 数据集论文官方图 1场景处理 → 行人路径 → MuCO 优化 → 渲染输出。整个数据宇宙的物理定律由游戏引擎定义。*2026 年 7 月的 CosFly-VLA 把数据用到了极致Qwen3.5LoRA 共享骨干元查询路由把表示分流到三个解码头——流匹配动作专家8 步四自由度航点、目标框 MLP、可见性 MLP训练四阶段递进空间 CPT 50 万样本 → 1.74M 样本三阶段课程 SFT → 1.9 万条 CoT → 策略自身交互数据驱动的闭环强化学习。数字层面开环 ADE 比 OpenVLA 低 34%闭环成功率在已见场景 57%→74%17 个百分点在未见场景 80%→82%仅 2 个百分点。这个剪刀差是全系列最重要的一个数字在仿真器内部换个地图收益就缩水近九成而仿真到现实的迁移是比换地图大得多的跳跃——在这条路上TrackVLA 一年前就已经出发CosFly 还在原地。另一个容易漏掉的细节闭环评测用的是共享 GT 历史框/可见性缓冲——策略自己的状态估计误差还没进入闭环。论文对此倒是坦白列进了局限性讨论。7. 账本它欠了什么——把同行放在同一行里算维度TrackVLA / EVT-Bench2025-05UAV-Track VLA2026-04CosFly-Track2026-05公开版域地面智能体为主室内 Habitat 3.0真机为四足平台城市空中CARLA 0.9.14城市空中CARLA规模170 万样本85.5 万跟踪 85.5 万识别892,756 帧20 万人工演示 69 万 APF宣称 2.4M 时间步公开 250 条轨迹 / 约 10 万帧模态通道RGB 语言识别/规划双流RGB 速度状态 语言RGB 深度 分割 六自由度 位姿 双语七通道轨迹生成未公开细节人工遥操作 APF含扰动恢复MuCO 九目标约束优化显式代价函数附录可复现真机验证有SR 100/90/70%易/中/难档各 10 次超 DJI Flip无列为 未来工作无真实数据采集中开放动作论文承诺公开 TrackVLA 与 EVT-BenchGitHub 已放出数据样本与演示视频样本规模与代码开放度未完全核实数据子集在 HuggingFace生成管线代码因公司政策不开源GitHub 仓库仅有一个 README基准EVT-Bench Gym-UnrealCV 零样本模型家族内对比π0.5 系7 个 VLM 微调基准 已见/未见场景协议这张表让结论变得立体CosFly 在轨迹生成质量和标注通道丰富度两项上确实领先但在公开规模和开放动作两项上落后于先到六周的直接竞品真机验证这一项则落后于早一年的邻域工作。数据基建任务定义的差异化里数据基建这一半被部分抵消——对手的数据更多、更可得邻域已经有人把记分牌挪到了现实。CosFly 手里剩下的牌本质上是一张方法论的牌如果你的研究需要由显式多约束优化定义的专家分布和深度/分割/位姿通道它是目前唯一选项如果你只想训一个会跟人的 VLAUAV-Track 的起点更低。其余旧账零样本稻草人比较第 5 节VLA 论文无多种子置信区间数据集论文用 3 种子报了 低于 0.5 个百分点的标准差VLA 论文没有行人只有曲率变速随机停无社会力、无人群、无对抗运动树冠缝隙是几何虚构。8. 评分卡与跟踪清单评分卡维度分数理由方向前沿性8.0任务方向仍热但卡位不再独占UAV-Track 早六周、TrackVLA 早一年且已过真机工程完成度8.0MuCO 四层安全架构 双轨迹课程 全链路质检细节密度极高方法新颖性6.5CHOMP 谱系的工程化扰动设计因竞品思想同源不再单独加分新意集中在目标函数开放度2.5公开数据约为宣称的 2%生成代码不开源仓库 README-only落后于已放出样本的竞品当前可用性3.5数据子集与评测协议可用但规模小于竞品且无任何真机参照可校准预期长期跟踪价值7.0押注面收窄为方法论 通道丰富度若扩容与放码兑现可回升真机验证是最大变量现在就该用的人需要深度/分割/位姿通道或多约束优化专家分布的研究者——CosFly 仍是唯一选项做跟随类规划跟拍车、AGV 跟随的——按数据集论文附录 A技术报告附录 H重写 MuCO它的目标函数与你的任务只隔一层代价项。值得等的事件建议按季度复查① 公开数据是否扩到承诺规模与 UAV-Track 的 89 万帧直接可比② GitHub 是否放出代码——竞品的样本与视频已经把门槛抬高③ 是否出现任何真机验证——TrackVLA 的真机数据就摆在那里CosFly 的沉默每季度都在变贵④ VLA 是否补多种子与预测状态闭环。9. 结语矩阵悖论论文标题借了《黑客帝国》的隐喻我们不改变现实只改变矩阵。当数据生产的边际成本被压到25 分钟生成 6,000 条轨迹瓶颈就从数据量转移到抽象保真度无人机在 2,067 个盒子的世界里学到的是盒子的物理不是世界的物理。CosFly 的每一个抽象层都在记一笔账——税在每次抽象发生时入账树冠假缝隙、曲率变速的行人、伯努利扰动的形状在真机验证那天结算。这本账有两栏一栏是计量税的计量单位是策略在分布外状态上的失败率——CosFly 自己的语言就是灾难性失败比例多图训练把它降低 55.6%正是对冲这笔税的直接证据另一栏是汇率贴现率由验证环境与现实在观测光照、纹理、传感器和动力学行人行为、风扰上的差异决定。第 4 节那笔 10–30 个百分点的邻域结算是目前公开的唯一汇率读数。CosFly 的账还挂在账上。矩阵悖论还有第二层矩阵不只欺骗无人机也欺骗矩阵里的人类研究者——在 CARLA 里 ADE 2.14 的模型、闭环 SR 74% 的策略、零样本不可解任务的判定全部以 CARLA 的物理为记账本位。当所有竞争者都在同一矩阵里竞赛胜出者可能只是最懂矩阵规则的那一个而不是最懂世界的那个。TrackVLA 把对比做到了商用无人机上就是在把记分牌往现实挪CosFly 三篇论文连一次真机试飞都没有。但公允地说这套工作做到了几件比数据更重要的事它把无人机跟踪写成了一个可引用、可证伪、有专属约束集合的问题它用图 2 主动展示劣势数字它在局限性讨论里把代码不开源白纸黑字写出来它的数据集论文附录 A 详细到足以让任何人重建 MuCO。在 2026 年平均水平的对照下这种诚实本身就是贡献。一句话总结值得精读、值得跟踪、暂不值得押注——它手里的牌是最丰富的通道 最显式的优化牌还硬但对手已经下场、有人过了真机窗口期不是不会太长而是正在关闭。*图表说明官方管线图来自数据集论文图 1arXiv:2605.17776其余图表由本文基于数据集论文公开数据表 2、表 5、表 7、图 2 及附录 A/B/C独立绘制。评分卡为主观评价。*论文1CosFly 技术报告https://arxiv.org/abs/2605.191202CosFly-Track 数据集论文https://arxiv.org/abs/2605.177763CosFly-VLA 论文https://arxiv.org/abs/2607.15004机 构 Autel Robotics道通智能× 南京大学 × 北京大学 × 南科大 × 港大