拓冰网站定制 
《Physical Agentic AI一种用大型语言模型协调机器人船员的架构》深度分析总结arXiv:2608.22657v1 [cs.RO]2026年8月23日作者Xinyuan Liu, Eren Sadikoglu, Riana Chatterjee, Ransalu Senanayake亚利桑那州立大学计算与增强智能学院一、研究背景与问题提出1.1 领域趋势大型语言模型LLM正日益成为连接自然语言任务描述与机器人行为之间的桥梁。既有系统已经利用 LLM 来编排机器人技能序列、生成可执行的策略代码、基于反馈进行推理以及规模化收集机器人数据。这些进展共同指向一个未来图景人们只需说出一个目标机器人就能自主理解其含义、分解为有目的的步骤并执行完成。与此同时软件系统领域兴起了“智能体 AIAgentic AI”浪潮基于 LLM 的智能体能够分解任务、调用工具、传递消息并协调多步骤工作流如 CrewAI、LangChain 式工具编排、MCP 工具接口、AutoGen 等。虽然这些抽象能有效组织复杂的软件工作流但作者敏锐地指出它们对物理机器人团队并不充分——机器人的一次工具调用会触发依赖状态、耗时较长且可能不可逆的物理动作而软件工具调用通常是可逆的、沙箱化的或易于重试的。因此机器人智能体系统需要一个显式架构来连接“语义任务推理”与“物理落地执行”这两个层面。1.2 核心科学问题知识 vs. 执行强制的混淆论文提出的核心论点是基础模型与机器人系统结合引入了一种新的架构脆弱性——将“规划器的知识”planner knowledge与“运行时安全”runtime safety混为一谈。即认为只要把约束、能力清单、状态信息都放进提示词里模型就会遵守它们。作者主张对于执行自主工作流的异构机器人团队将语言推理与确定性执行权威隔离isolating deliberative language reasoning from deterministic execution authority是一个中心研究问题。作者还指出了一个更深层的时间性问题某些执行关键信息在规划时根本不存在。例如漫游车的目的地可能要等另一台机器人完成感知后才产生——任何检索到的上下文都无法验证一个尚未生成的值。这类信息必须表示为“状态绑定值”由运行时在派发时刻解析。二、相关工作定位论文将 Physical Agentic AI 置于四条研究脉络之上机器人架构三层架构 deliberative planner / sequencing layer / behavioral controller长期主导设计任务执行器SMACH、FlexBE、行为树、任务与运动规划 TAMP负责动作派发、前置条件检查、失败处理与恢复ROS 提供中间件基础。经典任务执行器假设规划器产生封闭、预定义词汇的动作落地是绑定问题基础模型打破该假设可自由生成自然语言计划因此本文的 Robot Orchestrator 增加了一个显式的能力解析阶段先确认动作属于已注册能力再评估可执行性。软件智能体编排CrewAI、LangChain、MCP 等提供了连接 LLM 与工具/共享上下文的实用机制但假设工具调用可逆或可重试缺乏物理状态跟踪与执行约束。面向机器人规划的基础模型SayCan 确立了“语言推理受预训练技能库及其可供性/价值估计约束”的范式SMART-LLM 实现异构团队分解与子任务分配RoCo 引入碰撞检查等环境反馈进行迭代细化COHERENT 扩展到异构平台的“提议—执行—反馈—调整”环EMOS 从 URDF/运动学信息构造机器可读能力描述EmboTeam 结合 LLM 解析、PDDL 规划与响应式行为树。SafeGate与本文关系最近为 LLM 控制的机器人引入确定性安全门与任务安全契约但本文聚焦一个不同且互补的接口LLM 完全不执行non-actuating每个机器人—技能转移由确定性运行时依据机器人本地状态与跨机器人工作流状态独立准许。多机器人协调与物理落地经典规划与 TAMP 提供离散目标与连续可行性的结构化推理形式化方法可刚性编码时序任务约束与安全规范但依赖精细指定的模型、难以对接开放式自然语言。本文架构兼取两者用软件智能体编排的角色与技能库做任务委派同时保留 TAMP 式的状态与前置条件推理。三、核心概念与架构设计3.1 定义Physical Agentic AI一种智能体 AI 框架其中基础模型智能体通过仅调用已验证的机器人技能来规划和协调物理机器人同时利用机器人状态、记忆、工作流约束和执行检查确保每个规划步骤在物理上可执行。3.2 四条设计原则a) 推理与执行分离规划与物理执行分配给不同组件权威零重叠。基础模型擅长理解自然语言和分解任务但无法可靠地自我强制物理约束。b) 技能落地规划skill-grounded planning规划器只在已实现的机器人技能上推理不生成任意动作或底层控制命令。每台机器人暴露一个由类型化参数、前置条件和预期效果约束的有界技能库。c) 契约中介协调contract-mediated coordination多机器人工作流表示为可复用的工作流契约编码顺序约束、同步点和资源依赖将协调逻辑独立于语言模型之外。d) 执行时验证每个被选中的技能在驱动执行前立即对照工作流契约和当前机器人状态验证。3.3 四个架构组件a机器人技能库每台机器人 r 暴露一个类型化技能库 K_r。技能定义了已实现的机器人能力及其参数、前置条件、预期效果、执行成本和同步要求。例如人形机器人暴露 pick_place(object, location)四足机器人暴露 navigate(location)。b任务规划器Mission Planner一个不执行动作non-actuating的基础模型智能体负责理解用户请求、分解任务阶段、选择“机器人—技能”对、产出可执行工作流。规划形式化为π[(ϕ1,r1,κ1),…,(ϕT,rT,κT)](1)\pi [(\phi_1, r_1, \kappa_1), \dots, (\phi_T, r_T, \kappa_T)] \quad (1)π[(ϕ1,r1,κ1),…,(ϕT,rT,κT)](1)其中第 k 步将阶段 φ_k 与机器人 r_k 及其技能 κ_k 配对。计划的可准许条件每步都指名真实技能且参数有效、被分配机器人具备能力且可用、操作顺序成立如载具必须先装载后出发。存在多个可准许计划时系统偏好机器人数量与交接次数最少的最简计划。原型中规划器在少数枚举工作流中选择而非搜索大空间架构独立于该选择。c工作流契约可执行工作流契约一份声明式规范介于语义任务规划与物理执行之间指定参与的机器人角色与可准许技能、它们之间带守卫的顺序约束、参数有效性规则以及在派发时刻解析的状态绑定值。契约包含同步点、时间依赖、资源约束、完成条件和执行不变量。关键在于规划器只是选择并实例化契约而强制执行完全属于编排器运行时。论文实现上的一个亮点是规划器提示词中展示的契约文本与运行时强制检查所依据的声明式规范渲染自同一份源文件保证“模型读到的规则”与“编排器检查的规则”不会漂移。d机器人编排器Robot Orchestrator, RO一个确定性程序化运行时而非基础模型。它接收结构化计划 π 与实例化契约维护执行状态控制对机器人特定执行接口的访问。派发技能前立即验证五项内容请求的技能在所选机器人上存在技能参数已落地且有效满足请求包含性request containment用户指定的实体或目的地不能仅仅为了使计划可执行而被替换为其他注册值请求的步骤是工作流契约中下一个被授权的转移当前机器人状态满足技能与契约的前置条件步骤所需的运行时绑定值可用且有效。全部检查通过后RO 才将动作转发给硬件执行接口。RO严格把生成的计划视为“提议”而非“命令流”。3.4 执行协议五阶段检索当前技能库、命名位置和工作流契约注入规划上下文Mission Planner 解释请求生成包含实例化契约与“机器人—技能—参数”有序列表的结构化工作流RO 解析计划并全局验证整个工作流技能/位置落地与契约顺序验证失败允许一次反馈重规划再失败则拒绝任务顺序执行获批技能每次派发对照已验证工作流的下一个待执行步骤重新授权授权后即消耗该步骤故任何步骤都不会被静默重试机器人状态从每个阻塞调用的结构化反馈中更新所有步骤完成后工作流终止。运行时契约违规在闸门前拒绝不驱动已执行的步骤失败则暂停任务并报告而不尝试自动恢复。3.5 图1总览图1Physical Agentic AI 流水线(a) 检索将类型化技能、命名位置和工作流契约注入规划上下文(b) 非执行的 Mission Planner实验中为 gpt-5.4-mini生成结构化计划如 {‘workflow_family’: ‘carry’, ‘steps’: [g1:grab_from_table, g1:place_on_table, g2:navigate_to_location(room,b)]}© Robot Orchestrator 验证计划已注册技能、有效参数、工作流转移、当前机器人状态、派发时绑定允许一次反馈重规划并在每次派发前重新授权拒绝无效步骤于驱动之前——图中给出了派发时绑定的典型例子规划器提议 navigate_to(target‘victim’)派发时实时查询状态victim(5.0,5.0) 存在则派发、未找到则拒绝(d) 获授权的技能在异构平台上执行带派发时状态绑定的无人机—UGV Gazebo 编队以及实体人形—四足编队。四、实验设计论文在两个刻意承担不同角色的互补测试台上评估仿真测试台Iris 四旋翼 TurtleBot3可扩展的定量评估用于与基线对比、规模化试验和注入受控故障严格测量安全门行为硬件测试台Unitree G1 人形 Unitree Go2 四足物理验证证明同一“技能落地规划”架构能迁移到真实、不可逆执行的异构物理实体上。4.1 仿真空地编排SEARCH-AND-DISPATCH在 Gazebo、ROS2、PX4 SITL 与 MAVROS 环境中Iris 无人机从空中定位“受害者”TurtleBot3 漫游车驶向发布的位置。该测试台还探究了多机器人感知独有的失败机制决定性事实受害者位置在规划时不存在任何提示词侧知识都无法在执行前验证漫游车目标。技能库Iris 暴露 takeoff(altitude)、search_target(bounds, altitude)、get_coordinates()、land()TurtleBot3 暴露 navigate_to(target | x, y)、stop()。坐标严格限制在声明作战区域内x, y ∈ [−6, 10] m区域外请求在执行前即失败落地。动态目标绑定漫游车目标由无人机搜索在运行时产生计划中符号化绑定如 navigate_to(target“victim”)。RO 在派发时对照状态接口解析绑定若无有效定位发布则拒绝该步no_target_fix。规划器只对已发布的定位推理从不处理原始感知数据。工作流契约四种契约SEARCH-AND-DISPATCH、SEARCH-ONLY、DISPATCH-ONLY、ABORT定义可准许组合。SEARCH-AND-DISPATCH 在结构上规定起飞先于搜索、定位先于派发。图2展示了 Gazebo 的 SEARCH-AND-DISPATCH 测试台Iris 无人机定位受害者旗帜工作流契约使 TurtleBot3前景显示激光雷达保持待命直到经验证的检测被发布。图3给出三张评估场景地图A基线受害者位于 (5,5)B近场位于 (−3,4)C远场位于 (8,−4)改变漫游车出生点与交付目标之间的距离与障碍杂乱程度。表 I 的所有配置都在这三张地图上评估。4.2 评估协议四种条件的解耦设计既有评估无法判断安全增益来自“规划器知道什么”还是“运行时强制什么”因为二者总是同时变化。本文用四个条件将其分离全部使用相同基础模型 gpt-5.4-mini、温度 0.1、相同输出模式、解析器和派发适配器LLM-only不向规划器提供技能注册表Skill-list检索并提供技能注册表与作战区域RO-prompt上下文提供技能与工作流约束但执行时不强制RO相同规划上下文加上派发时强制与一次反馈驱动重规划。关键控制RO-prompt 与 RO 使用完全相同的提示词二者唯一区别是一个错误步骤是否被授予物理驱动权威。共评估 20 个场景12 个名义场景每个工作流族 3 个和 8 个故障注入后者包括 4 个机器人不可用状态每台 2 个仅在派发时检查、2 个越界目的地、2 个感知故障nan_transmission受害者被检测但发布定位被 NaN 破坏missed_detection扫描完成却无检测。感知故障对静态计划检查不可见——只在漫游车派发时刻才在状态接口上显现。图4给出全系统在场景 A 的平均执行时间线地面漫游车 LLM 规划 5 s无人机起飞与搜索 25 s感知 3 s无人机操作 2 s工作流闸门在 30 s 时释放漫游车漫游车导航 70 s。工作流闸门虚线使漫游车保持空闲直到无人机发布检测。五、仿真结果5.1 结果一落地与安全是可分离的表 I 建立了核心解耦关系论文以柱状图与 Fisher 精确检验呈现含 95% Wilson 置信区间检索修复落地注入注册表将技能落地率从51% 提升到 96%p 9.7×10⁻⁷。没有它LLM-only 规划器近一半动作完全是幻觉。知识饱和后强制仍不可或缺一旦知识饱和Skill-list、RO-prompt 与 RO 在所有知识指标上统计相同不强制的手臂仍会派发 23% 的落地或状态故障步骤且故障场景召回率为 0%一个都拦不住。只有强制改变结局RO 将误派发率降为0%对比 RO-promptp 5.0×10⁻⁴并正确拦截全部 8 个注入故障场景、无误拦截召回率与精确率均为 100%。由于每个条件都实机执行这些误派发是真实执行的机器人动作而非被拒绝的计划字符串。5.2 结果二封堵结构化通道绕过感知故障说明了为何强制必须位于派发边界。当被标记出损坏坐标nan_transmission时未强制的 LLM 会试图“恢复”——例如自己编造一个合理坐标重新派发 navigate_to——即在上下文中明知规则却通过结构化输出通道绕过它们。RO 依据契约与状态接口在闸门前直接拒绝此类转移。作者由此提炼出关键机理更有信息的规划器会把“可检测的幻觉”转化为“貌似合理但错误的动作”retrieval-induced substitution——从说谎变为善意地做错事。这解释了为何仅靠提示词工程无法收敛到安全也直接动机化了“请求包含性”与状态接口检查两项机制。六、硬件验证人形—四足编队6.1 测试台设定Unitree G1 人形机器人提供桌面操作Unitree Go2 四足机器人提供房间级运输。定量研究在硬件栈的工具与检查代码之上使用模拟适配器mocked adapters评估 20 个场景12 名义 8 故障注入真实机器人试验验证物理迁移。图5展示了距离条件化交付的硬件演示(a) 当请求者靠近人形机器人时规划器选择 HANDOVER 工作流G1 直接把红色方块递给此人(b) 当请求者距离较远时规划器选择 CARRY 工作流——G1 抓取红方块并装载到 Go2 的载荷箱Go2 随后跨房间导航完成交付。每个帧下方标注了从录像中提取的各阶段大致时间窗口。6.2 结果一解耦关系经“冻结计划消融”复现表 II 在物理硬件基础设施上复现了仿真中的模式检索修复落地9% → 91%但不强制手臂仍盲目派发26–29%的故障步骤RO 强制将误派发降到0%召回率升至100%p 1.6×10⁻⁴。为彻底隔离因果性作者设计了冻结计划消融held-plan ablation每个场景对规划器只采样一次把完全相同的计划分别送入 RO-prompt 与 RO 两种模式从数学上消除规划器方差。让同样的计划通过确定性闸门误派发率从25.7%35 步中 9 步降到 0%——这是全文最干净的一组因果证据差异完全由执行闸门造成与模型生成的质量无关。6.3 结果二真实硬件验证使用同一请求“把红方块拿给我”仅改变请求者位置靠近桌子时规划器选 HANDOVER由 G1 直接交付较远时选 CARRYG1 把方块装上 Go2由 Go2 跨房间运送给请求者图5。两次试验中每个物理动作都经过模拟研究中所评估的同一个派发闸门。CARRY 工作流中“装载先于出发”的跨机器人约束使 Go2 的导航在 G1 完成装载前不会被授权。图6给出两次硬件演示的执行时间线HANDOVER 只用 G1而 CARRY 在契约下将 G1 操作与 Go2 运输串行化。作者明确区分证据强度硬件试验只有两次属定性证据统计性结论仅由模拟mocked评估承载——这一学术上的克制值得肯定。七、讨论与结论论文的实验支撑了一个明确的分工模型基础模型负责解释请求并选择工作流RO 用检索到的技能、命名位置、机器人状态和工作流契约来约束该选择Robot Orchestrator 只执行经验证的调用。大规模的模拟评估测量这一分解硬件试验证明同一抽象可驱动实体的人形—四足编队。三项主要贡献可归纳为受控解耦研究跨两个异构编队、四种条件加冻结计划消融表明“落地是检索问题而派发安全是强制问题”提示词侧知识无法解决后者检索诱导的替换与运行时绑定失败的实证刻画更知情的规划器会从可检测幻觉转向貌似合理的错误动作动机化请求包含性与状态接口检查使能架构 Physical Agentic AI 本身类型化技能库、由一份声明式规范同时编译进规划器提示词与运行时检查器的工作流契约、由拥有唯一驱动权威的确定性编排器进行逐次派发授权——并完成从仿真到真实硬件的验证。核心结论一句话检索让模型知道得更多能显著改善技能落地但可靠的物理执行需要语言模型之外的约束强制——把“规则喂给模型”与“信任模型遵守规则”必须架构性地解耦。八、批判性评价优点科学方法论出色四条件设计 冻结计划消融是 LLM 机器人领域少见的干净因果分析统计报告规范Wilson 区间、Fisher 精确检验工程与理论结合扎实契约从单一声明式规范编译为提示词与检查器消除规则漂移具有直接可复用价值“状态绑定值”与“派发时解析”机制精准回应了 LLM 规划的时间性盲区代码开源github.com/Liuuxy/physical-agentic-ai学术克制硬件试验不做统计推断。局限与可讨论之处规划器在少数枚举工作流中选择任务空间较窄开放式任务下 RO 的全局验证与“仅一次重规划”策略是否仍高效有待检验感知故障类型有限NaN、漏检现实故障空间远更复杂已执行步骤失败即“暂停并报告、不自动恢复”在长任务中可能过于保守二层任务搜救、运输验证向更高维协调多契约并发、人机混编的扩展性未测。 《Physical Agentic AI：一种用大型语言模型协调机器人船员的架构》深度分析总结
《Physical Agentic AI一种用大型语言模型协调机器人船员的架构》深度分析总结arXiv:2608.22657v1 [cs.RO]2026年8月23日作者Xinyuan Liu, Eren Sadikoglu, Riana Chatterjee, Ransalu Senanayake亚利桑那州立大学计算与增强智能学院一、研究背景与问题提出1.1 领域趋势大型语言模型LLM正日益成为连接自然语言任务描述与机器人行为之间的桥梁。既有系统已经利用 LLM 来编排机器人技能序列、生成可执行的策略代码、基于反馈进行推理以及规模化收集机器人数据。这些进展共同指向一个未来图景人们只需说出一个目标机器人就能自主理解其含义、分解为有目的的步骤并执行完成。与此同时软件系统领域兴起了“智能体 AIAgentic AI”浪潮基于 LLM 的智能体能够分解任务、调用工具、传递消息并协调多步骤工作流如 CrewAI、LangChain 式工具编排、MCP 工具接口、AutoGen 等。虽然这些抽象能有效组织复杂的软件工作流但作者敏锐地指出它们对物理机器人团队并不充分——机器人的一次工具调用会触发依赖状态、耗时较长且可能不可逆的物理动作而软件工具调用通常是可逆的、沙箱化的或易于重试的。因此机器人智能体系统需要一个显式架构来连接“语义任务推理”与“物理落地执行”这两个层面。1.2 核心科学问题知识 vs. 执行强制的混淆论文提出的核心论点是基础模型与机器人系统结合引入了一种新的架构脆弱性——将“规划器的知识”planner knowledge与“运行时安全”runtime safety混为一谈。即认为只要把约束、能力清单、状态信息都放进提示词里模型就会遵守它们。作者主张对于执行自主工作流的异构机器人团队将语言推理与确定性执行权威隔离isolating deliberative language reasoning from deterministic execution authority是一个中心研究问题。作者还指出了一个更深层的时间性问题某些执行关键信息在规划时根本不存在。例如漫游车的目的地可能要等另一台机器人完成感知后才产生——任何检索到的上下文都无法验证一个尚未生成的值。这类信息必须表示为“状态绑定值”由运行时在派发时刻解析。二、相关工作定位论文将 Physical Agentic AI 置于四条研究脉络之上机器人架构三层架构 deliberative planner / sequencing layer / behavioral controller长期主导设计任务执行器SMACH、FlexBE、行为树、任务与运动规划 TAMP负责动作派发、前置条件检查、失败处理与恢复ROS 提供中间件基础。经典任务执行器假设规划器产生封闭、预定义词汇的动作落地是绑定问题基础模型打破该假设可自由生成自然语言计划因此本文的 Robot Orchestrator 增加了一个显式的能力解析阶段先确认动作属于已注册能力再评估可执行性。软件智能体编排CrewAI、LangChain、MCP 等提供了连接 LLM 与工具/共享上下文的实用机制但假设工具调用可逆或可重试缺乏物理状态跟踪与执行约束。面向机器人规划的基础模型SayCan 确立了“语言推理受预训练技能库及其可供性/价值估计约束”的范式SMART-LLM 实现异构团队分解与子任务分配RoCo 引入碰撞检查等环境反馈进行迭代细化COHERENT 扩展到异构平台的“提议—执行—反馈—调整”环EMOS 从 URDF/运动学信息构造机器可读能力描述EmboTeam 结合 LLM 解析、PDDL 规划与响应式行为树。SafeGate与本文关系最近为 LLM 控制的机器人引入确定性安全门与任务安全契约但本文聚焦一个不同且互补的接口LLM 完全不执行non-actuating每个机器人—技能转移由确定性运行时依据机器人本地状态与跨机器人工作流状态独立准许。多机器人协调与物理落地经典规划与 TAMP 提供离散目标与连续可行性的结构化推理形式化方法可刚性编码时序任务约束与安全规范但依赖精细指定的模型、难以对接开放式自然语言。本文架构兼取两者用软件智能体编排的角色与技能库做任务委派同时保留 TAMP 式的状态与前置条件推理。三、核心概念与架构设计3.1 定义Physical Agentic AI一种智能体 AI 框架其中基础模型智能体通过仅调用已验证的机器人技能来规划和协调物理机器人同时利用机器人状态、记忆、工作流约束和执行检查确保每个规划步骤在物理上可执行。3.2 四条设计原则a) 推理与执行分离规划与物理执行分配给不同组件权威零重叠。基础模型擅长理解自然语言和分解任务但无法可靠地自我强制物理约束。b) 技能落地规划skill-grounded planning规划器只在已实现的机器人技能上推理不生成任意动作或底层控制命令。每台机器人暴露一个由类型化参数、前置条件和预期效果约束的有界技能库。c) 契约中介协调contract-mediated coordination多机器人工作流表示为可复用的工作流契约编码顺序约束、同步点和资源依赖将协调逻辑独立于语言模型之外。d) 执行时验证每个被选中的技能在驱动执行前立即对照工作流契约和当前机器人状态验证。3.3 四个架构组件a机器人技能库每台机器人 r 暴露一个类型化技能库 K_r。技能定义了已实现的机器人能力及其参数、前置条件、预期效果、执行成本和同步要求。例如人形机器人暴露 pick_place(object, location)四足机器人暴露 navigate(location)。b任务规划器Mission Planner一个不执行动作non-actuating的基础模型智能体负责理解用户请求、分解任务阶段、选择“机器人—技能”对、产出可执行工作流。规划形式化为π[(ϕ1,r1,κ1),…,(ϕT,rT,κT)](1)\pi [(\phi_1, r_1, \kappa_1), \dots, (\phi_T, r_T, \kappa_T)] \quad (1)π[(ϕ1,r1,κ1),…,(ϕT,rT,κT)](1)其中第 k 步将阶段 φ_k 与机器人 r_k 及其技能 κ_k 配对。计划的可准许条件每步都指名真实技能且参数有效、被分配机器人具备能力且可用、操作顺序成立如载具必须先装载后出发。存在多个可准许计划时系统偏好机器人数量与交接次数最少的最简计划。原型中规划器在少数枚举工作流中选择而非搜索大空间架构独立于该选择。c工作流契约可执行工作流契约一份声明式规范介于语义任务规划与物理执行之间指定参与的机器人角色与可准许技能、它们之间带守卫的顺序约束、参数有效性规则以及在派发时刻解析的状态绑定值。契约包含同步点、时间依赖、资源约束、完成条件和执行不变量。关键在于规划器只是选择并实例化契约而强制执行完全属于编排器运行时。论文实现上的一个亮点是规划器提示词中展示的契约文本与运行时强制检查所依据的声明式规范渲染自同一份源文件保证“模型读到的规则”与“编排器检查的规则”不会漂移。d机器人编排器Robot Orchestrator, RO一个确定性程序化运行时而非基础模型。它接收结构化计划 π 与实例化契约维护执行状态控制对机器人特定执行接口的访问。派发技能前立即验证五项内容请求的技能在所选机器人上存在技能参数已落地且有效满足请求包含性request containment用户指定的实体或目的地不能仅仅为了使计划可执行而被替换为其他注册值请求的步骤是工作流契约中下一个被授权的转移当前机器人状态满足技能与契约的前置条件步骤所需的运行时绑定值可用且有效。全部检查通过后RO 才将动作转发给硬件执行接口。RO严格把生成的计划视为“提议”而非“命令流”。3.4 执行协议五阶段检索当前技能库、命名位置和工作流契约注入规划上下文Mission Planner 解释请求生成包含实例化契约与“机器人—技能—参数”有序列表的结构化工作流RO 解析计划并全局验证整个工作流技能/位置落地与契约顺序验证失败允许一次反馈重规划再失败则拒绝任务顺序执行获批技能每次派发对照已验证工作流的下一个待执行步骤重新授权授权后即消耗该步骤故任何步骤都不会被静默重试机器人状态从每个阻塞调用的结构化反馈中更新所有步骤完成后工作流终止。运行时契约违规在闸门前拒绝不驱动已执行的步骤失败则暂停任务并报告而不尝试自动恢复。3.5 图1总览图1Physical Agentic AI 流水线(a) 检索将类型化技能、命名位置和工作流契约注入规划上下文(b) 非执行的 Mission Planner实验中为 gpt-5.4-mini生成结构化计划如 {‘workflow_family’: ‘carry’, ‘steps’: [g1:grab_from_table, g1:place_on_table, g2:navigate_to_location(room,b)]}© Robot Orchestrator 验证计划已注册技能、有效参数、工作流转移、当前机器人状态、派发时绑定允许一次反馈重规划并在每次派发前重新授权拒绝无效步骤于驱动之前——图中给出了派发时绑定的典型例子规划器提议 navigate_to(target‘victim’)派发时实时查询状态victim(5.0,5.0) 存在则派发、未找到则拒绝(d) 获授权的技能在异构平台上执行带派发时状态绑定的无人机—UGV Gazebo 编队以及实体人形—四足编队。四、实验设计论文在两个刻意承担不同角色的互补测试台上评估仿真测试台Iris 四旋翼 TurtleBot3可扩展的定量评估用于与基线对比、规模化试验和注入受控故障严格测量安全门行为硬件测试台Unitree G1 人形 Unitree Go2 四足物理验证证明同一“技能落地规划”架构能迁移到真实、不可逆执行的异构物理实体上。4.1 仿真空地编排SEARCH-AND-DISPATCH在 Gazebo、ROS2、PX4 SITL 与 MAVROS 环境中Iris 无人机从空中定位“受害者”TurtleBot3 漫游车驶向发布的位置。该测试台还探究了多机器人感知独有的失败机制决定性事实受害者位置在规划时不存在任何提示词侧知识都无法在执行前验证漫游车目标。技能库Iris 暴露 takeoff(altitude)、search_target(bounds, altitude)、get_coordinates()、land()TurtleBot3 暴露 navigate_to(target | x, y)、stop()。坐标严格限制在声明作战区域内x, y ∈ [−6, 10] m区域外请求在执行前即失败落地。动态目标绑定漫游车目标由无人机搜索在运行时产生计划中符号化绑定如 navigate_to(target“victim”)。RO 在派发时对照状态接口解析绑定若无有效定位发布则拒绝该步no_target_fix。规划器只对已发布的定位推理从不处理原始感知数据。工作流契约四种契约SEARCH-AND-DISPATCH、SEARCH-ONLY、DISPATCH-ONLY、ABORT定义可准许组合。SEARCH-AND-DISPATCH 在结构上规定起飞先于搜索、定位先于派发。图2展示了 Gazebo 的 SEARCH-AND-DISPATCH 测试台Iris 无人机定位受害者旗帜工作流契约使 TurtleBot3前景显示激光雷达保持待命直到经验证的检测被发布。图3给出三张评估场景地图A基线受害者位于 (5,5)B近场位于 (−3,4)C远场位于 (8,−4)改变漫游车出生点与交付目标之间的距离与障碍杂乱程度。表 I 的所有配置都在这三张地图上评估。4.2 评估协议四种条件的解耦设计既有评估无法判断安全增益来自“规划器知道什么”还是“运行时强制什么”因为二者总是同时变化。本文用四个条件将其分离全部使用相同基础模型 gpt-5.4-mini、温度 0.1、相同输出模式、解析器和派发适配器LLM-only不向规划器提供技能注册表Skill-list检索并提供技能注册表与作战区域RO-prompt上下文提供技能与工作流约束但执行时不强制RO相同规划上下文加上派发时强制与一次反馈驱动重规划。关键控制RO-prompt 与 RO 使用完全相同的提示词二者唯一区别是一个错误步骤是否被授予物理驱动权威。共评估 20 个场景12 个名义场景每个工作流族 3 个和 8 个故障注入后者包括 4 个机器人不可用状态每台 2 个仅在派发时检查、2 个越界目的地、2 个感知故障nan_transmission受害者被检测但发布定位被 NaN 破坏missed_detection扫描完成却无检测。感知故障对静态计划检查不可见——只在漫游车派发时刻才在状态接口上显现。图4给出全系统在场景 A 的平均执行时间线地面漫游车 LLM 规划 5 s无人机起飞与搜索 25 s感知 3 s无人机操作 2 s工作流闸门在 30 s 时释放漫游车漫游车导航 70 s。工作流闸门虚线使漫游车保持空闲直到无人机发布检测。五、仿真结果5.1 结果一落地与安全是可分离的表 I 建立了核心解耦关系论文以柱状图与 Fisher 精确检验呈现含 95% Wilson 置信区间检索修复落地注入注册表将技能落地率从51% 提升到 96%p 9.7×10⁻⁷。没有它LLM-only 规划器近一半动作完全是幻觉。知识饱和后强制仍不可或缺一旦知识饱和Skill-list、RO-prompt 与 RO 在所有知识指标上统计相同不强制的手臂仍会派发 23% 的落地或状态故障步骤且故障场景召回率为 0%一个都拦不住。只有强制改变结局RO 将误派发率降为0%对比 RO-promptp 5.0×10⁻⁴并正确拦截全部 8 个注入故障场景、无误拦截召回率与精确率均为 100%。由于每个条件都实机执行这些误派发是真实执行的机器人动作而非被拒绝的计划字符串。5.2 结果二封堵结构化通道绕过感知故障说明了为何强制必须位于派发边界。当被标记出损坏坐标nan_transmission时未强制的 LLM 会试图“恢复”——例如自己编造一个合理坐标重新派发 navigate_to——即在上下文中明知规则却通过结构化输出通道绕过它们。RO 依据契约与状态接口在闸门前直接拒绝此类转移。作者由此提炼出关键机理更有信息的规划器会把“可检测的幻觉”转化为“貌似合理但错误的动作”retrieval-induced substitution——从说谎变为善意地做错事。这解释了为何仅靠提示词工程无法收敛到安全也直接动机化了“请求包含性”与状态接口检查两项机制。六、硬件验证人形—四足编队6.1 测试台设定Unitree G1 人形机器人提供桌面操作Unitree Go2 四足机器人提供房间级运输。定量研究在硬件栈的工具与检查代码之上使用模拟适配器mocked adapters评估 20 个场景12 名义 8 故障注入真实机器人试验验证物理迁移。图5展示了距离条件化交付的硬件演示(a) 当请求者靠近人形机器人时规划器选择 HANDOVER 工作流G1 直接把红色方块递给此人(b) 当请求者距离较远时规划器选择 CARRY 工作流——G1 抓取红方块并装载到 Go2 的载荷箱Go2 随后跨房间导航完成交付。每个帧下方标注了从录像中提取的各阶段大致时间窗口。6.2 结果一解耦关系经“冻结计划消融”复现表 II 在物理硬件基础设施上复现了仿真中的模式检索修复落地9% → 91%但不强制手臂仍盲目派发26–29%的故障步骤RO 强制将误派发降到0%召回率升至100%p 1.6×10⁻⁴。为彻底隔离因果性作者设计了冻结计划消融held-plan ablation每个场景对规划器只采样一次把完全相同的计划分别送入 RO-prompt 与 RO 两种模式从数学上消除规划器方差。让同样的计划通过确定性闸门误派发率从25.7%35 步中 9 步降到 0%——这是全文最干净的一组因果证据差异完全由执行闸门造成与模型生成的质量无关。6.3 结果二真实硬件验证使用同一请求“把红方块拿给我”仅改变请求者位置靠近桌子时规划器选 HANDOVER由 G1 直接交付较远时选 CARRYG1 把方块装上 Go2由 Go2 跨房间运送给请求者图5。两次试验中每个物理动作都经过模拟研究中所评估的同一个派发闸门。CARRY 工作流中“装载先于出发”的跨机器人约束使 Go2 的导航在 G1 完成装载前不会被授权。图6给出两次硬件演示的执行时间线HANDOVER 只用 G1而 CARRY 在契约下将 G1 操作与 Go2 运输串行化。作者明确区分证据强度硬件试验只有两次属定性证据统计性结论仅由模拟mocked评估承载——这一学术上的克制值得肯定。七、讨论与结论论文的实验支撑了一个明确的分工模型基础模型负责解释请求并选择工作流RO 用检索到的技能、命名位置、机器人状态和工作流契约来约束该选择Robot Orchestrator 只执行经验证的调用。大规模的模拟评估测量这一分解硬件试验证明同一抽象可驱动实体的人形—四足编队。三项主要贡献可归纳为受控解耦研究跨两个异构编队、四种条件加冻结计划消融表明“落地是检索问题而派发安全是强制问题”提示词侧知识无法解决后者检索诱导的替换与运行时绑定失败的实证刻画更知情的规划器会从可检测幻觉转向貌似合理的错误动作动机化请求包含性与状态接口检查使能架构 Physical Agentic AI 本身类型化技能库、由一份声明式规范同时编译进规划器提示词与运行时检查器的工作流契约、由拥有唯一驱动权威的确定性编排器进行逐次派发授权——并完成从仿真到真实硬件的验证。核心结论一句话检索让模型知道得更多能显著改善技能落地但可靠的物理执行需要语言模型之外的约束强制——把“规则喂给模型”与“信任模型遵守规则”必须架构性地解耦。八、批判性评价优点科学方法论出色四条件设计 冻结计划消融是 LLM 机器人领域少见的干净因果分析统计报告规范Wilson 区间、Fisher 精确检验工程与理论结合扎实契约从单一声明式规范编译为提示词与检查器消除规则漂移具有直接可复用价值“状态绑定值”与“派发时解析”机制精准回应了 LLM 规划的时间性盲区代码开源github.com/Liuuxy/physical-agentic-ai学术克制硬件试验不做统计推断。局限与可讨论之处规划器在少数枚举工作流中选择任务空间较窄开放式任务下 RO 的全局验证与“仅一次重规划”策略是否仍高效有待检验感知故障类型有限NaN、漏检现实故障空间远更复杂已执行步骤失败即“暂停并报告、不自动恢复”在长任务中可能过于保守二层任务搜救、运输验证向更高维协调多契约并发、人机混编的扩展性未测。