【第四十三周】论文阅读《Planning with the Views via Scene Self-Exploration》

一、论文研究背景与问题定位

本周我阅读了一篇关于视觉语言模型在三维空间中进行视角规划能力研究的论文。这项工作的核心问题是：当前的视觉语言模型能否像人一样，通过在三维环境中主动移动自己的“视角”（即眼睛的位置和朝向），逐步探索周围空间，最终定位到一个目标视角？

这个问题之所以重要，是因为现实世界中的智能体（如机器人、虚拟助手）往往无法一次性获得完整的环境信息，必须通过主动探索来逐步构建对空间的理解。然而，现有的大模型评估大多停留在“被动观察”层面——给模型一张图，问它图里有什么；或者给一段视频，问它发生了什么。这些测试无法衡量模型是否具备“主动决定往哪看、并规划多步动作去找到想看的东西”这种能力。

论文将这种能力命名为视图规划，并将其分解为两个相互关联的子能力：
1、理解视点转换：知道执行一个动作（如“往前走0.5米”或“右转30度”）之后，视角会变成什么样子。这是“单步模拟”能力。
2、多步规划与组合：能够将多个动作串起来，形成一个多步计划，通过累积的视角变化逐步逼近一个目标视图。这是“序列决策”能力。

作者指出，当前学术界缺乏能够同时评估这两个能力的基准。已有的工作要么局限于二维图像上的裁剪和缩放，要么只支持全景图的旋转，要么是在合成图形而非真实场景中进行。因此，他们决定自己构建一套完整的评测体系。

二、VIEWSUITE评测基准：三个递进任务

为了系统评估模型的能力，作者构建了名为VIEWSUITE的评测基准。该基准基于286个真实的ScanNet室内场景（如住宅、办公室等），使用点云渲染生成第一人称视图，并支持六自由度的视角控制——即模型可以执行12种动作：前后左右上下移动（步长0.5米），以及绕三个轴旋转（俯仰、偏航、滚转，步长30度）。

在此基础上，作者设计了三个难度递进的任务：

任务一：路径到视图

这是最简单的任务，采用多项选择题的形式。模型收到：一张初始视角的照片、一张场景的俯视图（相当于天花板视角的参考）、以及一个具体的动作序列（如“右转三次，前进一次，再左转两次”）。然后，模型需要从四张候选照片中选出执行完该动作序列后应该看到的那一张。

这个任务测试的是正向的视角模拟能力——给定动作，预测结果。不需要做决策，只需要“想象”出动作执行后的画面。类似于在脑海里模拟“如果我往前走两步，眼前的景象会变成什么样”。

任务二：视图到路径

这个任务也是多项选择题，但方向相反。模型收到：初始视角的照片、目标视角的照片（即最终要达到的位置拍出来的画面）、以及场景的俯视图。然后，模型需要从四个候选的动作序列中选出哪一个能够将初始视角变成目标视角。

这个任务测试的是逆向的视角推理能力——给定前后两个状态，推断中间经历了什么动作。这要求模型能够理解视角变化与动作之间的映射关系，并且能够处理这种映射的逆问题。

作者将P2V和V2P合称为“单轮理解任务”，因为它们都是一次性给出所有信息，模型只需要做一次判断，不需要与环境进行多轮交互。

任务三：交互式视图规划

这是论文中最核心、也最具挑战性的任务。与前面两个选择题不同，IVP是一个多轮交互式的任务，模拟了真实场景中智能体逐步探索的过程。

具体流程如下：

模型被放置在一个三维场景中，给定三样东西：初始视角的照片（当前站在哪）、目标视角的照片（想去的位置拍出的画面，但模型不知道这个位置在哪）、以及场景的俯视图（提供一些空间布局线索）。

模型可以每轮选择一个动作（从12种动作中选），执行后环境会更新当前视角的照片和当前的位置信息。

模型需要在10轮之内完成探索，并在最后一轮提交一个最终答案：用六自由度坐标（三维位置 + 三维旋转角度）来估计目标视角的拍摄位置。

成功标准是：提交的坐标与真实目标坐标之间的距离在阈值之内（位置误差≤0.5米，旋转误差≤30度）。这个阈值是通过一个人机对齐实验校准的——让人类标注者判断两幅照片是否“看起来是同一个地方”，然后选择与人类判断一致性最高的阈值。

IVP与P2V/V2P的本质区别在于：模型不再是“做题”，而是“进场实操”。它必须自己决定每一步做什么，如何平衡“探索”和“利用”，如何在有限步数内收集足够的信息来做出准确的定位。没有任何外部提示告诉它“你现在应该往左转”或“你已经接近目标了”。

三、核心发现：规划鸿沟

作者评估了13个前沿模型，包括7个闭源模型（GPT系列、Gemini系列、Claude系列等）和6个开源权重模型（Qwen系列、GLM系列等）。结果呈现出一个非常清晰的模式：

1、在P2V和V2P上：最好的模型能达到50%-70%的准确率，远高于随机猜测的25%。这说明当前的模型确实具备了一定的“视图-动作”理解能力——它们知道一个动作会如何改变视角，也能够在两个视角之间反推动作序列。

2、在IVP上：表现急剧崩塌。最好的模型（Gemini 3.1 Pro）成功率仅为21.4%，多数模型低于10%，部分开源模型甚至接近0%。这个巨大的差距，作者称之为“规划鸿沟”：模型能够理解局部的、单步的视角转换，但无法将这些单步能力组合成一个多步的、目标导向的规划。

为了进一步理解这个鸿沟的来源，作者做了几组细致的分析实验：

第一，增加回合预算。将允许的最大步数从10步增加到20步、30步。结果显示，所有模型从10步到20步都有提升，但从20步到30步提升非常有限甚至停滞。这说明性能瓶颈不在于“步数不够”，而在于模型本身的规划能力——它们在10步左右就已经用尽了有效的策略，剩下的步数只是在随机游走。

第二，提升渲染质量。使用更高质量的三维高斯泼溅渲染替代原本的点云渲染，重新评估模型表现。结果显示，IVP成功率仅有微小的提升（0.2到1.9个百分点），而P2V/V2P的表现甚至出现了升降不一的情况——有的模型在P2V上大幅提升，有的在V2P上反而下降。这说明IVP的瓶颈不在于“看得清不清楚”，而在于模型“会不会规划”。

第三，分解难度维度。作者将统一视角距离分解为平移距离和旋转距离两个维度，分别分析。结果发现：P2V和V2P的难度主要来自旋转——旋转角度越大，模型表现下降越快；而IVP的难度主要来自平移——位置距离越远，成功率下降越剧烈。这说明单步理解任务考验的是“视角的旋转变换”的模拟能力，而多步规划任务更需要“在三维空间中理解布局并规划路径”的能力，两者涉及不同的认知机制。

这些分析共同指向一个结论：单步的视图-动作理解能力，并不能直接迁移到多步的视图规划任务中。因此，需要专门针对IVP设计训练方法。

四、方法：自我探索 + 视图图蒸馏

1、为什么直接强化学习行不通？

作者首先尝试了直接使用强化学习来训练一个较小的模型（Qwen2.5-VL-7B）来完成IVP任务。这是一个很自然的思路：让模型在环境中不断试错，根据最终的成功与否获得奖励，逐步优化策略。

然而，直接使用PPO训练的结果令人沮丧：成功率仅从2.5%提升到3.2%。换用GRPO并加入奖励方差过滤，也只达到5.2%。甚至采用“成功轨迹引导”的迭代方法——只把成功的轨迹收集起来做监督微调，再继续强化学习——也仅达到6.2%。

问题的根源在于奖励极度稀疏：模型初始成功率只有2.5%，意味着在100次尝试中，只有2-3次能偶然拿到正向奖励。如此稀少的学习信号，不足以驱动策略网络的梯度更新朝着正确的方向前进。传统的强化学习在面对这种“针在干草堆里”的奖励结构时，几乎注定失败。

2、核心洞察：失败轨迹也是有价值的

作者从另一个角度观察到了关键现象：即使一条轨迹最终失败了（即最后提交的坐标不在阈值内），这条轨迹本身仍然记录了有效的视角转移信息。例如，模型从视角A出发，执行了“前进、右转、前进”到达了视角B，虽然B不是目标视角，但“从A可以走到B”这一事实是成立的——动作序列与视角变化之间的对应关系是有效的。

换句话说，每一条轨迹，无论成败，都在描绘这个三维场景的“连通性”：哪些视角之间可以通过一系列动作相互到达。如果把所有轨迹汇总起来，它们共同构成了一张图——节点是不同的视角，边是连接这些视角的动作序列。这张图在结构上紧凑地编码了场景的探索知识，而构建这张图不需要任何外部监督，只需要模型与环境交互的原始记录。

3、视图图蒸馏：从图中提炼监督信号

基于这个洞察，作者提出了一个迭代训练框架，每次迭代包含两个阶段：

第一阶段：自我探索。模型在当前策略下与环境交互，执行IVP任务。所有完成的轨迹都被实时压缩进一张“视图图”中。图构建过程中会进行去重：如果两个视角的位置和角度足够接近（位置差<0.25米，角度差<15度），它们会被合并为同一个节点；如果两条边连接相同的源节点和目标节点且动作序列相同，也会被去重。这样保证了图结构的紧凑性。

视图图蒸馏。从累积的视图图中随机采样路径，对每一条路径执行一个称为“任务重标定”的操作：给定一条路径，将其转化为一个完整的IVP训练样本

关键点在于：这个转化过程不关心原始轨迹的成败。一条曾经“失败”的轨迹（比如模型本来想去找目标T，但走到了U），经过重标定后，变成了一条“从
v0到vk的成功的演示样本。这个机制使得模型能够从所有的探索经验中学习，而不仅仅是那2.5%的幸运成功。

除了主要的IVP演示数据，作者还从同一张图中生成了两种辅助监督数据：

视角距离估计：给定两个视角，预测它们之间的统一距离（以“原子动作个数”为单位）。这帮助模型建立“视角之间有多远”的度量感。

多选视角距离题：将距离估计转化为多项选择题，防止模型过拟合到单一的任务格式。

这些监督数据被用于微调模型。微调后的模型再进入下一轮的自我探索，如此迭代往复。随着模型能力的提升，探索轨迹的质量也在提升，视图图覆盖的场景区域越来越大，蒸馏出的训练数据也越来越多样化，形成了正向循环。

五、实验结果与迁移性

经过四次迭代训练，Qwen2.5-VL-7B模型在IVP上的成功率从2.5%提升到了47.8%，超过了GPT-5.4 Pro（18.5%）和Gemini 3.1 Pro（21.4%）。这一提升在各个难度分层上都得到体现：简单样本（统一距离<3）上达到67.2%，困难样本（统一距离≥3）上达到36.9%。同样的框架应用于Qwen3-VL-8B也取得了32.5%的成功率，验证了方法的跨模型泛化性。

作者还分析了训练后模型的行为变化。通过追踪每一轮探索过程中点云的覆盖情况，他们发现训练后的模型呈现出明显的“先探索后逼近”的两阶段策略：早期回合快速扩大场景覆盖率（像是在“扫视”整个房间），中期回合开始持续增加目标区域的覆盖率（定位到目标方向后开始“聚焦”）。而基线模型的表现要么是毫无章法的随机游走，要么是过早陷入局部区域。

另一个值得注意的发现是：通过IVP训练获得的“空间先验”可以迁移到其他视角相关的任务中。作者将训练后的模型和基础模型在同样的GRPO后训练条件下，分别在VIEWSUITE的P2V/V2P任务和一个外部的MindCube基准（完全不共享场景、动作空间或渲染管线）上进行微调。结果显示，预训练过IVP的模型在迁移任务上比基础模型高出8-12个百分点。这说明IVP训练学到的不只是“在VIEWSUITE里找目标”这种狭隘的技能，而是更通用的、与视角理解相关的空间认知能力。

六、与我当前工作的区别与联系

1、主要区别

任务目标不同：论文聚焦于“纯视角规划”，智能体只需要定位目标视图的拍摄位置和角度，不需要与场景中的物体进行任何交互，不需要识别或操作物体。而我的当前工作更关注[请在此处填入你的任务，例如：“在未知环境中导航到指定物体”或“理解物体之间的空间关系”或“从第一人称视角描述场景内容”]，涉及[具体能力差异，例如：“物体级别的语义理解”“路径可达性判断”“多物体交互推理”等]。

训练数据来源不同：论文采用的是“零演示”设置——完全没有人工标注的正确轨迹，模型只能从自己的探索经验中学习。这与我目前的训练方式不同——我使用的是[请填写你的数据来源，例如：“人工标注的数据集”“仿真环境中采样的专家轨迹”“从互联网爬取的图文对”等]，数据的获取成本和性质都不相同。

评估框架的差异：论文的精妙之处在于将“单步理解”和“多步规划”解耦评估，通过P2V/V2P控制住“模型是否具备基本的视图-动作知识”，再单独测量IVP的规划能力。这种诊断式评估可以帮助定位瓶颈在哪个环节。我目前的评估体系更偏向[你的评估方式，例如：“端到端的任务成功率”“消融实验对比”“人类评估”等]，粒度较粗，不容易区分“不会理解”和“不会规划”。

模型与环境的交互形式：论文中的智能体每步执行一个离散动作，然后观察更新后的视图和当前坐标。这是一种典型的“部分可观测马尔可夫决策过程”设置，状态空间是连续的六自由度位姿，观测是渲染图像。我的工作涉及的交互形式是[请描述你的交互形式，例如：“一次性输入，无多轮交互”“多轮但动作空间不同”“环境反馈形式不同”等]。

2、联系与启发

尽管任务设置不同，但论文中的几个思想对我当前的工作有直接的启发价值：

第一，从失败经验中构建结构化知识。论文中最让我印象深刻的洞察是：失败不是纯粹的浪费，失败轨迹中隐含的“状态-动作-下一状态”三元组本身是有效的环境知识。这一思路可以迁移到我的任务中——目前我在[你的任务]中只使用成功轨迹或只使用最终奖励信号进行学习，大量探索过程中的中间过渡被浪费了。我是否可以设计一种类似的结构化表示（不一定非得是图，可以是其他形式如时序抽象、选项框架等），将这些被丢弃的经验组织成可复用的知识？

第二，任务重标定的通用化思路。论文中“将任意路径重新标定为IVP演示”的操作本质上是一种基于目标重标记的数据增强。在[你的任务]中，我也可以尝试类似的思路：例如，在导航任务中，任意一条从A到B的轨迹都可以被重标定为“从A到B的成功导航样本”，即使原始目标是C。这个思想在Hindsight Experience Replay中已有体现，但在我的具体任务中如何适配（比如目标空间是什么、如何定义“距离”或“相似度”来衡量重标记的合理性），值得进一步思考。

第三，解耦评估的设计思想。论文通过P2V和V2P证明了“单步能力不等于多步能力”，这个结论在我自己的模型调试中也有迹象——有时候模型在简单案例上表现很好，但复杂序列任务上却出问题。我可能需要像这篇论文一样，设计一套更细粒度的诊断任务，将[你的任务]拆解为若干子能力，分别测试，这样才能更精准地定位瓶颈在哪一层、哪一个环节。

第四，迭代训练框架的借鉴价值。论文中“探索→图构建→蒸馏→再次探索”的循环结构与经典的“策略迭代”有相似之处，但关键区别在于中间的知识蒸馏步骤不依赖于任务成功与否，而是从图结构中采样生成监督数据。如果我在[你的任务]中也能够构建某种环境模型（例如：一个可查询的“场景图”或“拓扑地图”），那么可以尝试类似的交替训练过程，可能有助于缓解当前任务中[你遇到的具体困难，例如：“奖励稀疏导致训练不稳定”“样本效率低”等]。

七、可尝试的后续方向

基于以上阅读收获，如果时间和资源允许，我考虑在[你的任务]中尝试以下工作：

1、构建状态转移图：将探索过程中经过的状态（可以是三维位姿，也可以是其他形式的表示）和动作记录下来，构建一张稀疏的转移图，并定期采样路径作为辅助的监督信号，用于策略的离线预训练或正则化。

2、解耦评估指标：设计[你的任务]的子能力测试集，将“单步决策能力”与“多步规划能力”分开测量，更精细地分析当前模型的优势与不足。

3、探索目标重标记：借鉴Hindsight思想，在[你的任务的具体设置中]对失败轨迹进行重标记，将其转化为有效的训练数据，期望提升样本效率和最终性能。

八、小结

本篇论文在“视觉语言模型的3D空间规划能力”这一方向上做出了几点贡献：第一，构建了一个真实场景、六自由度控制、三任务递进的评测基准VIEWSUITE，并在此之上系统揭示了前沿模型存在的“规划鸿沟”；第二，提出了一个从自我探索中构建视图图并进行知识蒸馏的迭代训练框架，有效解决了稀疏奖励下的学习问题；第三，验证了由此获得的空间先验可以迁移到其他视角理解任务中。这些发现和方法设计对我理解当前的模型能力边界以及思考后续实验方向都有参考价值。