UI-Venus轨迹录制与回放逐步复盘AI智能体每一步决策的完整方法【免费下载链接】UI-VenusUI-Venus is a native UI agent designed to perform precise GUI element grounding and effective navigation using only screenshots as input.项目地址: https://gitcode.com/gh_mirrors/ui/UI-VenusUI-Venus 是一个端到端 GUI 智能体仅凭截图输入即可完成精准的界面元素定位与多步任务导航。它内置的 Venus Framework 提供了轨迹录制与回放能力智能体每一步“怎么想的、做了什么、是否成功”都会被自动记录成可追溯的轨迹文件让你像看行车记录仪一样逐步复盘 AI 智能体的决策过程。本文用最简方法讲清楚如何快速开始轨迹录制、如何读取轨迹数据、以及如何离线回放整条任务轨迹。一、先看懂轨迹智能体的“行车记录仪”一条轨迹episode由五部分构成任务目标 逐步截图序列 逐步动作序列 模型思考过程 执行结果与耗时。下面这张截图就是官方轨迹示例中的第一步画面——智能体打开夸克浏览器准备执行“查看云图片文件详情”的任务理解了这一点后面的录制和回放就会非常简单。二、快速开始轨迹录制一条命令自动保存每一步先编辑单任务配置Venus_framework/config/ui_venus_single.yaml填入设备 IDIP:端口 或 ADB 序列号和模型服务地址然后运行入口Venus_framework/main.pypython main.py \ --device-id 192.168.1.100:5555 \ --purpose 打开小红书搜索穿搭帖子 \ --trace-dir record/traces/任务结束后record/traces/下会生成一个以{时间戳}_{任务描述}_{短ID}命名的轨迹目录record/traces/20260214_153022_打开小红书_a1b2c3d4/ ├── trajectory.pkl.gz # 完整轨迹数据目标、每一步、执行结果 └── screenshots/ ├── step_001.png # 第 1 步截图 ├── step_002.png └── ...录制逻辑集中在Venus_framework/app/run_handler.py每一步都会截图、请求模型决策、执行动作并把该步数据写入轨迹。智能体支持的动作空间涵盖点击、长按、输入、滑动、拖拽、系统按键返回/主页/回车、应用启动与Finished结束标记完整定义见Venus_framework/README_CN.md。三、逐步复盘决策每一步 7 个关键字段轨迹中每一步都包含如下字段这是复盘决策的核心字段含义step/screenshot_path步数与对应截图action最终执行的动作点击/滑动/输入/返回等pred_action模型原始预测动作处理前think模型的思考过程conclusion模型对本步的结论success/timestamp/step_time动作是否执行成功、时间戳、本步耗时复盘技巧对照think和conclusion找出“想对了但做错了”的环节筛选successFalse的步定位执行失败点用step_time分析哪些步骤模型响应慢。下面这张图是同一条轨迹的后续步骤——智能体已定位到图片搜索页并输入了文件名四、批量轨迹录制多设备并行自动记录 要一次性录制大量任务轨迹用批量执行器Venus_framework/batch_runner.py配合Venus_framework/config/config_multi.yaml在Venus_framework/data/purpose.txt中每行写一个任务在配置中填入多台设备、step_limit最大步数和轨迹保存目录运行python batch_runner.py。每个任务会输出独立的task.log含模型完整思考过程、screenshots/截图目录和一份batch_report_*.json执行报告方便批量统计成功率。五、离线回放不连真机也能重跑轨迹 如果只有一组截图序列也可以在离线环境回放整条任务轨迹。准备一个与官方示例examples/trace/trace.json相同格式的任务文件同一任务目标 多张截图路径再运行scripts/run_navi.sh内部调用models/navigation/runner.pybash scripts/run_navi.sh回放器会逐步把截图喂给模型核心逻辑在models/navigation/ui_venus_navi_agent.py每步解析出think/action/conclusion将坐标从缩放尺寸还原到原图尺寸后通过export_history()导出完整历史并写入 JSON 结果文件方便你用程序化方式对比、评估每一步决策的质量。六、轨迹复盘的 3 个实用技巧设置步数上限通过配置中的ep_config.step_limit限制单任务最大步数防止轨迹失控膨胀利用内置循环检测连续 5 次相同动作滑动除外会被判定为死循环并自动终止轨迹中会记录repeat_loop终止原因复盘时重点关注temperature 设为 0确定性输出让两次回放结果可复现便于对照不同版本策略的决策差异。借助完整的基准测试成绩可以看到UI-Venus 1.5 在 ScreenSpot-Pro、VenusBench-GD、AndroidWorld 等 GUI 定位与导航基准上均达到了 SOTA 水平——而轨迹录制与回放正是让你亲手验证这些能力的最佳工具【免费下载链接】UI-VenusUI-Venus is a native UI agent designed to perform precise GUI element grounding and effective navigation using only screenshots as input.项目地址: https://gitcode.com/gh_mirrors/ui/UI-Venus创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考