ARTICLE DETAIL

资讯详情

深耕网站建设与运营推广的一线实战洞察。

LeRobot 仿真实战:如何 30 分钟跑通策略训练并落到真机

LeRobot 仿真实战:如何 30 分钟跑通策略训练并落到真机 LeRobot 仿真实战如何 30 分钟跑通策略训练并落到真机【免费下载链接】lerobot LeRobot: Making AI for Robotics more accessible with end-to-end learning项目地址: https://gitcode.com/GitHub_Trending/le/lerobot面向能跑 bash 的读者在仿真环境里完成 LeRobot 策略训练完整闭环——录演示数据、训 ACT 策略、仿真评估、真机部署。前提Python 3.12Linux/macOS50GB 磁盘。整体流水线速览录数据、训练、评估、部署一张图闭环共四步评估指标不达标时回到数据环节改造再训命令职责lerobot-record遥操作机器人录出演示 episode存成 LeRobot 数据集lerobot-train用数据集微调策略输出 checkpoint 权重lerobot-eval让策略在仿真环境中自主跑若干集输出成功率指标问题一LeRobot 仿真环境怎么搭10 分钟装好并验证环境要求不高Python 3.12、Linux 或 macOS、16GB 内存、约 50GB 磁盘装依赖与缓存数据集。NVIDIA GPU 可明显提速没有也能用 CPU 跑只是数据量大时慢一些。git clone https://gitcode.com/GitHub_Trending/le/lerobot cd lerobot conda create -y -n lerobot python3.12 conda activate lerobot conda install ffmpeg -c conda-forge # 视频解码依赖 pip install -e .[aloha,pusht,training] # 两个仿真环境 训练依赖安装后用一行命令验证环境可用python -c import gym_aloha, gym_pusht, lerobot; print(lerobot.__version__)打印出版本号依赖即齐了后续所有命令都在这个环境内执行。避坑首次安装要下载大量依赖速度取决于网络中途失败就重跑同一条pip install不要手动删环境。问题二模仿学习数据录制从哪来遥操作录制与质量自查遥操作teleop即人手动驱动机器人完成任务的过程你用手推主臂leader从臂follower跟随lerobot-record同步存下每帧画面、关节角与动作指令。一个 episode 指从开始到结束完整做完一次任务。录制组参数需要改的只有五个--robot.type/--robot.port从臂型号与串口--teleop.type遥操设备主臂型号--dataset.repo_id数据集 ID形如“用户名/数据集名”你替换为你的值--dataset.num_episodes录制集数建议 50 集起步--dataset.single_task一句话任务描述如 Grab the cubelerobot-record \ --robot.typeso100_follower --robot.port/dev/ttyACM0 \ --teleop.typeso100_leader \ --dataset.repo_id你/pick_cube \ --dataset.num_episodes50 \ --dataset.single_taskGrab the cube没有真机也可以起步直接用 Hub 上的公开数据集如lerobot/aloha_insertion替换--dataset.repo_id跳过录制。录完做两步自查每集录完程序提示 Reset the environment把物体摆回初始位姿后下一集才开始。lerobot-dataset-viz --repo_id 你/pick_cube打开可视化页抽查几集视频帧与动作曲线要对得上动作忽大忽小的坏集用lerobot-edit-dataset移除。避坑录制起不来的最常见原因是串口被占用上一轮录制残留进程或别的终端占着端口时先关掉旧进程再试。问题三ACT 策略怎么选型与训练策略选型取决于数据量按下表对号入座策略数据量需求推理速度适合场景Diffusion100 集较慢动作分布多模态、精细抓取ACT约 50 集快新手首选单臂/双臂操作TDMPC20~50 集快低维状态观测、无相机的小任务新手选 ACT50 集通常出效果单卡 GPU 训练 10 万步几小时完成默认超参不用动源码见 src/lerobot/policies/act/。训练组参数最小可跑版命令lerobot-train \ --dataset.repo_id你/pick_cube \ --policy.typeact \ --policy.devicecuda \ --output_diroutputs/train/act_pick \ --wandb.enabletrue逐行说明--dataset.repo_id要训练的数据集替换为你的数据集 ID--policy.type策略类型本例为 ACT--policy.device训练设备有 GPU 用cuda否则cpu--output_dircheckpoint 与日志输出目录--wandb.enable开启 wandb 记录实时盯loss曲线loss稳定下降即在学习。训练结束后从outputs/train/act_pick/checkpoints/目录取最新权重就是最终产物。避坑无 GPU 的机器也能用 CPU 训练但同等步数耗时数倍先跑几百步的短程试跑验证流程正确再上完整训练。问题四LeRobot 评估结果怎么看评估即把训好的策略放回仿真环境自主跑若干集。评估组参数只有三个--policy.path训练好的 checkpoint 路径step替换为你的最新 checkpoint 步数--env.type/--env.task仿真环境与具体任务--eval.n_episodes评估集数lerobot-eval \ --policy.pathoutputs/train/act_pick/checkpoints/step/pretrained_model \ --env.typealoha --env.taskAlohaInsertion-v0 \ --eval.n_episodes20 \ --policy.devicecuda输出目录里的eval_info.json三个数决定成败pc_success成功率核心判据20 集成功 15 集即 75%avg_sum_reward平均累计奖励反映完成质量与步数效率成功率相近时值更高说明完成得更稳eval_ep_s单集耗时关联真机实时性推理太慢的模型上真机会掉帧指标不达标时补数据优先于调参给每集换一种物体初始位姿场景多样性直接决定泛化能力之后才轮到--batch_size与学习率。避坑判断成败只看 pc_success成功率拉开差距前不必纠结奖励值的细微波动。问题五策略怎么部署到真机仿真 90% 成功率不等于真机 90%部署前逐项对齐三处差异差异对齐方法注意动作空间维度不同对齐相机数量、关节角/末端位姿表示维度错一位动作全乱控制频率不同--fps与训练数据集保持一致真机常见 10~30Hz观测维度不同用lerobot-info核对数据集特征训练用过的观测项必须都在部署走lerobot-rollout。部署组参数--strategy.type执行策略、--policy.path权重路径、--robot.type/--robot.port真机型号与串口、--task任务描述与训练一致、--duration单次运行秒数。lerobot-rollout \ --strategy.typebase \ --policy.pathoutputs/train/act_pick/checkpoints/step/pretrained_model \ --robot.typeso100_follower --robot.port/dev/ttyACM0 \ --taskGrab the cube --duration30两条实操建议首跑加--display_datatrue在 Rerun 窗口盯动作曲线确认夹爪与关节平滑动作卡顿开--use_torch_compiletrue提升推理速度。常见问题速查四类排障表现象可能原因处理import 验证报缺模块ffmpeg 或 extras 未装全重跑conda install ffmpeg -c conda-forge与 extras 安装命令录制打不开串口串口被占用或端口名错误核对端口名关闭占用端口的旧进程后重试某几集动作曲线混乱物体未摆回初始位姿 / 录制中碰撞lerobot-dataset-viz抽查lerobot-edit-dataset移除坏集评估成功率偏低数据场景多样性不足每集变换物体初始位姿补数据数据够再调参仿真流畅真机卡顿动作维度或控制频率不一致用lerobot-info核对三项对齐--fps与训练一致训练进度过慢使用 CPU 训练切换--policy.devicecuda无 GPU 先短程试跑下一步去哪延伸阅读你的方向直达入口深入各策略原理与训练配方docs/source/api/policies.mdx 与 src/lerobot/policies/多卡分布式训练docs/source/multi_gpu_training.mdx结合强化学习继续进化docs/source/hilserl.mdx 与 src/lerobot/rl/更多参数说明见 docs/source/卡住先查文档再动手。【免费下载链接】lerobot LeRobot: Making AI for Robotics more accessible with end-to-end learning项目地址: https://gitcode.com/GitHub_Trending/le/lerobot创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考
返回列表