拓冰网站定制 
IsaacLab 环境包装器指南用 Wrapper 扩展 RL 环境、录制视频并适配主流学习框架【免费下载链接】IsaacLabUnified framework for robot learning built on NVIDIA Isaac Sim项目地址: https://gitcode.com/GitHub_Trending/is/IsaacLab环境包装器Environment Wrapper是 IsaacLab 中在不修改环境本身的前提下改变其行为的标准手段修改观测与奖励、录制视频、施加时序约束、把环境转换成各强化学习框架期望的接口等。本文基于仓库中的 Wrapping environments 文档 展开结合 isaaclab_rl 扩展 中的真实包装器实现SB3、RSL-RL、SKRL、RL-Games讲清包装器的使用方式、视频录制的完整配置链路以及为框架编写新包装器的规范。读完本文你将能够用gymnasium.Wrapper对任意 IsaacLab 环境做行为包装用RecordVideo在无头headless模式下录制环境视频并正确配置视口相机用仓库内置的框架包装器把环境接入 Stable-Baselines3 等学习框架并按照仓库规范在isaaclab_rl中新增自己的包装器。包装器基本原理与适用环境包装器的核心思想是包装一个环境实例而不是改环境代码。典型用途包括对观测或奖励施加变换函数如归一化、裁剪、拼接录制环境运行视频强制调用时序约束如 step 之前必须先 reset将环境数据格式与接口转换成特定学习框架的要求。API 细节对应gymnasium.Wrapper类。就兼容性而言所有继承自ManagerBasedRLEnv或DirectRLEnv的 RL 环境都与gymnasium.Wrapper兼容因为基类实现了gymnasium.Env接口。使用方法是先初始化基础环境然后可以反复调用env wrapper(env, *args, **kwargs)叠加任意多个包装器。一个典型的例子——强制在step或render之前先调用resetLaunch Isaac Sim Simulator first. from isaaclab.app import AppLauncher # launch omniverse app in headless mode app_launcher AppLauncher(headlessTrue) simulation_app app_launcher.app Rest everything follows. import gymnasium as gym import isaaclab_tasks # noqa: F401 from isaaclab_tasks.utils import load_cfg_from_registry # create base environment cfg load_cfg_from_registry(Isaac-Reach-Franka-v0, env_cfg_entry_point) env gym.make(Isaac-Reach-Franka-v0, cfgcfg) # wrap environment to enforce that reset is called before step env gym.wrappers.OrderEnforcing(env)这里import isaaclab_tasks的作用是触发任务注册使gym.make能通过注册表找到Isaac-Reach-Franka-v0load_cfg_from_registry则从注册表中取出该任务的环境配置对象。视频录制RecordVideo 包装器gymnasium.wrappers.RecordVideo包装器用于录制环境视频。它接受video_dir参数指定保存位置视频以MP4格式保存并按指定的步数间隔step_trigger与视频时长video_length以环境步数计进行录制。使用前提是先安装ffmpeg在 Ubuntu 上执行sudo apt-get install ffmpeg无头模式下的渲染开关与性能需要注意默认在无头模式下运行时Omniverse 视口是被禁用的以避免不必要的渲染开销。不同渲染模式下的性能差异官方文档以 RTX 3090 上运行Isaac-Reach-Franka-v0环境为例渲染模式帧率无 GUI 且未开启离屏渲染off-screen rendering约 65,000 FPS无 GUI 且开启离屏渲染约 57,000 FPSGUI 全量渲染约 13,000 FPS因此如果只需要物理仿真速度保持离屏渲染关闭即可要录制视频则必须启用离屏渲染通过AppLauncher的enable_camerasTrue这会带来约 12% 左右的帧率损失但换来可视输出能力。配置视口相机ViewerCfg用于渲染的视口相机是场景中的默认相机其 prim 路径为/OmniverseKit_Persp。相机的位姿与图像分辨率通过 ViewerCfg 类配置。从 common.py 源码可以看到其完整字段与默认值字段默认值说明eye(7.5, 7.5, 7.5)相机初始位置米lookat(0.0, 0.0, 0.0)相机目标位置米cam_prim_path/OmniverseKit_Persp取图的相机 prim 路径默认为视口默认相机resolution(1280, 720)图像分辨率宽, 高origin_typeworldeye/lookat所定义的坐标系可选world、env、asset_root、asset_bodyenv_index0坐标系为环境/资产时对应的环境索引asset_nameNone坐标系为asset_root/asset_body时的资产名body_nameNone坐标系为asset_body时的刚体名从源码结构看ViewerCfg目前已被标记为弃用DeprecationWarning未来版本会与KitVisualizerCfg合并源码中__post_init__会对非默认字段配置触发告警。因此在编写新代码时应留意仓库后续版本对该配置的替代方式。完整录制示例调整相机参数后用RecordVideo包装环境即可录制成片。下面示例对Isaac-Reach-Franka-v0环境录制一段 200 步的视频保存到videos/train文件夹每 1500 步触发一次录制Launch Isaac Sim Simulator first. from isaaclab.app import AppLauncher # launch omniverse app in headless mode with off-screen rendering app_launcher AppLauncher(headlessTrue, enable_camerasTrue) simulation_app app_launcher.app Rest everything follows. import gymnasium as gym # adjust camera resolution and pose env_cfg.viewer.resolution (640, 480) env_cfg.viewer.eye (1.0, 1.0, 1.0) env_cfg.viewer.lookat (0.0, 0.0, 0.0) # create isaac-env instance # set render mode to rgb_array to obtain images on render calls env gym.make(task_name, cfgenv_cfg, render_modergb_array) # wrap for video recording video_kwargs { video_folder: videos/train, step_trigger: lambda step: step % 1500 0, video_length: 200, } env gym.wrappers.RecordVideo(env, **video_kwargs)三个关键点AppLauncher(headlessTrue, enable_camerasTrue)无头但启用离屏渲染这是视频录制的前置条件render_modergb_array使render()调用返回图像数组RecordVideo依赖该模式逐帧取图step_trigger以step % 1500 0控制触发时机video_length决定单次录制的步数。仓库还提供了相机输出的相关扩展能力如 save_camera_output 文档可对照参考而针对如何录制动画的场景则见 record_animation 文档。面向学习框架的包装器各学习框架与环境交互的 API 各不相同Stable-Baselines3 使用gym.Env接口而 RL-Games、RSL-RL、SKRL 等则各自定义环境接口。由于没有一种接口通吃所有框架的方案ManagerBasedRLEnv与DirectRLEnv故意不基于任何特定框架的环境定义而是通过包装器把环境转换成目标框架期望的形式。以 Stable-Baselines3 为例from isaaclab_rl.sb3 import Sb3VecEnvWrapper # create isaac-env instance env gym.make(task_name, cfgenv_cfg) # wrap around environment for stable baselines env Sb3VecEnvWrapper(env)注意原文档中的关键告诫学习框架的包装器应当作为包装链的最后一环施加即在所有其他包装器之后。因为框架包装器会改变环境 API 的语义其结果可能不再与gymnasium.Env兼容。源码印证各框架包装器做了什么isaaclab_rl扩展的 模块文档 明确说明包装器除改变观测/动作空间与奖励外还负责处理非对称 actor-critic 观测、numpy与pytorch后端之间的数据转换以及整理成框架期望的数据结构。对照仓库中的具体实现Stable-Baselines3Sb3VecEnvWrapper 继承 SB3 的VecEnv而非gymnasium.Wrapper。由于 IsaacLab 内部已是向量化环境但仍是单个环境实例若不做此包装SB3 会用DummyVecEnv再包一层。其实现细节包括只取obs_dict[policy]作为观测SB3 不支持非对称观测空间、把 torch 张量转 numpy、对终止环境在step()内部完成重置并把真正的末态观测放入 info 的terminal_observation以及维护episode的累积回报与长度用于监控。由于 Isaac Sim 物理步进的特性无法在不执行物理步的情况下预取缓冲区因此终止环境的观测是重置之后的观测——这是该类文档中明确的语义约定。RSL-RLRslRlVecEnvWrapper 继承 RSL-RL 的VecEnv构造时即调用reset()因为 RSL-RL 的 runner 不会调用 reset并支持clip_actions对动作空间做裁剪同样要求作为包装链最后一环。SKRLSkrlVecEnvWrapper 是一个函数而非类内部转调 skrl 库自带的wrap_env(env, wrapper)支持torch/jax/warp三种后端并支持isaaclab自动判断单/多智能体、isaaclab-single-agent、isaaclab-multi-agent三种包装模式。RL-Games包装器位于 rl_games/rl_games.py。所有框架包装器在构造时都做了同一类防御性检查通过env.unwrapped取到底层环境断言其为ManagerBasedRLEnv/DirectRLEnv以及实验性的 Warp 变体的实例否则抛出ValueError。新增包装器规范仓库对新包装器有明确约定归属位置所有新包装器都应加入 isaaclab_rl 模块类型检查应用包装器前先检查底层环境是ManagerBasedRLEnv或DirectRLEnv的实例做法是使用unwrapped属性剥离已有的包装层后做isinstance判断——仓库内 sb3.py 与 vecenv_wrapper.py 都是现成模板贡献路径参考模块中已有包装器的写法实现自己的版本并通过 pull request 回馈给框架。此外各框架的训练/播放脚本如 train_sb3.py、train.py展示了这些包装器在标准工作流中的接入位置可作为新包装器集成方式的上层参考。小结IsaacLab 的包装器体系可以归纳为三层通用层任何ManagerBasedRLEnv/DirectRLEnv环境都兼容gymnasium.Wrapper可反复叠加OrderEnforcing等通用包装器能力层RecordVideo等包装器提供视频录制等具体能力需配合enable_camerasTrue、render_modergb_array与ViewerCfg完成配置适配层isaaclab_rl中的框架包装器SB3/RSL-RL/SKRL/RL-Games负责数据格式与接口语义转换必须置于包装链末端且实现上统一通过unwrapped校验底层环境类型。按此分层理解并遵循仓库既有实现模式即可安全地为任意 IsaacLab 环境扩展自定义行为或接入新的学习框架。【免费下载链接】IsaacLabUnified framework for robot learning built on NVIDIA Isaac Sim项目地址: https://gitcode.com/GitHub_Trending/is/IsaacLab创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 IsaacLab 环境包装器指南：用 Wrapper 扩展 RL 环境、录制视频并适配主流学习框架
IsaacLab 环境包装器指南用 Wrapper 扩展 RL 环境、录制视频并适配主流学习框架【免费下载链接】IsaacLabUnified framework for robot learning built on NVIDIA Isaac Sim项目地址: https://gitcode.com/GitHub_Trending/is/IsaacLab环境包装器Environment Wrapper是 IsaacLab 中在不修改环境本身的前提下改变其行为的标准手段修改观测与奖励、录制视频、施加时序约束、把环境转换成各强化学习框架期望的接口等。本文基于仓库中的 Wrapping environments 文档 展开结合 isaaclab_rl 扩展 中的真实包装器实现SB3、RSL-RL、SKRL、RL-Games讲清包装器的使用方式、视频录制的完整配置链路以及为框架编写新包装器的规范。读完本文你将能够用gymnasium.Wrapper对任意 IsaacLab 环境做行为包装用RecordVideo在无头headless模式下录制环境视频并正确配置视口相机用仓库内置的框架包装器把环境接入 Stable-Baselines3 等学习框架并按照仓库规范在isaaclab_rl中新增自己的包装器。包装器基本原理与适用环境包装器的核心思想是包装一个环境实例而不是改环境代码。典型用途包括对观测或奖励施加变换函数如归一化、裁剪、拼接录制环境运行视频强制调用时序约束如 step 之前必须先 reset将环境数据格式与接口转换成特定学习框架的要求。API 细节对应gymnasium.Wrapper类。就兼容性而言所有继承自ManagerBasedRLEnv或DirectRLEnv的 RL 环境都与gymnasium.Wrapper兼容因为基类实现了gymnasium.Env接口。使用方法是先初始化基础环境然后可以反复调用env wrapper(env, *args, **kwargs)叠加任意多个包装器。一个典型的例子——强制在step或render之前先调用resetLaunch Isaac Sim Simulator first. from isaaclab.app import AppLauncher # launch omniverse app in headless mode app_launcher AppLauncher(headlessTrue) simulation_app app_launcher.app Rest everything follows. import gymnasium as gym import isaaclab_tasks # noqa: F401 from isaaclab_tasks.utils import load_cfg_from_registry # create base environment cfg load_cfg_from_registry(Isaac-Reach-Franka-v0, env_cfg_entry_point) env gym.make(Isaac-Reach-Franka-v0, cfgcfg) # wrap environment to enforce that reset is called before step env gym.wrappers.OrderEnforcing(env)这里import isaaclab_tasks的作用是触发任务注册使gym.make能通过注册表找到Isaac-Reach-Franka-v0load_cfg_from_registry则从注册表中取出该任务的环境配置对象。视频录制RecordVideo 包装器gymnasium.wrappers.RecordVideo包装器用于录制环境视频。它接受video_dir参数指定保存位置视频以MP4格式保存并按指定的步数间隔step_trigger与视频时长video_length以环境步数计进行录制。使用前提是先安装ffmpeg在 Ubuntu 上执行sudo apt-get install ffmpeg无头模式下的渲染开关与性能需要注意默认在无头模式下运行时Omniverse 视口是被禁用的以避免不必要的渲染开销。不同渲染模式下的性能差异官方文档以 RTX 3090 上运行Isaac-Reach-Franka-v0环境为例渲染模式帧率无 GUI 且未开启离屏渲染off-screen rendering约 65,000 FPS无 GUI 且开启离屏渲染约 57,000 FPSGUI 全量渲染约 13,000 FPS因此如果只需要物理仿真速度保持离屏渲染关闭即可要录制视频则必须启用离屏渲染通过AppLauncher的enable_camerasTrue这会带来约 12% 左右的帧率损失但换来可视输出能力。配置视口相机ViewerCfg用于渲染的视口相机是场景中的默认相机其 prim 路径为/OmniverseKit_Persp。相机的位姿与图像分辨率通过 ViewerCfg 类配置。从 common.py 源码可以看到其完整字段与默认值字段默认值说明eye(7.5, 7.5, 7.5)相机初始位置米lookat(0.0, 0.0, 0.0)相机目标位置米cam_prim_path/OmniverseKit_Persp取图的相机 prim 路径默认为视口默认相机resolution(1280, 720)图像分辨率宽, 高origin_typeworldeye/lookat所定义的坐标系可选world、env、asset_root、asset_bodyenv_index0坐标系为环境/资产时对应的环境索引asset_nameNone坐标系为asset_root/asset_body时的资产名body_nameNone坐标系为asset_body时的刚体名从源码结构看ViewerCfg目前已被标记为弃用DeprecationWarning未来版本会与KitVisualizerCfg合并源码中__post_init__会对非默认字段配置触发告警。因此在编写新代码时应留意仓库后续版本对该配置的替代方式。完整录制示例调整相机参数后用RecordVideo包装环境即可录制成片。下面示例对Isaac-Reach-Franka-v0环境录制一段 200 步的视频保存到videos/train文件夹每 1500 步触发一次录制Launch Isaac Sim Simulator first. from isaaclab.app import AppLauncher # launch omniverse app in headless mode with off-screen rendering app_launcher AppLauncher(headlessTrue, enable_camerasTrue) simulation_app app_launcher.app Rest everything follows. import gymnasium as gym # adjust camera resolution and pose env_cfg.viewer.resolution (640, 480) env_cfg.viewer.eye (1.0, 1.0, 1.0) env_cfg.viewer.lookat (0.0, 0.0, 0.0) # create isaac-env instance # set render mode to rgb_array to obtain images on render calls env gym.make(task_name, cfgenv_cfg, render_modergb_array) # wrap for video recording video_kwargs { video_folder: videos/train, step_trigger: lambda step: step % 1500 0, video_length: 200, } env gym.wrappers.RecordVideo(env, **video_kwargs)三个关键点AppLauncher(headlessTrue, enable_camerasTrue)无头但启用离屏渲染这是视频录制的前置条件render_modergb_array使render()调用返回图像数组RecordVideo依赖该模式逐帧取图step_trigger以step % 1500 0控制触发时机video_length决定单次录制的步数。仓库还提供了相机输出的相关扩展能力如 save_camera_output 文档可对照参考而针对如何录制动画的场景则见 record_animation 文档。面向学习框架的包装器各学习框架与环境交互的 API 各不相同Stable-Baselines3 使用gym.Env接口而 RL-Games、RSL-RL、SKRL 等则各自定义环境接口。由于没有一种接口通吃所有框架的方案ManagerBasedRLEnv与DirectRLEnv故意不基于任何特定框架的环境定义而是通过包装器把环境转换成目标框架期望的形式。以 Stable-Baselines3 为例from isaaclab_rl.sb3 import Sb3VecEnvWrapper # create isaac-env instance env gym.make(task_name, cfgenv_cfg) # wrap around environment for stable baselines env Sb3VecEnvWrapper(env)注意原文档中的关键告诫学习框架的包装器应当作为包装链的最后一环施加即在所有其他包装器之后。因为框架包装器会改变环境 API 的语义其结果可能不再与gymnasium.Env兼容。源码印证各框架包装器做了什么isaaclab_rl扩展的 模块文档 明确说明包装器除改变观测/动作空间与奖励外还负责处理非对称 actor-critic 观测、numpy与pytorch后端之间的数据转换以及整理成框架期望的数据结构。对照仓库中的具体实现Stable-Baselines3Sb3VecEnvWrapper 继承 SB3 的VecEnv而非gymnasium.Wrapper。由于 IsaacLab 内部已是向量化环境但仍是单个环境实例若不做此包装SB3 会用DummyVecEnv再包一层。其实现细节包括只取obs_dict[policy]作为观测SB3 不支持非对称观测空间、把 torch 张量转 numpy、对终止环境在step()内部完成重置并把真正的末态观测放入 info 的terminal_observation以及维护episode的累积回报与长度用于监控。由于 Isaac Sim 物理步进的特性无法在不执行物理步的情况下预取缓冲区因此终止环境的观测是重置之后的观测——这是该类文档中明确的语义约定。RSL-RLRslRlVecEnvWrapper 继承 RSL-RL 的VecEnv构造时即调用reset()因为 RSL-RL 的 runner 不会调用 reset并支持clip_actions对动作空间做裁剪同样要求作为包装链最后一环。SKRLSkrlVecEnvWrapper 是一个函数而非类内部转调 skrl 库自带的wrap_env(env, wrapper)支持torch/jax/warp三种后端并支持isaaclab自动判断单/多智能体、isaaclab-single-agent、isaaclab-multi-agent三种包装模式。RL-Games包装器位于 rl_games/rl_games.py。所有框架包装器在构造时都做了同一类防御性检查通过env.unwrapped取到底层环境断言其为ManagerBasedRLEnv/DirectRLEnv以及实验性的 Warp 变体的实例否则抛出ValueError。新增包装器规范仓库对新包装器有明确约定归属位置所有新包装器都应加入 isaaclab_rl 模块类型检查应用包装器前先检查底层环境是ManagerBasedRLEnv或DirectRLEnv的实例做法是使用unwrapped属性剥离已有的包装层后做isinstance判断——仓库内 sb3.py 与 vecenv_wrapper.py 都是现成模板贡献路径参考模块中已有包装器的写法实现自己的版本并通过 pull request 回馈给框架。此外各框架的训练/播放脚本如 train_sb3.py、train.py展示了这些包装器在标准工作流中的接入位置可作为新包装器集成方式的上层参考。小结IsaacLab 的包装器体系可以归纳为三层通用层任何ManagerBasedRLEnv/DirectRLEnv环境都兼容gymnasium.Wrapper可反复叠加OrderEnforcing等通用包装器能力层RecordVideo等包装器提供视频录制等具体能力需配合enable_camerasTrue、render_modergb_array与ViewerCfg完成配置适配层isaaclab_rl中的框架包装器SB3/RSL-RL/SKRL/RL-Games负责数据格式与接口语义转换必须置于包装链末端且实现上统一通过unwrapped校验底层环境类型。按此分层理解并遵循仓库既有实现模式即可安全地为任意 IsaacLab 环境扩展自定义行为或接入新的学习框架。【免费下载链接】IsaacLabUnified framework for robot learning built on NVIDIA Isaac Sim项目地址: https://gitcode.com/GitHub_Trending/is/IsaacLab创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考