SO-101 Robot From Sim-to-Real With NVIDIA Isaac
什么是sim-to-real
sim-to-real 定义
Sim-to-real 指的是在仿真环境中训练策略并将其部署到真实硬件上的过程。目标是获得一种策略，尽管它完全（或主要）是在仿真环境中训练的，但在现实世界中也能表现良好。
Sim-to-Real之间的差距
Sim-to-real 是模拟和实际性能之间的差异。在模拟中成功率很高的策略，在实际硬件上的性能可能明显更差。
仿真与实际之间的差距通常比预期的要大。虽然我们日常讨论“差距”时可能将其视为一个单一的整体，但实际上，差距是传感、执行、物理和建模等多个方面差距的复杂组合。
切勿想当然地认为某种策略在未经系统测试和迭代的情况下就能在实际硬件上“正常运行”。
差距的来源
感知差距
- 相机模型缺乏真实的传感器噪声、模糊和畸变；
- 深度传感器提供的是理想化的测量结果，不存在伪影；
- 模拟光照与真实光照条件存在差异。
执行差距
- 电机模型忽略了摩擦、反冲和热效应；
- 关节动力学被简化；
- 控制回路时序在仿真和硬件之间存在差异。
物理学差距
- 接触动力学（摩擦、恢复）是近似值；
- 可变形物体难以精确模拟；
- 流体动力学和颗粒材料的计算成本很高。
建模差距
- CAD模型与实际建造的硬件存在差异，
- 质量和惯性特性均为估算值。
Sim-to-Real 转换的难点在哪里?
Sim-to-Real不仅仅关乎仿真保真度。即使仿真完美，数据迁移仍然面临挑战，因为：
- 分布偏移：现实世界的情况与训练条件存在差异；
- 误差累积：微小的感知误差会导致较大的行动误差；
- 未建模的动态：真实的物理现象可能在模拟中无法体现；
- 时间差异：实时约束会影响行为。