Unity强化学习实战：基于ML-Agents的机器人跳跃控制与奖励函数设计

发布时间：2026/7/30 13:47:31

1. 项目概述：当Unity遇上强化学习，让机器人学会优雅跳跃

最近在折腾一个挺有意思的项目，叫“Unity-RL-Playground”，简单说，就是在Unity引擎里搭建一个虚拟游乐场，用强化学习（RL）来训练一个机器人，目标是让它学会“跳跃”这个动作。听起来是不是有点像在游戏里教AI角色玩跑酷？但背后的逻辑远比游戏复杂。这个项目的核心挑战在于，如何让一个由关节和刚体组成的虚拟机器人，从一堆随机扭动的“智障”状态，通过与环境交互，最终稳定、高效地完成指定高度的跳跃动作。

这不仅仅是让机器人“跳起来”那么简单。一个成功的跳跃，需要机器人协调腿部多个关节（比如髋关节、膝关节、踝关节）的发力时机、力度和顺序，同时还要在起跳、腾空、落地三个阶段保持身体平衡。在Unity的物理引擎模拟下，这涉及到复杂的动力学计算。而强化学习，正是让机器人在无数次“试错”中，自己摸索出这套最优策略的绝佳工具。这个项目非常适合对机器人控制、游戏AI、机器学习交叉领域感兴趣的开发者，无论是想入门RL实战，还是希望将AI能力集成到3D仿真环境中，都能从这里获得一手经验。

2. 项目核心架构与工具链选型解析

2.1 为什么选择Unity作为RL训练平台？

在机器人仿真训练领域，MuJoCo、PyBullet是更传统的选择，但Unity有其独特的优势。首先，Unity提供了极其强大和易用的3D渲染与物理引擎（PhysX），能够创建高度逼真、视觉丰富的训练环境。这对于需要复杂感知（如视觉输入）的RL任务后期扩展至关重要。其次，Unity的生态系统庞大，资源丰富，搭建一个包含地形、障碍物、视觉效果的“Playground”比从零开始用其他引擎或库要快得多。最后，Unity ML-Agents工具包的出现，极大地降低了在Unity中使用RL的门槛，它提供了与主流RL框架（如PyTorch、TensorFlow）无缝对接的桥梁。

在这个跳跃机器人项目中，我们利用Unity构建了一个简单的训练场景：一个平坦的地面，和一个基于ArticulationBody（Unity用于模拟机器人关节的高级物理组件）构建的双足或四足机器人模型。ArticulationBody比传统的Rigidbody更适合机器人仿真，因为它提供了更精确的关节控制，如位置、速度或力控，并且能更好地模拟关节限位、摩擦等物理特性。

2.2 强化学习框架与训练模式抉择

训练的核心是RL算法。对于连续控制任务，如机器人跳跃，主流的算法包括PPO（近端策略优化）、SAC（柔性演员-评论家）和DDPG（深度确定性策略梯度）。在Unity ML-Agents中，PPO因其稳定性和易于调参而成为默认和推荐的首选，尤其适合初学者和中等复杂度的任务。

我们的训练模式采用“离策略”的异步训练架构。具体流程是：

Unity环境作为Worker：一个或多个Unity实例（可以同时运行多个以加速数据收集）中的机器人代理（Agent）与环境交互，根据当前策略（神经网络）选择动作（如给每个关节施加的扭矩），并收集经验数据（状态、动作、奖励、下一状态）。
Python端作为Trainer：通过ML-Agents的Python API，这些经验数据被发送到后台运行的Python进程。在这里，我们使用PyTorch实现的PPO算法，利用收集到的数据批量更新策略网络和价值网络。
策略同步：更新后的神经网络参数被推送回Unity环境中的Agent，指导其产生更优的行为。

这种架构分离了仿真环境和训练逻辑，使得我们可以利用Python丰富的机器学习生态进行算法迭代，同时享受Unity强大的实时仿真能力。

3. 奖励函数设计：教会机器人“什么是好的跳跃”

奖励函数是强化学习中的“指挥棒”，它告诉机器人什么行为是值得鼓励的，什么是应该避免的。设计一个好的奖励函数，是项目成功与否的关键，甚至比选择算法更重要。对于跳跃任务，我们不能简单地给“跳起来”一个稀疏奖励，那样训练效率极低。我们需要设计一个密集奖励函数，将跳跃这个复杂目标分解成多个可量化的子目标。

3.1 跳跃任务奖励函数拆解

我们设计的奖励函数R_total由以下几个部分组成，每个部分都对应跳跃的一个关键方面：

R_total = R_height + R_balance + R_energy + R_survival + R_penalty

3.1.1 高度奖励 (R_height)这是最核心的奖励，鼓励机器人跳得高。但我们不能只奖励最终高度，还要奖励上升的趋势。

# 伪代码示例 current_height = robot_base.position.y max_height_this_episode = max(max_height_this_episode, current_height) # 奖励当前高度与初始高度的差值，并给予达到历史新高的额外奖励 height_reward = (current_height - initial_height) * height_scale if current_height > max_height_this_episode: height_reward += new_record_bonus R_height = height_reward

注意：height_scale是一个需要调优的超参数。过大会让机器人过于激进，可能失去平衡；过小则学习速度慢。

3.1.2 平衡奖励 (R_balance)跳跃过程中和落地后，机器人的躯干（通常以骨盆或身体核心为基准）应尽量保持直立。我们用躯干向上向量与世界空间竖直向量的点积来衡量。

# 躯干向上向量与世界“上”向量(0,1,0)的点积，越接近1越直立 upness = Vector3.Dot(torso.up, Vector3.up) # 当upness接近1时，奖励接近最大值；当倾斜严重时，奖励锐减甚至为负 balance_reward = upness * balance_scale R_balance = balance_reward

这个奖励能有效防止机器人在空中“翻跟头”或落地时摔倒。

3.1.3 能量效率奖励 (R_energy) / 惩罚我们不希望机器人通过疯狂地、无意义地抖动关节来跳跃，那是不高效且不符合物理直觉的。因此，我们对关节施加的扭矩进行惩罚，鼓励用最少的“力气”完成动作。

# 计算所有驱动关节的扭矩绝对值之和 total_torque = sum(abs(joint_force)) for all driven joints energy_penalty = - total_torque * energy_scale # 这是一个负奖励，即惩罚 R_energy = energy_penalty

3.1.4 存活奖励 (R_survival)为了鼓励智能体尽可能长时间地探索和尝试，我们可以给予一个每步都有的微小正奖励。这能防止智能体因为早期探索失败获得负奖励而陷入“躺平”什么都不做的状态。

R_survival = tiny_positive_reward_per_step

3.1.5 失败惩罚 (R_penalty)当机器人摔倒（如躯干高度过低、倾斜角过大）或任务超时时，给予一个较大的负奖励（如-1），并终止当前回合（episode）。这明确划定了失败边界。

3.2 奖励塑形与权重调优心得

奖励函数中各部分的权重（height_scale,balance_scale,energy_scale）是调参的重点。我的经验是：

初期：可以适当提高R_height和R_survival的权重，让机器人先有动力动起来，去尝试跳跃，哪怕姿势怪异。
中期：当机器人能跳起来但不稳定时，逐步增加R_balance的权重，并引入R_energy惩罚，引导其寻找更优雅、高效的跳跃策略。
后期：微调权重，在高度、稳定性和能量消耗之间取得平衡。有时候，R_energy惩罚不宜过大，否则机器人会变得“懒惰”，跳不高。

一个常见的陷阱是奖励函数设计存在“漏洞”。例如，如果只奖励高度，机器人可能会发现，通过向后仰倒并用力蹬地，虽然姿势难看且最终摔倒，但在摔倒前瞬间能达到很高的高度，从而获得高奖励。这就需要R_balance和R_penalty来共同约束这种行为。

4. 观察空间与动作空间定义：机器人的“感官”与“肢体”

4.1 观察空间设计：给算法提供什么信息？

观察空间是机器人感知自身状态和环境的方式。我们提供给神经网络的状态信息必须包含足够决策的信息，但又不能冗余。对于跳跃任务，一个典型的观察向量可能包括：

观察项	描述	维度	说明
躯干相对旋转	躯干相对于世界坐标系的旋转（四元数或欧拉角）	3或4	感知自身姿态
躯干角速度	躯干在三个轴上的旋转速度	3	感知旋转趋势
关节位置	每个驱动关节的当前角度（归一化到[-1,1]）	N	N为驱动关节数
关节速度	每个驱动关节的当前角速度（归一化）	N
足端接触信息	每个足部是否与地面接触（布尔值或0/1）	M	M为足部数量，对判断起跳、落地相位至关重要
目标高度/速度	跳跃的目标高度或方向（可选）	1或3	用于泛化到不同任务

实操要点：

归一化：将所有观察值归一化到相近的范围（如[-1, 1]或[0, 1]），可以加速神经网络训练，提高稳定性。
历史帧：有时，仅提供当前一帧的观察是不够的。例如，机器人需要知道速度（位置的变化趋势）。ML-Agents支持自动堆叠历史帧观察，通常堆叠3-5帧就能让策略感知到运动趋势。
视觉观察：对于更复杂的任务，可以添加摄像头渲染的图片作为视觉输入。但本项目中，低维的向量观察已足够，且训练速度远快于视觉输入。

4.2 动作空间定义：机器人如何执行命令？

动作空间定义了机器人可以做什么。对于关节驱动，通常是连续空间。

动作类型：我们选择连续动作，输出一个介于[-1, 1]之间的向量。
动作含义：这个向量的每个维度对应一个驱动关节的目标。我们需要将其映射为关节的实际控制信号。常见有两种方式：
1. 目标位置控制：将网络输出映射到关节的目标角度。需要设置合理的角度范围。
2. 目标速度/力控：将网络输出映射为关节的角速度或扭矩。力控更符合物理直觉，但可能更难训练。

在Unity ML-Agents中，可以在Agent的Heuristic方法中测试动作映射：

// 示例：将动作值转换为关节的力控信号 public override void Heuristic(float[] actionsOut) { // 假设actionsOut[0]对应髋关节，actionsOut[1]对应膝关节 // 将[-1,1]映射到具体的扭矩值，例如[-100Nm, 100Nm] float hipTorque = actionsOut[0] * 100f; float kneeTorque = actionsOut[1] * 100f; // 应用扭矩到对应的ArticulationBody驱动 hipJoint.SetDriveTarget(DriveType.Force, hipTorque); kneeJoint.SetDriveTarget(DriveType.Force, kneeTorque); }

在训练时，这个映射关系由Decision Requester组件和神经网络自动完成。

5. 训练流程优化与超参数调校实战

5.1 训练配置详解

ML-Agents使用一个YAML配置文件来定义训练超参数。以下是一个针对跳跃任务优化的PPO配置示例：

behaviors: JumpingRobot: trainer_type: ppo hyperparameters: batch_size: 1024 # 每次参数更新使用的经验数据量 buffer_size: 10240 # 经验回放缓冲区大小，通常为batch_size的5-10倍 learning_rate: 3.0e-4 # 学习率，初始尝试可以从这里开始 beta: 5.0e-3 # 策略熵的权重，鼓励探索，后期可减小 epsilon: 0.2 # PPO裁剪参数，限制单次更新幅度，稳定训练 lambd: 0.95 # GAE（广义优势估计）参数 num_epoch: 3 # 每次更新时，对同一批数据执行梯度下降的轮数 learning_rate_schedule: linear # 学习率衰减计划 network_settings: normalize: true # 自动归一化观察输入，非常重要！ hidden_units: 128 # 神经网络隐藏层大小 num_layers: 2 # 隐藏层数量 reward_signals: extrinsic: gamma: 0.99 # 奖励折扣因子，越接近1越考虑长远回报 strength: 1.0 # 外部奖励（即我们设计的奖励函数）的权重 max_steps: 5.0e6 # 最大训练步数 time_horizon: 64 # 每个Agent在更新前最多收集的步数 summary_freq: 10000 # 每隔多少步记录一次训练数据

关键参数解读与调优心得：

batch_size与buffer_size：较大的batch有助于稳定梯度，但消耗更多内存。buffer_size需要足够大以包含多样化的经验。
learning_rate：这是最重要的参数之一。如果奖励曲线不上升或震荡剧烈，首先尝试降低学习率（如改为1.0e-4）。
beta（熵系数）：训练初期可以设大一点（如1.0e-2）鼓励探索，让机器人尝试各种奇怪的动作。随着训练进行，可以线性衰减到更小的值（如1.0e-3），让策略趋于确定和优化。ML-Agents支持在配置中设置beta_schedule。
time_horizon：这个参数需要与奖励函数配合。如果奖励非常密集，可以设小一点（如32）；如果奖励稀疏，需要设大一点，让Agent能看到更长期的后果。
gamma：对于跳跃这种相对短期的任务，0.99是常用值。如果任务步骤很长，可以考虑降低。

5.2 分布式训练与课程学习

并行多个环境：这是加速训练最有效的方法。你可以在同一台机器上启动多个独立的Unity实例（通过不同的--port），或者在配置文件中设置env_settings下的num_envs参数（ML-Agents新版本支持子进程仿真）。将环境数量从1增加到8或16，能线性缩短收集数据所需的时间。

课程学习：直接让机器人学习从静止状态跳到很高目标可能太难。我们可以采用课程学习，从易到难：

阶段一：降低重力（如地球重力的50%），让机器人更容易跳起来，重点学习发力协调。
阶段二：恢复正常重力，但给予更高的平衡奖励，稳定跳跃姿态。
阶段三：逐步提高目标跳跃高度，并引入轻微的地面不平整度，增加泛化能力。在ML-Agents中，可以通过在Unity中动态修改环境参数（如Academy的属性），并根据Agent的表现（如平均奖励）来触发阶段切换。

6. 训练监控、问题诊断与模型部署

6.1 利用TensorBoard监控训练

训练启动后，ML-Agents会实时将数据写入results目录。使用TensorBoard可以可视化关键指标：

tensorboard --logdir results

需要重点关注的曲线包括：

Cumulative Reward：每个回合的平均总奖励。这是最直接的性能指标，我们希望它稳步上升并最终稳定在一个较高值。
Policy Loss和Value Loss：策略网络和价值网络的损失。它们应该在一定范围内波动并呈下降趋势。如果Value Loss突然变得极大，可能意味着奖励函数设计有问题（如存在巨大奖励/惩罚），导致价值估计难以收敛。
Policy Entropy：策略的熵，衡量动作的随机性。训练初期熵应较高（探索），后期逐渐降低（利用）。

6.2 常见训练问题与排查表

训练RL模型很少一帆风顺，以下是典型问题及解决思路：

问题现象	可能原因	排查与解决方向
奖励不上升，智能体“躺平”	1. 奖励函数中负惩罚过重。 2. 探索不足（熵系数`beta`太小）。 3. 学习率太高，策略被冲散。	1. 检查`R_energy`等惩罚项系数，初期可调小或设为0。 2. 增加`beta`值，或添加每步存活奖励`R_survival`。 3. 大幅降低学习率（如降一个数量级）。
奖励曲线剧烈震荡	1. 学习率过高。 2.`batch_size`太小。 3. 奖励函数本身不稳定（如基于速度的奖励波动大）。	1. 降低学习率。 2. 增大`batch_size`（需同步增大`buffer_size`）。 3. 对奖励进行平滑处理（如使用移动平均）。
智能体学会“作弊”获得高奖励	奖励函数存在漏洞，被智能体找到非预期的高奖励策略。	仔细分析智能体的异常行为，在奖励函数中增加针对性的约束惩罚（如`R_balance`惩罚后仰）。
训练后期性能突然崩溃	1. 探索不足，策略陷入局部最优后过拟合。 2. 学习率未衰减，后期更新步伐太大。	1. 尝试设置`beta_schedule`让熵缓慢衰减，而非固定值。 2. 启用`learning_rate_schedule`。
价值损失（Value Loss）异常高	奖励尺度太大或存在极端值，导致价值网络预测困难。	对奖励进行缩放（如除以一个常数），使其范围落在[-10, 10]左右较为理想。

6.3 模型导出与在Unity中部署

当训练满意后，可以将模型部署回Unity进行推理（不再需要Python端）。

导出模型：训练完成后，在results目录下会生成一个.onnx文件（如JumpingRobot.onnx）。
Unity中部署：
- 将.onnx文件拖入Unity项目的Assets文件夹。
- 在机器人Agent的GameObject上，找到Behavior Parameters组件。
- 将Model字段设置为导入的.onnx文件。
- 将Behavior Type从Default改为Inference Only。
- 移除或禁用Decision Requester组件（因为现在模型自主决策）。
测试与优化：运行Unity场景，观察机器人行为。由于训练环境与纯推理环境可能存在细微差异（如帧率、物理步长），有时需要微调Behavior Parameters中的Inference Device（CPU/GPU）或确保时间缩放（Time Scale）为1。