简介这份资源面向深度强化学习与多智能体协同方向的学习者和研究者聚焦用MADDPG算法实现编队控制。项目让一组智能体如无人机或车辆通过试错学习形成并维持特定队形同时应对环境动态变化与个体间相互影响涉及保持队形、避免碰撞等典型问题。压缩包共18个文件以13个Python源码为主辅以4个txt状态数据与1个pyc缓存整体约11KB结构紧凑。核心模块涵盖MADDPG算法实现、DDPG代理、演员-评论家网络、经验回放缓冲区、参数配置、主训练循环与测试脚本并配有控制器与编队状态文件便于理解多智能体策略学习与编队协调的完整链路。已有1785人学习下载适合希望掌握MADDPG编队控制实现细节、快速搭建实验环境并复现训练流程的读者参考。1. FCMADDPG 编队控制从多智能体强化学习到可复现的队形保持多机器人编队控制这件事真正上手才会发现难点不在「让一个机器人走到目标点」而在「让 N 个机器人在互相看不见全局、通信还带延迟的情况下既不撞在一起又能把队形维持住」。传统做法是领航-跟随加一致性协议参数调起来像玄学换个队形就得重调一轮。MADDPGMulti-Agent Deep Deterministic Policy Gradient把这个问题转成了集中训练、分散执行的框架而 FCMADDPG 是在它基础上引入模糊控制或队形约束的一类改进思路核心目标就是让编队收敛更快、队形误差更小。这篇笔记面向已经会跑单智能体 DDPG、想把它推到多艇或无人机编队场景的从业者从环境搭建、奖励设计、参数设置一路写到踩坑排查尽量做到照着能复现。2. MADDPG 与 FCMADDPG 的差异为什么编队场景不能直接套 DDPG2.1 从单智能体到多智能体的本质变化单智能体 DDPG 里Critic 只需要评估「我当前状态-动作」的价值环境对它是静态的。但编队场景里每个智能体的下一状态取决于所有智能体的联合动作环境是非平稳的——你策略一更新别人的最优反应就变了。MADDPG 的关键设计是每个智能体的 Critic 在训练时能拿到全局信息所有智能体的观测和动作但 Actor 只用自己的局部观测做决策。这就是「集中训练、分散执行」CTDE。编队控制里这个设计特别合适训练阶段我们在仿真里能拿到所有艇的位置速度Critic 用全局信息评估联合动作价值执行阶段每艘艇只靠自己的传感器和邻居通信做决策符合实际部署约束。FCMADDPG 在此基础上做了两件事一是把队形误差每个智能体相对期望队形位置的偏差显式编码进状态或奖励二是常引入模糊推理层对动作做平滑或对奖励做加权。不同论文的具体做法有差异但落地时你只需要抓住一个判断标准它有没有让「队形保持」这个目标在奖励或状态里被显式表达。如果只是把 MADDPG 换个名字队形收敛会很慢。2.2 编队控制的状态、动作、奖励怎么定义这是整个方案能不能跑通的地基我一般按下面的方式定义你可以直接改。import numpy as np class FormationEnv: def __init__(self, n_agents3, dt0.1): self.n n_agents self.dt dt # 期望队形三角形编队相对领航者的偏移 self.formation np.array([[0.0, 0.0], [-1.0, 1.0], [-1.0, -1.0]]) self.state_dim 6 # 自身位置(2)速度(2)相对目标(2) self.action_dim 2 # 加速度 x, y def get_obs(self, i, pos, vel, leader_pos): # 每个智能体的局部观测自身状态 相对期望位置 target leader_pos self.formation[i] rel target - pos[i] return np.concatenate([pos[i], vel[i], rel]) def reward(self, pos, vel, leader_pos, actions): r 0.0 for i in range(self.n): target leader_pos self.formation[i] dist np.linalg.norm(pos[i] - target) r - 1.0 * dist # 队形误差惩罚 r - 0.05 * np.linalg.norm(vel[i]) # 速度平滑 # 碰撞惩罚 for i in range(self.n): for j in range(i 1, self.n): if np.linalg.norm(pos[i] - pos[j]) 0.5: r - 10.0 # 动作幅度惩罚抑制抖动 r - 0.01 * sum(np.linalg.norm(a) for a in actions) return r逻辑说明观测里放「相对期望位置」而不是绝对坐标是为了让策略对领航者移动有泛化性领航者走到哪队形跟到哪。奖励里队形误差是主项碰撞惩罚必须给足量级这里 10 倍于误差项否则智能体会为了贴队形而互相撞。动作惩罚系数别设太大0.01 量级够用设到 0.1 以上策略会变得畏手畏脚、收敛极慢。参数说明dt0.1对应 10Hz 控制频率编队控制常见范围是 5~20Hz太高仿真步进慢、太低队形抖。碰撞阈值 0.5 要按你的智能体物理尺寸改比实际半径略大留安全余量。2.3 网络结构与训练循环的落地写法MADDPG 每个智能体一套 Actor 和 Critic。Actor 输入局部观测输出动作Critic 输入全局状态和所有智能体动作输出 Q 值。import torch import torch.nn as nn class Actor(nn.Module): def __init__(self, obs_dim, act_dim, hidden64): super().__init__() self.net nn.Sequential( nn.Linear(obs_dim, hidden), nn.ReLU(), nn.Linear(hidden, hidden), nn.ReLU(), nn.Linear(hidden, act_dim), nn.Tanh() # 动作限幅到[-1,1] ) def forward(self, obs): return self.net(obs) class Critic(nn.Module): def __init__(self, total_obs, total_act, hidden64): super().__init__() self.net nn.Sequential( nn.Linear(total_obs total_act, hidden), nn.ReLU(), nn.Linear(hidden, hidden), nn.ReLU(), nn.Linear(hidden, 1) ) def forward(self, obs_all, act_all): return self.net(torch.cat([obs_all, act_all], dim-1))逻辑说明Actor 末端用 Tanh 把动作压到 [-1,1]再在环境里乘以最大加速度比如 2 m/s²映射到物理量。Critic 输入维度是「所有智能体观测之和 所有智能体动作之和」这是 MADDPG 集中训练的核心别图省事只喂自己的。参数说明隐藏层 64 对 3~5 个智能体的编队够用智能体数量上到 10 以上建议加到 128 并考虑参数共享所有智能体共用一套网络输入里加 one-hot 编号。学习率 Actor 用 1e-4、Critic 用 1e-3 是常见起点Critic 学得快一点有助于稳定。3. 训练流程与关键参数把队形误差压到 0.1 米以内3.1 经验回放与软更新的实现细节MADDPG 用经验回放池打乱样本相关性用软更新让目标网络缓慢跟随。import random from collections import deque class ReplayBuffer: def __init__(self, cap100000): self.buf deque(maxlencap) def push(self, s, a, r, s2, d): self.buf.append((s, a, r, s2, d)) def sample(self, batch256): return random.sample(self.buf, batch) def soft_update(target, source, tau0.01): for tp, sp in zip(target.parameters(), source.parameters()): tp.data.copy_(tau * sp.data (1 - tau) * tp.data)逻辑说明回放池容量 10 万对编队任务够用太小1 万以下会导致样本重复、过拟合近期经验。软更新系数 tau0.01 意味着目标网络每步只跟 1%更新太快的目标网络会让 Q 值目标震荡训练曲线像心电图。参数说明batch size 256 是平衡显存紧张降到 128但别低于 64否则梯度噪声大。tau 范围一般 0.001~0.01任务越难取越小。3.2 探索噪声与训练轮次的设置连续动作空间靠加噪声探索常用 Ornstein-Uhlenbeck 噪声或简单的高斯噪声衰减。class GaussianNoise: def __init__(self, dim, sigma0.2, decay0.9995, min_sigma0.02): self.dim dim self.sigma sigma self.decay decay self.min_sigma min_sigma def sample(self): self.sigma max(self.min_sigma, self.sigma * self.decay) return np.random.normal(0, self.sigma, self.dim)逻辑说明初始 sigma 0.2 保证前期充分探索衰减到 0.02 后策略基本稳定。衰减率 0.9995 配合每回合几百步大概几千回合衰减到位。别用固定噪声后期队形会一直抖。参数说明训练轮次编队任务一般 3000~8000 回合能看到收敛判断标准是队形误差曲线进入平台且碰撞次数趋零。如果 2000 回合还在大幅震荡先查奖励量级和 Critic loss别急着加轮次。3.3 队形误差与收敛判据训练时我习惯每 100 回合记录一次平均队形误差和碰撞率这两个指标比总奖励更能说明问题。指标健康范围异常信号平均队形误差 0.1 m长期 0.3 m 说明奖励权重或观测有问题碰撞率趋近 0持续 5% 说明碰撞惩罚不够Critic loss缓慢下降后平稳持续上升说明学习率过大或目标网络更新太快平均回报上升后平台剧烈震荡说明 batch 太小或噪声未衰减这张表是我踩过坑之后固定下来的自查清单训练卡住时逐行对一遍八成问题能定位。4. 避坑与排查编队不收敛的五个血泪现场4.1 队形一直散开误差不下降现象训练几千回合智能体各自往目标点跑队形完全维持不住。原因奖励里队形误差权重太低或者观测里没给相对期望位置智能体根本不知道队形是什么。解决把队形误差惩罚权重提到主导地位确认观测里包含「相对期望位置」这一项可以先跑一个固定领航者不动的版本验证队形能否形成。4.2 智能体挤成一团互相碰撞现象队形误差很小但碰撞率很高智能体叠在一起。原因碰撞惩罚量级不够或者碰撞检测阈值设得比物理尺寸小。解决碰撞惩罚至少设为队形误差项的 5~10 倍检测阈值按实际半径加安全余量。我一般还会加一个「最小间距奖励」距离小于阈值时给连续惩罚而不是阶跃惩罚梯度更平滑。4.3 训练后期回报突然崩掉现象曲线上升一段时间后突然断崖式下跌再也回不去。原因多半是 Critic 过估计导致策略跑偏或者软更新 tau 太大让目标网络追得太急。解决把 tau 降到 0.001Critic 学习率减半检查回放池里是否有异常大的奖励样本比如碰撞惩罚叠加导致单步奖励 -100 这种必要时对奖励做裁剪。4.4 换队形就要重训现象三角形队形训好了换成菱形就完全失效。原因策略把绝对位置编码进了网络没有学到「相对队形」的泛化表示。解决观测和奖励全部用相对量期望队形作为可配置参数传入环境而不是写死。这样同一套策略能适配多种队形只需改 formation 数组。4.5 仿真能跑实机就翻车现象仿真里队形误差 0.05 米上实机后抖得厉害甚至发散。原因仿真没建模通信延迟、传感器噪声和执行器响应延迟。解决训练时在观测里加高斯噪声、在动作执行上加一步延迟做域随机化。控制频率也要和实机对齐仿真 10Hz 实机 50Hz 这种不匹配必然翻车。5. 进阶技巧用参数共享和课程学习把训练时间砍一半智能体数量一多每个智能体一套网络参数量爆炸训练慢且难收敛。我常用的两个加速手段是参数共享和课程学习。参数共享的做法是所有智能体共用一套 Actor 和 Critic在观测里拼接一个 one-hot 的智能体编号让网络知道「我是几号」。这样参数量与智能体数量无关样本利用率大幅提升。代价是智能体之间行为会趋同如果任务需要异构角色比如有的负责侦察有的负责干扰就得用分组共享或者干脆不共享。def make_shared_obs(obs_i, agent_id, n_agents): onehot np.zeros(n_agents) onehot[agent_id] 1.0 return np.concatenate([obs_i, onehot])逻辑说明编号 one-hot 拼在观测末尾网络就能区分不同智能体。注意 Critic 的全局输入里也要保留编号信息否则集中训练时 Critic 分不清是谁的动作。课程学习则是先易后难第一阶段领航者静止只练队形保持第二阶段领航者匀速直线练队形跟随第三阶段领航者随机机动练动态调整。每个阶段收敛后再进下一阶段总训练时间通常比直接上最难场景少 40%~50%。判断阶段切换的标准是队形误差连续 200 回合低于阈值。还有一个容易被忽略的点是奖励归一化。编队任务里队形误差、碰撞惩罚、动作惩罚量级差异大直接相加会让网络被大量级项主导。我一般对每一项做 running mean/std 归一化后再加权训练稳定性提升明显。这套东西没有银弹参数得按你的智能体动力学和场景尺度调但上面这些习惯帮我省了大量重复试错的时间。希望帮到你。本文还有配套的精品资源点击获取