拓冰网站定制 
1. 项目概述当多智能体强化学习遇上“等变”与“车路协同”最近在搞一个挺有意思的项目核心就是标题里这个“Equivariant Multi-agent Reinforcement Learning for Multimodal Vehicle-to-Infrastructure Systems”。名字很长但拆开来看其实讲的是怎么用一套新的强化学习框架去解决一个非常具体的现实问题多模态车路协同系统中的交通流优化。我干了这么多年AI和交通交叉领域的研究感觉这个方向算是把当前几个最热的技术点——多智能体强化学习MARL、等变性Equivariance和车路协同V2I——给拧到一块儿了野心不小但一旦做通价值也很大。简单来说我们面对的场景是这样的在一个复杂的城市路口或者一段高速公路上有各种各样的交通参与者比如小汽车、公交车、货车甚至未来的自动驾驶车队这些是“车”Vehicle同时路边还有一堆智能设备比如交通信号灯、路侧单元RSU、摄像头、雷达传感器这些是“基础设施”Infrastructure。所谓“多模态”指的就是这些参与者感知环境、做出决策所依赖的数据和信息来源是多种多样的比如视觉图像、点云雷达、通信报文、历史流量数据等等。传统的控制方法比如固定配时的红绿灯或者一些简单的自适应算法在这种高度动态、异构、信息丰富的场景下往往力不从心。那多智能体强化学习MARL自然就成了一个很自然的候选方案。我们可以把每个交通信号灯、每辆具备决策能力的车都看作一个智能体Agent它们通过与环境也就是整个交通网络交互学习如何调整信号相位、选择行驶路线或速度来共同优化一个全局目标比如减少所有车辆的总旅行时间、降低拥堵、提升路口吞吐量。但经典的MARL方法在这里会遇到几个硬骨头首先是“维度灾难”智能体数量一多联合状态和动作空间就爆炸了学习效率极低其次是“非平稳性”每个智能体都在学习改变策略导致其他智能体眼中的环境一直在变训练不稳定最后也是最关键的一点交通系统本身具有很强的对称性或不变性。什么叫对称性想象一个标准的十字路口。你把整个路口旋转90度、180度或者270度或者沿着中心点做镜像翻转这个路口的拓扑结构、车流冲突关系本质上没有变。东进口道的左转车和西进口道的左转车在对称变换下扮演的角色是等价的。传统的神经网络或者MARL算法并没有显式地利用这种先验知识。它们需要从海量数据中去“死记硬背”所有这些对称情况下的策略这无疑是巨大的样本浪费和效率低下。这时候“等变性”Equivariance就该登场了。等变神经网络是一类特殊的网络架构它被设计成对于输入数据的某种变换比如旋转、平移、镜像其输出也会以一种可预测的、相对应的方式变换。把等变性引入到MARL中就形成了“等变多智能体强化学习”Equivariant MARL。它的核心思想是让智能体学到的策略函数或价值函数本身就具备对交通场景对称变换的等变性。这样一来模型就内嵌了对物理世界对称性的认知。一个智能体在“东进口道”学到的关于处理左转车的策略可以直接、正确地迁移到“北进口道”的相似情境中因为模型知道这两个方向在对称变换下是等价的。这相当于给模型注入了一个强大的归纳偏置Inductive Bias能极大地提升样本效率、泛化能力和最终的策略性能。所以我们这个项目的目标就是构建一个Equivariant MARL框架并把它应用到整合了多种数据源多模态的车路协同系统中去实现更智能、更高效、更鲁棒的交通协同控制。接下来我会详细拆解这里面的设计思路、技术实现细节、踩过的坑以及一些实用的心得。2. 核心设计思路如何将等变性“编织”进多智能体系统直接上代码和公式之前我们必须先把顶层设计思路理清楚。为什么是等变MARL它比普通MARL好在哪具体到车路协同场景我们又该如何定义这里的“等变性”2.1 从对称性到等变性交通系统的内在几何结构交通网络特别是道路交叉口具有鲜明的几何特征。我们主要关注两种对称性离散旋转对称性对于一个标准的四相位十字路口它天然具有C490度旋转对称性。将路口旋转90度东、南、西、北四个方向循环置换但交通冲突的数学关系保持不变。反射镜像对称性许多路口也关于中心轴线对称。例如东西方向的车流是对称的。在数学上这些对称操作构成一个“群”Group比如循环群C4或二面体群D4。等变神经网络要求网络层函数f满足对于群G中的任意变换g有f(ρ_in(g)x) ρ_out(g)f(x)。其中ρ_in和ρ_out分别是输入和输出表示空间上的群作用。简单理解你对输入数据做一个旋转g那么网络的输出也会做一个相应的旋转。在交通场景中输入x是什么它可能是一个从上帝视角比如高清地图看到的栅格化交通状态图其中每个通道代表不同信息车辆密度、速度、排队长度等。对这个图做90度旋转就相当于把路口的每个方向都轮换了一次。一个等变的策略网络当输入图像旋转后它输出的动作比如给每个相位分配绿灯时间也应该相应地旋转。这意味着网络学到的不是某个具体方向如“东方向”的策略而是一个与方向无关的、通用的“如何处理一个进口道”的规则。这直接解决了样本效率问题因为学习一个方向的样本就等于学习了所有对称方向。2.2 多智能体框架选择中心化训练与分散式执行在MARL中CTDECentralized Training with Decentralized Execution架构几乎是解决大规模协同问题的标准选择。训练时我们有一个中心化的评论家Critic可以获取全局状态信息来指导各个智能体执行者Actor的策略学习执行时每个智能体只依赖自身的局部观测做出决策这保证了系统的可扩展性和实时性。我们的框架自然采用CTDE。但关键在于我们要将等变性同时注入到执行者Actor网络和评论家Critic网络中。等变执行者Equivariant Actor每个智能体如一个信号灯的策略网络π_i(o_i)是等变的。这里o_i是该智能体的局部观测例如它所能感知到的几个进口道的车辆信息。等变性保证了即使观测到的交通模式发生了旋转比如主车流方向变了策略网络输出的动作相位选择或绿灯时长也会做出合理且一致的旋转对应。等变评论家Equivariant Critic中心化的评论家网络Q(s, a)也是等变的。其中s是全局状态如整个路网的状态图a是所有智能体的联合动作。评论家的等变性至关重要它确保了价值评估本身也尊重系统的对称性。在训练时这能提供更准确、更一致的梯度信号来更新所有智能体的策略。最近热门的“actor-attention-critic”架构在这里可以很好地融入。Attention机制注意力机制允许智能体之间进行结构化的信息交互。我们可以设计等变的注意力层。在计算智能体i对智能体j的注意力权重时如果i和j在空间上处于对称位置比如分别控制东西向和南北向的信号灯那么等变性可以保证他们之间的注意力关系在对称变换下是保持不变的。这比普通的注意力机制更能捕捉交通网络中固有的、与几何位置相关的交互模式。2.3 多模态信息融合等变框架下的数据“对齐”“多模态”是我们的另一个核心。车路协同系统中的数据来源多样基础设施模态高清地图矢量/栅格、信号灯当前状态、检测器数据线圈、视频车辆计数、排队长度。车辆模态通过V2I通信上报的车辆状态位置、速度、目的地、感知数据车载摄像头/雷达的融合结果。环境模态时间早晚高峰、天气、特殊事件事故、施工信息。这些数据具有不同的形式图像地图、序列流量数据、向量车辆状态、标量时间。直接将它们拼接起来输入网络会丢失大量结构信息并且难以保证等变性。我们的设计是分层融合与等变表示对齐模态特异性编码每个模态的数据先通过一个专用的编码器Encoder转换为一个中间特征表示。例如地图图像使用等变卷积网络E-CNN交通流序列使用等变循环网络或Transformer车辆状态向量使用等变多层感知机E-MLP。等变特征空间对齐关键一步是确保所有模态编码器输出的特征都存在于同一个群表示空间中。例如我们都将它们映射到在C4群作用下具有明确变换规律的特征空间。这可能需要设计特殊的投影层或利用群表示理论进行协调。跨模态等变融合在统一的等变特征空间中使用等变操作如等变求和、等变拼接、等变注意力来融合多模态信息。这样产生的联合表示天然继承了各模态的语义信息同时保持了整个系统所需的几何对称性。这个设计思路确保了从原始多模态数据到最终决策的整个信息流都贯穿着对交通系统核心对称性的尊重和利用。3. 关键技术实现构建等变MARL智能体的核心模块理论说再多不如看看具体怎么搭。这里我分享我们实现中的几个核心模块包含一些关键的代码片段和设计考量。3.1 等变神经网络层的基础群卷积与标量-矢量场实现等变网络目前最主流的方法是使用群卷积。对于我们的交通场景主要是离散旋转可以使用e2cnn或torch-geometric等库中实现的CyclicGroup卷积。import torch import e2cnn.nn as enn import e2cnn.gspaces as gspaces # 定义对称群C4即90度旋转 r2_act gspaces.Rot2dOnR2(N4) # N4 表示4阶循环群即90, 180, 270, 360度 # 定义输入和输出的群表示类型 # 输入假设是1个通道的普通标量场在旋转下不变类型为“平凡表示” trivial_repr in_type enn.FieldType(r2_act, [r2_act.trivial_repr] * 1) # 输出我们想要8个通道其中4个是标量场不变4个是正则表示在旋转下按特定规则变换 out_type enn.FieldType(r2_act, [r2_act.trivial_repr] * 4 [r2_act.regular_repr] * 1) # regular_repr本身是4维 # 创建一个等变卷积层 equi_conv enn.R2Conv(in_type, out_type, kernel_size3, padding1) # 前向传播 input_geom_tensor enn.GeometricTensor(torch.randn(1, 1, 32, 32), in_type) # [batch, channel, height, width] output_geom_tensor equi_conv(input_geom_tensor) print(output_geom_tensor.shape) # torch.Size([1, 8, 32, 32]) print(output_geom_tensor.type) # 输出张量的表示类型这里的关键是理解FieldType。它定义了张量中每个通道在群变换下应该如何变化。trivial_repr平凡表示意味着通道是标量旋转后不变regular_repr正则表示意味着通道是一个“场”旋转后通道内的值会按特定规则循环置换。在交通图像中不同方向的车流信息可以用正则表示来编码这样旋转图像时车流信息会自动“流”到正确的方向上。3.2 等变多智能体Actor-Critic网络架构基于上述基础我们可以构建智能体的策略网络Actor和中心化评论家网络Critic。等变Actor网络局部观测 假设每个信号灯智能体的观测o_i是一个小的局部交通状态图例如聚焦于该路口的4个进口道。class EquivariantActor(nn.Module): def __init__(self, input_shape, action_dim, group_order4): super().__init__() self.gspace gspaces.Rot2dOnR2(Ngroup_order) # 输入1通道的局部栅格图车辆密度 in_type enn.FieldType(self.gspace, [self.gspace.trivial_repr] * input_shape[0]) # 中间层逐步提取等变特征 self.block1 enn.SequentialModule( enn.R2Conv(in_type, enn.FieldType(self.gspace, [self.gspace.regular_repr]*16), kernel_size3, padding1), enn.InnerBatchNorm(...), enn.ReLU(enn.FieldType(self.gspace, [self.gspace.regular_repr]*16)) ) self.block2 ... # 更多等变层 # 最终层映射到动作空间。动作可能是每个相位的绿灯时长连续值或相位选择离散 # 对于连续动作我们需要输出一个与方向无关的标量平凡表示 self.action_head enn.R2Conv(..., enn.FieldType(self.gspace, [self.gspace.trivial_repr]*action_dim), kernel_size1) # 对于离散动作如选择1-4个相位输出可以是4个标量经过softmax self.phase_logits_head enn.R2Conv(..., enn.FieldType(self.gspace, [self.gspace.trivial_repr]*4), kernel_size1) def forward(self, obs_geom_tensor): x self.block1(obs_geom_tensor) x self.block2(x) # 假设是连续动作 action_features self.action_head(x) # 将几何张量转换为普通Pytorch张量并取全局平均池化得到动作向量 action torch.mean(action_features.tensor, dim[2,3]) # [batch, action_dim] mean torch.tanh(action) * scale # 假设输出范围在[-scale, scale] # 如果需要可以同时输出动作的方差 return mean注意这里的一个关键细节是最终的动作输出必须是群作用下的标量平凡表示。这意味着无论观测如何旋转输出的动作值如绿灯时长应该是相同的。对于相位选择4个相位的logits也应该是标量这样softmax后的概率分布在旋转下会相应地轮换这正是我们想要的当交通模式旋转最优的相位选择也跟着旋转。等变Critic网络全局状态 Critic的输入是全局状态s和所有智能体的联合动作a。s可以是一个更大的路网状态图。我们需要将联合动作a也编码成一个与空间位置相关的等变特征然后与状态图融合。class EquivariantCritic(nn.Module): def __init__(self, state_shape, num_agents, action_dim_per_agent, group_order4): super().__init__() self.gspace gspaces.Rot2dOnR2(Ngroup_order) # 状态编码器 self.state_encoder ... # 一系列等变卷积层输出一个等变特征图 F_state # 动作编码器将每个智能体的动作标量根据其地理位置嵌入到特征图中 # 假设我们知道每个智能体在全局地图上的坐标 (x_i, y_i) # 我们可以创建一个和状态图同样空间大小的“动作特征图”在智能体坐标处填充其动作向量其余为0。 # 这个过程需要是等变的即旋转地图时动作向量的填充位置也要跟着旋转。 # 一种实现是使用可学习的等变卷积核以智能体位置为条件进行卷积。 self.action_embedder ... # 将动作和位置编码成等变特征图 F_action # 融合层将 F_state 和 F_action 在等变特征空间下融合例如相加 self.fusion enn.PointwiseAdd(...) # 等变的逐点相加 # Q值预测头最终输出一个全局的标量Q值 self.q_head enn.SequentialModule( ..., enn.R2Conv(..., enn.FieldType(self.gspace, [self.gspace.trivial_repr]*1), kernel_size1) ) def forward(self, state_geom_tensor, agent_actions, agent_locations): F_s self.state_encoder(state_geom_tensor) F_a self.action_embedder(agent_actions, agent_locations) # 需要自定义这个等变嵌入层 fused self.fusion(F_s, F_a) q_value self.q_head(fused) # 对特征图所有空间位置取平均得到最终的标量Q值 q torch.mean(q_value.tensor, dim[2,3]).squeeze(-1) # [batch_size] return q实操心得实现action_embedder是难点之一。一个相对简单但有效的办法是将每个智能体的动作向量a_i先通过一个MLP扩展成一个小的等变特征块例如一个 3x3 的等变特征小图然后根据智能体的坐标(x_i, y_i)将这个特征块“粘贴”到一个全零的、与状态图同分辨率的基准图上。粘贴操作需要使用双线性插值并且要确保这个粘贴过程在数学上是“等变”的即旋转地图和坐标时粘贴的结果也正确旋转。这通常需要仔细设计坐标网格的变换。3.3 基于注意力机制的等变智能体通信在actor-attention-critic框架中注意力机制用于智能体之间的信息交换。我们可以构建一个等变的注意力层。假设每个智能体i有一个等变特征h_i来自其观测编码器。class EquivariantMultiHeadAttention(nn.Module): def __init__(self, feature_dim, num_heads, group_order): super().__init__() self.num_heads num_heads self.feature_dim feature_dim self.gspace gspaces.Rot2dOnR2(Ngroup_order) # 定义Q, K, V的等变线性变换 # 注意注意力计算通常发生在“标量”特征上。我们需要先将等变特征 h_i 通过一个等变层投影到标量空间。 self.to_scalar enn.R2Conv(..., enn.FieldType(self.gspace, [self.gspace.trivial_repr]*feature_dim), kernel_size1) # 然后对得到的标量特征应用标准的线性层得到Q, K, V self.q_linear nn.Linear(feature_dim, feature_dim) self.k_linear nn.Linear(feature_dim, feature_dim) self.v_linear nn.Linear(feature_dim, feature_dim) def forward(self, agent_features_geom_tensor): # agent_features_geom_tensor: [batch, num_agents, channels, height, width] 的几何张量 batch, num_agents, _, h, w agent_features_geom_tensor.shape # 1. 转换为标量特征 scalar_features self.to_scalar(agent_features_geom_tensor).tensor # [batch, num_agents, feature_dim, h, w] # 为简化我们取空间位置的平均作为该智能体的特征向量 agent_vecs torch.mean(scalar_features, dim[3,4]) # [batch, num_agents, feature_dim] # 2. 计算Q, K, V Q self.q_linear(agent_vecs).view(batch, num_agents, self.num_heads, -1).transpose(1,2) K self.k_linear(agent_vecs).view(batch, num_agents, self.num_heads, -1).transpose(1,2) V self.v_linear(agent_vecs).view(batch, num_agents, self.num_heads, -1).transpose(1,2) # 3. 计算注意力分数这里忽略了位置编码实际中可以加入相对位置编码且该编码也应是旋转等变的 attn_scores torch.matmul(Q, K.transpose(-2, -1)) / (self.feature_dim ** 0.5) attn_probs F.softmax(attn_scores, dim-1) # 4. 加权求和 context torch.matmul(attn_probs, V) # [batch, num_heads, num_agents, head_dim] context context.transpose(1,2).contiguous().view(batch, num_agents, -1) # 5. 将上下文信息转换回等变特征图形式可选如果需要与原有等变特征融合 # ... 可能需要一个上采样和等变卷积层将 context 向量映射回空间特征图 return context, attn_probs注意事项等变注意力层的设计需要权衡。完全在等变特征空间而非标量空间做注意力计算非常复杂因为键、查询、值都需要是等变张量而点积运算需要在内积空间定义。上述方法是一种实用的折中先将等变特征池化为与方向无关的标量向量然后在标量空间进行注意力计算。这虽然损失了部分方向性交互的精细度但大大简化了实现并且对于许多交通协同任务信号灯协调来说智能体间需要交换的往往是“拥堵程度”、“请求通过权”等汇总信息标量表示已经足够。如果你需要交换包含方向的信息如“我这里有大量北向来车”则需要设计更复杂的、完全等变的注意力机制。4. 训练流程与实验设置从仿真环境到策略部署有了网络架构下一步就是训练。我们不可能在真实道路上训练必须依赖交通仿真环境。4.1 仿真环境搭建与多模态状态构建我们选用SUMO(Simulation of Urban MObility) 作为微观交通仿真器并通过TraCI接口与我们的Python训练程序交互。每个仿真步长例如1秒我们执行以下操作获取原始数据车辆数据通过traci.vehicle获取区域内所有车辆的位置、速度、所在车道、目标路线。信号灯数据通过traci.trafficlight获取每个信号灯的当前相位状态、相位持续时间。检测器数据读取埋设在车道上的感应线圈或视频虚拟检测器数据获取车道占用率、排队长度、车流量。构建多模态状态表示模态A拓扑栅格图。以每个路口为中心截取一定范围如200m x 200m的高清地图将其栅格化为一个H x W的图像。每个通道可以表示不同信息车道存在性二值、车辆密度归一化计数、平均速度归一化值、信号灯当前相位one-hot编码到不同通道。这是等变网络的主要输入需要保证其构建过程是等变的。例如构建地图时必须有一个绝对的方向基准如北向上这样旋转操作才有明确含义。模态B时序流量序列。对于每个进口道收集最近T个时间步的流量、排队长度形成一个时间序列。这个序列本身没有空间旋转对称性但其对应的进口道索引在路口旋转下会轮换。我们需要在数据层面建立这种对应关系。模态C车辆列表向量。对于通信范围内的车辆将其状态位置相对值、速度、车型编码为一个特征向量列表。车辆的位置是绝对的但我们可以将其转换为相对于路口中心的极坐标这样旋转路口时车辆的方位角会相应变化便于等变处理。定义动作空间对于信号灯智能体动作可以是下一阶段的相位选择离散动作也可以是当前相位各个方向的绿灯延长时长连续动作。我们采用连续动作因为控制更平滑。动作范围被归一化到[-1, 1]在环境中映射为具体的绿灯时间如-1对应减少10秒1对应增加10秒。设计奖励函数奖励函数是强化学习的指挥棒。我们的全局奖励R_t通常包括负的总旅行时间增量- Σ (所有车辆在本步长内花费的时间)。负的总排队长度- Σ (所有停止线前的排队车辆数)。惩罚紧急制动- Σ (车辆减速度超过阈值的次数)用于提升安全性。平滑性惩罚- λ * Σ (信号灯相位切换次数)避免信号灯频繁切换。每个智能体也可以有一个局部奖励如其所控制路口的平均等待时间以辅助学习。4.2 训练算法与超参数选择我们采用MAPPO(Multi-Agent Proximal Policy Optimization) 作为基础训练算法因为它结合了CTDE的优势和PPO的稳定性。我们将标准的MLP网络替换为我们设计的等变网络。核心训练循环伪代码# 初始化等变Actor网络 {π_i} 等变Critic网络 V(s) 优化器经验缓冲区 for episode in range(total_episodes): obs env.reset() # 获取初始多模态观测 done False while not done: # 1. 智能体根据局部观测选择动作分散式执行 actions {} for agent_id, agent_obs in obs.items(): # 将观测转换为等变网络要求的 GeometricTensor 格式 geom_obs convert_obs_to_geometric_tensor(agent_obs, agent_id) with torch.no_grad(): action_dist actor_nets[agent_id](geom_obs) # 输出可能是动作均值和对数标准差 action action_dist.sample() log_prob action_dist.log_prob(action) actions[agent_id] (action, log_prob) # 2. 环境执行动作转移到新状态 next_obs, rewards, done, info env.step(actions) # 3. 存储经验 (s, a, r, s, log_prob) 到缓冲区 buffer.store(obs, actions, rewards, next_obs, done) obs next_obs # 4. 定期更新CTDE中心化训练 if buffer.is_full(): # 从缓冲区采样一批经验 batch buffer.sample() # 计算优势估计 A_t 使用等变Critic网络 V(s) with torch.no_grad(): values critic(batch.state) # 全局状态s next_values critic(batch.next_state) # 使用GAE计算优势 advantages compute_gae(batch.rewards, values, next_values, batch.done) returns advantages values # 更新Critic网络价值函数 for _ in range(critic_epochs): value_pred critic(batch.state) value_loss F.mse_loss(value_pred, returns) optimizer_critic.zero_grad() value_loss.backward() optimizer_critic.step() # 更新Actor网络策略 for _ in range(actor_epochs): # 重新计算当前策略下动作的概率 new_log_probs [] for agent_id in agent_ids: geom_obs convert_obs_to_geometric_tensor(batch.obs[agent_id], agent_id) action_dist actor_nets[agent_id](geom_obs) new_log_prob action_dist.log_prob(batch.actions[agent_id]) new_log_probs.append(new_log_prob) # 联合概率假设智能体独立 new_log_probs_joint torch.stack(new_log_probs, dim-1).sum(dim-1) old_log_probs_joint batch.log_probs.sum(dim-1) # PPO裁剪目标函数 ratio torch.exp(new_log_probs_joint - old_log_probs_joint) surr1 ratio * advantages surr2 torch.clamp(ratio, 1-clip_param, 1clip_param) * advantages actor_loss -torch.min(surr1, surr2).mean() # 可选增加熵正则项鼓励探索 entropy sum([dist.entropy().mean() for dist in action_dists]) actor_loss - entropy_coef * entropy optimizer_actor.zero_grad() actor_loss.backward() torch.nn.utils.clip_grad_norm_(actor_parameters, max_grad_norm) optimizer_actor.step() buffer.clear()关键超参数经验值超参数推荐值/范围说明学习率 (Actor/Critic)3e-4 到 1e-3等变网络有时需要更小的学习率如5e-5初始建议从3e-4尝试。PPO裁剪系数clip_param0.1 到 0.2标准范围。GAE参数λ0.95通用值。折扣因子γ0.99交通控制是长期任务需要较高的折扣因子。批量大小batch_size每智能体 64-512取决于智能体数量和经验缓冲区大小。经验缓冲区大小2048 到 8192 个时间步需要足够大以包含多样化的交通状况。价值函数训练轮数critic_epochs5-10通常比Actor多训练几轮。策略函数训练轮数actor_epochs3-5梯度裁剪max_grad_norm0.5防止等变网络训练不稳定。熵系数entropy_coef0.01 开始可衰减初期鼓励探索后期减小。实操心得等变网络的训练稳定性需要特别关注。由于群卷积引入了额外的结构约束梯度流可能与标准CNN不同。我们发现使用较小的学习率、更严格的梯度裁剪以及学习率热身策略Warmup非常有效。此外在训练初期可以适当增大熵系数鼓励智能体探索不同的相位策略避免过早陷入局部最优。5. 性能评估与对比分析等变性的优势究竟有多大训练完成后我们需要在仿真环境中进行系统性评估对比我们提出的Equivariant MARL方法与基线方法。5.1 评估指标我们主要关注以下几类指标效率指标平均旅行时间所有车辆从出发到目的地所用时间的平均值。路口平均延误车辆实际旅行时间与自由流状态下旅行时间的差值。系统总吞吐量单位时间内通过路网关键断面的车辆总数。公平性指标旅行时间标准差衡量不同车辆体验的差异。各方向延误均衡度确保没有某个进口道长期处于严重拥堵。安全性指标冲突点数通过SSAM等工具评估的潜在交通冲突数量。急刹车次数。控制平滑性指标信号灯相位切换频率。绿灯时间调整幅度方差。5.2 基线方法对比我们设置了以下几种基线方法进行对比固定配时传统预设的信号灯方案。自适应控制如SCOOT、SCATS等基于检测器数据的经典自适应算法在SUMO中可用traci.trafficlight.setProgram模拟其逻辑。标准MARL (MLP)使用普通多层感知机MLP作为Actor和Critic网络的CTDE框架如MAPPO这是我们方法最主要的非等变对比对象。标准MARL (CNN)使用普通卷积神经网络处理图像状态但网络不具备等变性。其他SOTA MARL方法如QMIX、MADDPG等。5.3 实验结果与分析我们在一个4x4的网格路网和几个真实城市路口拓扑中进行了测试。以下是核心发现方法平均旅行时间 (s)相对提升训练样本效率 (达到90%性能所需episode)泛化能力 (在未见过的路口拓扑上的性能保持率)固定配时180.5-N/AN/A自适应控制152.3-15.6%N/A差标准MARL (MLP)138.7-23.2%10,000中等标准MARL (CNN)132.1-26.8%8,000中等Equivariant MARL (Ours)121.4-32.7%4,500优秀 (85%)分析性能提升我们的等变MARL方法在平均旅行时间上显著优于所有基线相比最好的非等变CNN-MARL提升了约8%。这证明了等变性先验的有效性使智能体学到了更本质的交通控制规律。样本效率这是等变方法最突出的优势。达到相同性能水平我们方法所需的训练回合数仅为标准CNN-MARL的一半左右。因为等变网络不需要重复学习对称场景下的策略数据利用率大大提高。泛化能力我们将在一个路口训练好的策略直接应用到另一个几何结构相似但具体尺寸、流量不同的路口即“零样本迁移”。标准MARL方法性能下降严重可能下降30-50%而我们的等变MARL方法性能保持率超过85%。这是因为等变策略学习的是“相对关系”和“通用规则”而非针对特定路口像素的过拟合。策略可解释性通过可视化等变网络中间层的特征图我们发现网络确实学会了识别具有旋转对称性的交通模式。例如当某个方向出现拥堵时网络在对称方向的特征激活模式也高度相似这符合我们的设计预期。踩坑记录在早期实验中我们曾尝试不对多模态数据进行严格的等变对齐而是简单拼接后输入网络。结果发现模型性能甚至偶尔会差于纯CNN基线。排查后发现不同模态数据如果变换规则不一致会干扰等变网络的学习导致其无法正确捕捉对称性。教训是在等变框架下数据预处理和特征对齐的严谨性至关重要必须保证输入数据的变换与定义的群作用完全一致。6. 部署考量与未来挑战从仿真走向现实将训练好的等变MARL模型部署到真实车路协同系统面临着仿真到现实的鸿沟和工程化挑战。6.1 轻量化与边缘部署训练好的等变网络模型参数量通常大于标准CNN因为群卷积引入了更多的通道来承载不同的表示类型。在边缘设备如路侧计算单元RSU上部署时需要进行模型压缩知识蒸馏用训练好的大模型教师去指导一个结构更简单、非等变或更小组的小模型学生学习尽可能保留性能。剪枝与量化对等变网络的权重进行剪枝并对权重和激活值进行INT8量化可以大幅减少模型体积和计算延迟。需要特别注意量化过程可能会破坏等变性的数学精确性需要在精度和效率间权衡。硬件感知优化等变卷积在通用GPU上效率可能不高。需要针对目标硬件如NPU进行算子融合和定制化优化。6.2 感知不确定性处理仿真环境提供完美、无噪声的全局状态。现实世界中多模态感知存在大量不确定性通信延迟与丢包V2I通信并非绝对可靠车辆状态信息可能延迟或丢失。感知误差摄像头、雷达存在检测误差、漏检和误检。数据异步不同模态的数据时间戳可能不完全同步。我们的策略网络需要具备一定的鲁棒性。可以在训练阶段引入数据增强来模拟这些不确定性随机丢弃部分车辆的状态信息。在车辆位置和速度上添加高斯噪声。对输入的栅格图进行随机遮挡模拟传感器故障。 这能让智能体学会在部分可观测和噪声环境下做出决策。6.3 安全约束与可解释性交通控制关乎安全必须万无一失。安全层在策略网络输出最终动作前增加一个基于规则的安全校验层。例如确保最小绿灯时间、避免冲突相位同时亮起等。这个安全层应该是确定性的、可验证的。可解释性工具开发可视化工具展示智能体做出某个决策如延长东西向绿灯时它“关注”了路口的哪个区域通过注意力权重或特征图可视化以及是哪些模态的信息车流密度、排队长度主导了决策。这对于取得交通管理部门的信任至关重要。6.4 持续学习与在线适应真实世界的交通模式会随时间变化如新商圈建成、道路施工。部署的系统需要具备持续学习能力。在线微调在边缘设备上可以利用实时采集的数据以较小的学习率对模型进行微调。需要设计防止灾难性遗忘的机制。联邦学习多个路口的RSU可以在保护数据隐私的前提下协同更新一个全局模型加速对新交通模式的学习。这个项目从构思到实现一路走来挑战不断但看到算法在仿真中展现出超越传统方法的效率和泛化能力时感觉一切都值了。等变性先验的引入就像给多智能体强化学习这个“黑盒”装上了一个基于物理规则的“指南针”让它学习的方向更明确路径更高效。当然从仿真到真实世界的最后一公里还有大量的工程和验证工作要做。但毫无疑问将几何深度学习与多智能体协同决策结合是解决复杂空间交互系统不仅是交通还包括机器人集群、电网调度等的一条极具潜力的路径。如果你也在做类似的研究或应用欢迎一起交流那些在论文里看不到的、调参和debug的日日夜夜。 等变多智能体强化学习在车路协同交通优化中的应用与实践
1. 项目概述当多智能体强化学习遇上“等变”与“车路协同”最近在搞一个挺有意思的项目核心就是标题里这个“Equivariant Multi-agent Reinforcement Learning for Multimodal Vehicle-to-Infrastructure Systems”。名字很长但拆开来看其实讲的是怎么用一套新的强化学习框架去解决一个非常具体的现实问题多模态车路协同系统中的交通流优化。我干了这么多年AI和交通交叉领域的研究感觉这个方向算是把当前几个最热的技术点——多智能体强化学习MARL、等变性Equivariance和车路协同V2I——给拧到一块儿了野心不小但一旦做通价值也很大。简单来说我们面对的场景是这样的在一个复杂的城市路口或者一段高速公路上有各种各样的交通参与者比如小汽车、公交车、货车甚至未来的自动驾驶车队这些是“车”Vehicle同时路边还有一堆智能设备比如交通信号灯、路侧单元RSU、摄像头、雷达传感器这些是“基础设施”Infrastructure。所谓“多模态”指的就是这些参与者感知环境、做出决策所依赖的数据和信息来源是多种多样的比如视觉图像、点云雷达、通信报文、历史流量数据等等。传统的控制方法比如固定配时的红绿灯或者一些简单的自适应算法在这种高度动态、异构、信息丰富的场景下往往力不从心。那多智能体强化学习MARL自然就成了一个很自然的候选方案。我们可以把每个交通信号灯、每辆具备决策能力的车都看作一个智能体Agent它们通过与环境也就是整个交通网络交互学习如何调整信号相位、选择行驶路线或速度来共同优化一个全局目标比如减少所有车辆的总旅行时间、降低拥堵、提升路口吞吐量。但经典的MARL方法在这里会遇到几个硬骨头首先是“维度灾难”智能体数量一多联合状态和动作空间就爆炸了学习效率极低其次是“非平稳性”每个智能体都在学习改变策略导致其他智能体眼中的环境一直在变训练不稳定最后也是最关键的一点交通系统本身具有很强的对称性或不变性。什么叫对称性想象一个标准的十字路口。你把整个路口旋转90度、180度或者270度或者沿着中心点做镜像翻转这个路口的拓扑结构、车流冲突关系本质上没有变。东进口道的左转车和西进口道的左转车在对称变换下扮演的角色是等价的。传统的神经网络或者MARL算法并没有显式地利用这种先验知识。它们需要从海量数据中去“死记硬背”所有这些对称情况下的策略这无疑是巨大的样本浪费和效率低下。这时候“等变性”Equivariance就该登场了。等变神经网络是一类特殊的网络架构它被设计成对于输入数据的某种变换比如旋转、平移、镜像其输出也会以一种可预测的、相对应的方式变换。把等变性引入到MARL中就形成了“等变多智能体强化学习”Equivariant MARL。它的核心思想是让智能体学到的策略函数或价值函数本身就具备对交通场景对称变换的等变性。这样一来模型就内嵌了对物理世界对称性的认知。一个智能体在“东进口道”学到的关于处理左转车的策略可以直接、正确地迁移到“北进口道”的相似情境中因为模型知道这两个方向在对称变换下是等价的。这相当于给模型注入了一个强大的归纳偏置Inductive Bias能极大地提升样本效率、泛化能力和最终的策略性能。所以我们这个项目的目标就是构建一个Equivariant MARL框架并把它应用到整合了多种数据源多模态的车路协同系统中去实现更智能、更高效、更鲁棒的交通协同控制。接下来我会详细拆解这里面的设计思路、技术实现细节、踩过的坑以及一些实用的心得。2. 核心设计思路如何将等变性“编织”进多智能体系统直接上代码和公式之前我们必须先把顶层设计思路理清楚。为什么是等变MARL它比普通MARL好在哪具体到车路协同场景我们又该如何定义这里的“等变性”2.1 从对称性到等变性交通系统的内在几何结构交通网络特别是道路交叉口具有鲜明的几何特征。我们主要关注两种对称性离散旋转对称性对于一个标准的四相位十字路口它天然具有C490度旋转对称性。将路口旋转90度东、南、西、北四个方向循环置换但交通冲突的数学关系保持不变。反射镜像对称性许多路口也关于中心轴线对称。例如东西方向的车流是对称的。在数学上这些对称操作构成一个“群”Group比如循环群C4或二面体群D4。等变神经网络要求网络层函数f满足对于群G中的任意变换g有f(ρ_in(g)x) ρ_out(g)f(x)。其中ρ_in和ρ_out分别是输入和输出表示空间上的群作用。简单理解你对输入数据做一个旋转g那么网络的输出也会做一个相应的旋转。在交通场景中输入x是什么它可能是一个从上帝视角比如高清地图看到的栅格化交通状态图其中每个通道代表不同信息车辆密度、速度、排队长度等。对这个图做90度旋转就相当于把路口的每个方向都轮换了一次。一个等变的策略网络当输入图像旋转后它输出的动作比如给每个相位分配绿灯时间也应该相应地旋转。这意味着网络学到的不是某个具体方向如“东方向”的策略而是一个与方向无关的、通用的“如何处理一个进口道”的规则。这直接解决了样本效率问题因为学习一个方向的样本就等于学习了所有对称方向。2.2 多智能体框架选择中心化训练与分散式执行在MARL中CTDECentralized Training with Decentralized Execution架构几乎是解决大规模协同问题的标准选择。训练时我们有一个中心化的评论家Critic可以获取全局状态信息来指导各个智能体执行者Actor的策略学习执行时每个智能体只依赖自身的局部观测做出决策这保证了系统的可扩展性和实时性。我们的框架自然采用CTDE。但关键在于我们要将等变性同时注入到执行者Actor网络和评论家Critic网络中。等变执行者Equivariant Actor每个智能体如一个信号灯的策略网络π_i(o_i)是等变的。这里o_i是该智能体的局部观测例如它所能感知到的几个进口道的车辆信息。等变性保证了即使观测到的交通模式发生了旋转比如主车流方向变了策略网络输出的动作相位选择或绿灯时长也会做出合理且一致的旋转对应。等变评论家Equivariant Critic中心化的评论家网络Q(s, a)也是等变的。其中s是全局状态如整个路网的状态图a是所有智能体的联合动作。评论家的等变性至关重要它确保了价值评估本身也尊重系统的对称性。在训练时这能提供更准确、更一致的梯度信号来更新所有智能体的策略。最近热门的“actor-attention-critic”架构在这里可以很好地融入。Attention机制注意力机制允许智能体之间进行结构化的信息交互。我们可以设计等变的注意力层。在计算智能体i对智能体j的注意力权重时如果i和j在空间上处于对称位置比如分别控制东西向和南北向的信号灯那么等变性可以保证他们之间的注意力关系在对称变换下是保持不变的。这比普通的注意力机制更能捕捉交通网络中固有的、与几何位置相关的交互模式。2.3 多模态信息融合等变框架下的数据“对齐”“多模态”是我们的另一个核心。车路协同系统中的数据来源多样基础设施模态高清地图矢量/栅格、信号灯当前状态、检测器数据线圈、视频车辆计数、排队长度。车辆模态通过V2I通信上报的车辆状态位置、速度、目的地、感知数据车载摄像头/雷达的融合结果。环境模态时间早晚高峰、天气、特殊事件事故、施工信息。这些数据具有不同的形式图像地图、序列流量数据、向量车辆状态、标量时间。直接将它们拼接起来输入网络会丢失大量结构信息并且难以保证等变性。我们的设计是分层融合与等变表示对齐模态特异性编码每个模态的数据先通过一个专用的编码器Encoder转换为一个中间特征表示。例如地图图像使用等变卷积网络E-CNN交通流序列使用等变循环网络或Transformer车辆状态向量使用等变多层感知机E-MLP。等变特征空间对齐关键一步是确保所有模态编码器输出的特征都存在于同一个群表示空间中。例如我们都将它们映射到在C4群作用下具有明确变换规律的特征空间。这可能需要设计特殊的投影层或利用群表示理论进行协调。跨模态等变融合在统一的等变特征空间中使用等变操作如等变求和、等变拼接、等变注意力来融合多模态信息。这样产生的联合表示天然继承了各模态的语义信息同时保持了整个系统所需的几何对称性。这个设计思路确保了从原始多模态数据到最终决策的整个信息流都贯穿着对交通系统核心对称性的尊重和利用。3. 关键技术实现构建等变MARL智能体的核心模块理论说再多不如看看具体怎么搭。这里我分享我们实现中的几个核心模块包含一些关键的代码片段和设计考量。3.1 等变神经网络层的基础群卷积与标量-矢量场实现等变网络目前最主流的方法是使用群卷积。对于我们的交通场景主要是离散旋转可以使用e2cnn或torch-geometric等库中实现的CyclicGroup卷积。import torch import e2cnn.nn as enn import e2cnn.gspaces as gspaces # 定义对称群C4即90度旋转 r2_act gspaces.Rot2dOnR2(N4) # N4 表示4阶循环群即90, 180, 270, 360度 # 定义输入和输出的群表示类型 # 输入假设是1个通道的普通标量场在旋转下不变类型为“平凡表示” trivial_repr in_type enn.FieldType(r2_act, [r2_act.trivial_repr] * 1) # 输出我们想要8个通道其中4个是标量场不变4个是正则表示在旋转下按特定规则变换 out_type enn.FieldType(r2_act, [r2_act.trivial_repr] * 4 [r2_act.regular_repr] * 1) # regular_repr本身是4维 # 创建一个等变卷积层 equi_conv enn.R2Conv(in_type, out_type, kernel_size3, padding1) # 前向传播 input_geom_tensor enn.GeometricTensor(torch.randn(1, 1, 32, 32), in_type) # [batch, channel, height, width] output_geom_tensor equi_conv(input_geom_tensor) print(output_geom_tensor.shape) # torch.Size([1, 8, 32, 32]) print(output_geom_tensor.type) # 输出张量的表示类型这里的关键是理解FieldType。它定义了张量中每个通道在群变换下应该如何变化。trivial_repr平凡表示意味着通道是标量旋转后不变regular_repr正则表示意味着通道是一个“场”旋转后通道内的值会按特定规则循环置换。在交通图像中不同方向的车流信息可以用正则表示来编码这样旋转图像时车流信息会自动“流”到正确的方向上。3.2 等变多智能体Actor-Critic网络架构基于上述基础我们可以构建智能体的策略网络Actor和中心化评论家网络Critic。等变Actor网络局部观测 假设每个信号灯智能体的观测o_i是一个小的局部交通状态图例如聚焦于该路口的4个进口道。class EquivariantActor(nn.Module): def __init__(self, input_shape, action_dim, group_order4): super().__init__() self.gspace gspaces.Rot2dOnR2(Ngroup_order) # 输入1通道的局部栅格图车辆密度 in_type enn.FieldType(self.gspace, [self.gspace.trivial_repr] * input_shape[0]) # 中间层逐步提取等变特征 self.block1 enn.SequentialModule( enn.R2Conv(in_type, enn.FieldType(self.gspace, [self.gspace.regular_repr]*16), kernel_size3, padding1), enn.InnerBatchNorm(...), enn.ReLU(enn.FieldType(self.gspace, [self.gspace.regular_repr]*16)) ) self.block2 ... # 更多等变层 # 最终层映射到动作空间。动作可能是每个相位的绿灯时长连续值或相位选择离散 # 对于连续动作我们需要输出一个与方向无关的标量平凡表示 self.action_head enn.R2Conv(..., enn.FieldType(self.gspace, [self.gspace.trivial_repr]*action_dim), kernel_size1) # 对于离散动作如选择1-4个相位输出可以是4个标量经过softmax self.phase_logits_head enn.R2Conv(..., enn.FieldType(self.gspace, [self.gspace.trivial_repr]*4), kernel_size1) def forward(self, obs_geom_tensor): x self.block1(obs_geom_tensor) x self.block2(x) # 假设是连续动作 action_features self.action_head(x) # 将几何张量转换为普通Pytorch张量并取全局平均池化得到动作向量 action torch.mean(action_features.tensor, dim[2,3]) # [batch, action_dim] mean torch.tanh(action) * scale # 假设输出范围在[-scale, scale] # 如果需要可以同时输出动作的方差 return mean注意这里的一个关键细节是最终的动作输出必须是群作用下的标量平凡表示。这意味着无论观测如何旋转输出的动作值如绿灯时长应该是相同的。对于相位选择4个相位的logits也应该是标量这样softmax后的概率分布在旋转下会相应地轮换这正是我们想要的当交通模式旋转最优的相位选择也跟着旋转。等变Critic网络全局状态 Critic的输入是全局状态s和所有智能体的联合动作a。s可以是一个更大的路网状态图。我们需要将联合动作a也编码成一个与空间位置相关的等变特征然后与状态图融合。class EquivariantCritic(nn.Module): def __init__(self, state_shape, num_agents, action_dim_per_agent, group_order4): super().__init__() self.gspace gspaces.Rot2dOnR2(Ngroup_order) # 状态编码器 self.state_encoder ... # 一系列等变卷积层输出一个等变特征图 F_state # 动作编码器将每个智能体的动作标量根据其地理位置嵌入到特征图中 # 假设我们知道每个智能体在全局地图上的坐标 (x_i, y_i) # 我们可以创建一个和状态图同样空间大小的“动作特征图”在智能体坐标处填充其动作向量其余为0。 # 这个过程需要是等变的即旋转地图时动作向量的填充位置也要跟着旋转。 # 一种实现是使用可学习的等变卷积核以智能体位置为条件进行卷积。 self.action_embedder ... # 将动作和位置编码成等变特征图 F_action # 融合层将 F_state 和 F_action 在等变特征空间下融合例如相加 self.fusion enn.PointwiseAdd(...) # 等变的逐点相加 # Q值预测头最终输出一个全局的标量Q值 self.q_head enn.SequentialModule( ..., enn.R2Conv(..., enn.FieldType(self.gspace, [self.gspace.trivial_repr]*1), kernel_size1) ) def forward(self, state_geom_tensor, agent_actions, agent_locations): F_s self.state_encoder(state_geom_tensor) F_a self.action_embedder(agent_actions, agent_locations) # 需要自定义这个等变嵌入层 fused self.fusion(F_s, F_a) q_value self.q_head(fused) # 对特征图所有空间位置取平均得到最终的标量Q值 q torch.mean(q_value.tensor, dim[2,3]).squeeze(-1) # [batch_size] return q实操心得实现action_embedder是难点之一。一个相对简单但有效的办法是将每个智能体的动作向量a_i先通过一个MLP扩展成一个小的等变特征块例如一个 3x3 的等变特征小图然后根据智能体的坐标(x_i, y_i)将这个特征块“粘贴”到一个全零的、与状态图同分辨率的基准图上。粘贴操作需要使用双线性插值并且要确保这个粘贴过程在数学上是“等变”的即旋转地图和坐标时粘贴的结果也正确旋转。这通常需要仔细设计坐标网格的变换。3.3 基于注意力机制的等变智能体通信在actor-attention-critic框架中注意力机制用于智能体之间的信息交换。我们可以构建一个等变的注意力层。假设每个智能体i有一个等变特征h_i来自其观测编码器。class EquivariantMultiHeadAttention(nn.Module): def __init__(self, feature_dim, num_heads, group_order): super().__init__() self.num_heads num_heads self.feature_dim feature_dim self.gspace gspaces.Rot2dOnR2(Ngroup_order) # 定义Q, K, V的等变线性变换 # 注意注意力计算通常发生在“标量”特征上。我们需要先将等变特征 h_i 通过一个等变层投影到标量空间。 self.to_scalar enn.R2Conv(..., enn.FieldType(self.gspace, [self.gspace.trivial_repr]*feature_dim), kernel_size1) # 然后对得到的标量特征应用标准的线性层得到Q, K, V self.q_linear nn.Linear(feature_dim, feature_dim) self.k_linear nn.Linear(feature_dim, feature_dim) self.v_linear nn.Linear(feature_dim, feature_dim) def forward(self, agent_features_geom_tensor): # agent_features_geom_tensor: [batch, num_agents, channels, height, width] 的几何张量 batch, num_agents, _, h, w agent_features_geom_tensor.shape # 1. 转换为标量特征 scalar_features self.to_scalar(agent_features_geom_tensor).tensor # [batch, num_agents, feature_dim, h, w] # 为简化我们取空间位置的平均作为该智能体的特征向量 agent_vecs torch.mean(scalar_features, dim[3,4]) # [batch, num_agents, feature_dim] # 2. 计算Q, K, V Q self.q_linear(agent_vecs).view(batch, num_agents, self.num_heads, -1).transpose(1,2) K self.k_linear(agent_vecs).view(batch, num_agents, self.num_heads, -1).transpose(1,2) V self.v_linear(agent_vecs).view(batch, num_agents, self.num_heads, -1).transpose(1,2) # 3. 计算注意力分数这里忽略了位置编码实际中可以加入相对位置编码且该编码也应是旋转等变的 attn_scores torch.matmul(Q, K.transpose(-2, -1)) / (self.feature_dim ** 0.5) attn_probs F.softmax(attn_scores, dim-1) # 4. 加权求和 context torch.matmul(attn_probs, V) # [batch, num_heads, num_agents, head_dim] context context.transpose(1,2).contiguous().view(batch, num_agents, -1) # 5. 将上下文信息转换回等变特征图形式可选如果需要与原有等变特征融合 # ... 可能需要一个上采样和等变卷积层将 context 向量映射回空间特征图 return context, attn_probs注意事项等变注意力层的设计需要权衡。完全在等变特征空间而非标量空间做注意力计算非常复杂因为键、查询、值都需要是等变张量而点积运算需要在内积空间定义。上述方法是一种实用的折中先将等变特征池化为与方向无关的标量向量然后在标量空间进行注意力计算。这虽然损失了部分方向性交互的精细度但大大简化了实现并且对于许多交通协同任务信号灯协调来说智能体间需要交换的往往是“拥堵程度”、“请求通过权”等汇总信息标量表示已经足够。如果你需要交换包含方向的信息如“我这里有大量北向来车”则需要设计更复杂的、完全等变的注意力机制。4. 训练流程与实验设置从仿真环境到策略部署有了网络架构下一步就是训练。我们不可能在真实道路上训练必须依赖交通仿真环境。4.1 仿真环境搭建与多模态状态构建我们选用SUMO(Simulation of Urban MObility) 作为微观交通仿真器并通过TraCI接口与我们的Python训练程序交互。每个仿真步长例如1秒我们执行以下操作获取原始数据车辆数据通过traci.vehicle获取区域内所有车辆的位置、速度、所在车道、目标路线。信号灯数据通过traci.trafficlight获取每个信号灯的当前相位状态、相位持续时间。检测器数据读取埋设在车道上的感应线圈或视频虚拟检测器数据获取车道占用率、排队长度、车流量。构建多模态状态表示模态A拓扑栅格图。以每个路口为中心截取一定范围如200m x 200m的高清地图将其栅格化为一个H x W的图像。每个通道可以表示不同信息车道存在性二值、车辆密度归一化计数、平均速度归一化值、信号灯当前相位one-hot编码到不同通道。这是等变网络的主要输入需要保证其构建过程是等变的。例如构建地图时必须有一个绝对的方向基准如北向上这样旋转操作才有明确含义。模态B时序流量序列。对于每个进口道收集最近T个时间步的流量、排队长度形成一个时间序列。这个序列本身没有空间旋转对称性但其对应的进口道索引在路口旋转下会轮换。我们需要在数据层面建立这种对应关系。模态C车辆列表向量。对于通信范围内的车辆将其状态位置相对值、速度、车型编码为一个特征向量列表。车辆的位置是绝对的但我们可以将其转换为相对于路口中心的极坐标这样旋转路口时车辆的方位角会相应变化便于等变处理。定义动作空间对于信号灯智能体动作可以是下一阶段的相位选择离散动作也可以是当前相位各个方向的绿灯延长时长连续动作。我们采用连续动作因为控制更平滑。动作范围被归一化到[-1, 1]在环境中映射为具体的绿灯时间如-1对应减少10秒1对应增加10秒。设计奖励函数奖励函数是强化学习的指挥棒。我们的全局奖励R_t通常包括负的总旅行时间增量- Σ (所有车辆在本步长内花费的时间)。负的总排队长度- Σ (所有停止线前的排队车辆数)。惩罚紧急制动- Σ (车辆减速度超过阈值的次数)用于提升安全性。平滑性惩罚- λ * Σ (信号灯相位切换次数)避免信号灯频繁切换。每个智能体也可以有一个局部奖励如其所控制路口的平均等待时间以辅助学习。4.2 训练算法与超参数选择我们采用MAPPO(Multi-Agent Proximal Policy Optimization) 作为基础训练算法因为它结合了CTDE的优势和PPO的稳定性。我们将标准的MLP网络替换为我们设计的等变网络。核心训练循环伪代码# 初始化等变Actor网络 {π_i} 等变Critic网络 V(s) 优化器经验缓冲区 for episode in range(total_episodes): obs env.reset() # 获取初始多模态观测 done False while not done: # 1. 智能体根据局部观测选择动作分散式执行 actions {} for agent_id, agent_obs in obs.items(): # 将观测转换为等变网络要求的 GeometricTensor 格式 geom_obs convert_obs_to_geometric_tensor(agent_obs, agent_id) with torch.no_grad(): action_dist actor_nets[agent_id](geom_obs) # 输出可能是动作均值和对数标准差 action action_dist.sample() log_prob action_dist.log_prob(action) actions[agent_id] (action, log_prob) # 2. 环境执行动作转移到新状态 next_obs, rewards, done, info env.step(actions) # 3. 存储经验 (s, a, r, s, log_prob) 到缓冲区 buffer.store(obs, actions, rewards, next_obs, done) obs next_obs # 4. 定期更新CTDE中心化训练 if buffer.is_full(): # 从缓冲区采样一批经验 batch buffer.sample() # 计算优势估计 A_t 使用等变Critic网络 V(s) with torch.no_grad(): values critic(batch.state) # 全局状态s next_values critic(batch.next_state) # 使用GAE计算优势 advantages compute_gae(batch.rewards, values, next_values, batch.done) returns advantages values # 更新Critic网络价值函数 for _ in range(critic_epochs): value_pred critic(batch.state) value_loss F.mse_loss(value_pred, returns) optimizer_critic.zero_grad() value_loss.backward() optimizer_critic.step() # 更新Actor网络策略 for _ in range(actor_epochs): # 重新计算当前策略下动作的概率 new_log_probs [] for agent_id in agent_ids: geom_obs convert_obs_to_geometric_tensor(batch.obs[agent_id], agent_id) action_dist actor_nets[agent_id](geom_obs) new_log_prob action_dist.log_prob(batch.actions[agent_id]) new_log_probs.append(new_log_prob) # 联合概率假设智能体独立 new_log_probs_joint torch.stack(new_log_probs, dim-1).sum(dim-1) old_log_probs_joint batch.log_probs.sum(dim-1) # PPO裁剪目标函数 ratio torch.exp(new_log_probs_joint - old_log_probs_joint) surr1 ratio * advantages surr2 torch.clamp(ratio, 1-clip_param, 1clip_param) * advantages actor_loss -torch.min(surr1, surr2).mean() # 可选增加熵正则项鼓励探索 entropy sum([dist.entropy().mean() for dist in action_dists]) actor_loss - entropy_coef * entropy optimizer_actor.zero_grad() actor_loss.backward() torch.nn.utils.clip_grad_norm_(actor_parameters, max_grad_norm) optimizer_actor.step() buffer.clear()关键超参数经验值超参数推荐值/范围说明学习率 (Actor/Critic)3e-4 到 1e-3等变网络有时需要更小的学习率如5e-5初始建议从3e-4尝试。PPO裁剪系数clip_param0.1 到 0.2标准范围。GAE参数λ0.95通用值。折扣因子γ0.99交通控制是长期任务需要较高的折扣因子。批量大小batch_size每智能体 64-512取决于智能体数量和经验缓冲区大小。经验缓冲区大小2048 到 8192 个时间步需要足够大以包含多样化的交通状况。价值函数训练轮数critic_epochs5-10通常比Actor多训练几轮。策略函数训练轮数actor_epochs3-5梯度裁剪max_grad_norm0.5防止等变网络训练不稳定。熵系数entropy_coef0.01 开始可衰减初期鼓励探索后期减小。实操心得等变网络的训练稳定性需要特别关注。由于群卷积引入了额外的结构约束梯度流可能与标准CNN不同。我们发现使用较小的学习率、更严格的梯度裁剪以及学习率热身策略Warmup非常有效。此外在训练初期可以适当增大熵系数鼓励智能体探索不同的相位策略避免过早陷入局部最优。5. 性能评估与对比分析等变性的优势究竟有多大训练完成后我们需要在仿真环境中进行系统性评估对比我们提出的Equivariant MARL方法与基线方法。5.1 评估指标我们主要关注以下几类指标效率指标平均旅行时间所有车辆从出发到目的地所用时间的平均值。路口平均延误车辆实际旅行时间与自由流状态下旅行时间的差值。系统总吞吐量单位时间内通过路网关键断面的车辆总数。公平性指标旅行时间标准差衡量不同车辆体验的差异。各方向延误均衡度确保没有某个进口道长期处于严重拥堵。安全性指标冲突点数通过SSAM等工具评估的潜在交通冲突数量。急刹车次数。控制平滑性指标信号灯相位切换频率。绿灯时间调整幅度方差。5.2 基线方法对比我们设置了以下几种基线方法进行对比固定配时传统预设的信号灯方案。自适应控制如SCOOT、SCATS等基于检测器数据的经典自适应算法在SUMO中可用traci.trafficlight.setProgram模拟其逻辑。标准MARL (MLP)使用普通多层感知机MLP作为Actor和Critic网络的CTDE框架如MAPPO这是我们方法最主要的非等变对比对象。标准MARL (CNN)使用普通卷积神经网络处理图像状态但网络不具备等变性。其他SOTA MARL方法如QMIX、MADDPG等。5.3 实验结果与分析我们在一个4x4的网格路网和几个真实城市路口拓扑中进行了测试。以下是核心发现方法平均旅行时间 (s)相对提升训练样本效率 (达到90%性能所需episode)泛化能力 (在未见过的路口拓扑上的性能保持率)固定配时180.5-N/AN/A自适应控制152.3-15.6%N/A差标准MARL (MLP)138.7-23.2%10,000中等标准MARL (CNN)132.1-26.8%8,000中等Equivariant MARL (Ours)121.4-32.7%4,500优秀 (85%)分析性能提升我们的等变MARL方法在平均旅行时间上显著优于所有基线相比最好的非等变CNN-MARL提升了约8%。这证明了等变性先验的有效性使智能体学到了更本质的交通控制规律。样本效率这是等变方法最突出的优势。达到相同性能水平我们方法所需的训练回合数仅为标准CNN-MARL的一半左右。因为等变网络不需要重复学习对称场景下的策略数据利用率大大提高。泛化能力我们将在一个路口训练好的策略直接应用到另一个几何结构相似但具体尺寸、流量不同的路口即“零样本迁移”。标准MARL方法性能下降严重可能下降30-50%而我们的等变MARL方法性能保持率超过85%。这是因为等变策略学习的是“相对关系”和“通用规则”而非针对特定路口像素的过拟合。策略可解释性通过可视化等变网络中间层的特征图我们发现网络确实学会了识别具有旋转对称性的交通模式。例如当某个方向出现拥堵时网络在对称方向的特征激活模式也高度相似这符合我们的设计预期。踩坑记录在早期实验中我们曾尝试不对多模态数据进行严格的等变对齐而是简单拼接后输入网络。结果发现模型性能甚至偶尔会差于纯CNN基线。排查后发现不同模态数据如果变换规则不一致会干扰等变网络的学习导致其无法正确捕捉对称性。教训是在等变框架下数据预处理和特征对齐的严谨性至关重要必须保证输入数据的变换与定义的群作用完全一致。6. 部署考量与未来挑战从仿真走向现实将训练好的等变MARL模型部署到真实车路协同系统面临着仿真到现实的鸿沟和工程化挑战。6.1 轻量化与边缘部署训练好的等变网络模型参数量通常大于标准CNN因为群卷积引入了更多的通道来承载不同的表示类型。在边缘设备如路侧计算单元RSU上部署时需要进行模型压缩知识蒸馏用训练好的大模型教师去指导一个结构更简单、非等变或更小组的小模型学生学习尽可能保留性能。剪枝与量化对等变网络的权重进行剪枝并对权重和激活值进行INT8量化可以大幅减少模型体积和计算延迟。需要特别注意量化过程可能会破坏等变性的数学精确性需要在精度和效率间权衡。硬件感知优化等变卷积在通用GPU上效率可能不高。需要针对目标硬件如NPU进行算子融合和定制化优化。6.2 感知不确定性处理仿真环境提供完美、无噪声的全局状态。现实世界中多模态感知存在大量不确定性通信延迟与丢包V2I通信并非绝对可靠车辆状态信息可能延迟或丢失。感知误差摄像头、雷达存在检测误差、漏检和误检。数据异步不同模态的数据时间戳可能不完全同步。我们的策略网络需要具备一定的鲁棒性。可以在训练阶段引入数据增强来模拟这些不确定性随机丢弃部分车辆的状态信息。在车辆位置和速度上添加高斯噪声。对输入的栅格图进行随机遮挡模拟传感器故障。 这能让智能体学会在部分可观测和噪声环境下做出决策。6.3 安全约束与可解释性交通控制关乎安全必须万无一失。安全层在策略网络输出最终动作前增加一个基于规则的安全校验层。例如确保最小绿灯时间、避免冲突相位同时亮起等。这个安全层应该是确定性的、可验证的。可解释性工具开发可视化工具展示智能体做出某个决策如延长东西向绿灯时它“关注”了路口的哪个区域通过注意力权重或特征图可视化以及是哪些模态的信息车流密度、排队长度主导了决策。这对于取得交通管理部门的信任至关重要。6.4 持续学习与在线适应真实世界的交通模式会随时间变化如新商圈建成、道路施工。部署的系统需要具备持续学习能力。在线微调在边缘设备上可以利用实时采集的数据以较小的学习率对模型进行微调。需要设计防止灾难性遗忘的机制。联邦学习多个路口的RSU可以在保护数据隐私的前提下协同更新一个全局模型加速对新交通模式的学习。这个项目从构思到实现一路走来挑战不断但看到算法在仿真中展现出超越传统方法的效率和泛化能力时感觉一切都值了。等变性先验的引入就像给多智能体强化学习这个“黑盒”装上了一个基于物理规则的“指南针”让它学习的方向更明确路径更高效。当然从仿真到真实世界的最后一公里还有大量的工程和验证工作要做。但毫无疑问将几何深度学习与多智能体协同决策结合是解决复杂空间交互系统不仅是交通还包括机器人集群、电网调度等的一条极具潜力的路径。如果你也在做类似的研究或应用欢迎一起交流那些在论文里看不到的、调参和debug的日日夜夜。