上一篇我们把 FedAvg 跑通了就是最朴素的那套客户端本地训练几轮服务端把参数拿过来做加权平均再分回去循环往复。但如果你拿这套裸的 FedAvg 去跑真实业务数据很快就会发现一个让人抓狂的问题——模型的学习能力像是只有七秒记忆。今天聊的就是联邦学习进阶路上绕不开的坎灾难性遗忘。这篇文章写给那些已经跑通基础联邦流程、正在往非独立同分布数据、多任务、长周期训练方向推进的人我会把问题成因、评估方法、主流解法以及我在实验中的实战参数都摊开说争取让你少踩几个我踩过的坑。1. 把联邦学习做到第二阶段你绕不开灾难性遗忘1.1 灾难性遗忘的三个触发条件很多教程讲联邦学习都会用“保护隐私”开篇但真正把模型放到生产环境之后你遇到的第一个硬骨头往往是“模型怎么越练越偏”。先明确一个概念灾难性遗忘指神经网络在学习新知识后旧知识的性能出现断崖式下跌。不是说稍微掉点精度而是可能从 95% 直接掉到 50%这种“学习即摧毁”的行为在联邦场景里被显著放大了。我总结下来联邦学习中出现严重灾难性遗忘通常有三个触发条件同时存在。第一个是典型的非独立同分布数据。客户端 A 手里全是猫客户端 B 手里全是狗服务端聚合的目的是让模型同时认猫认狗。但神经网络参数是共享的梯度更新在新分布上反复冲刷旧分布的决策边界就被覆盖了。第二个条件是本地多轮训练。每个客户端在本地数据上训练多个 epoch相当于在一个单一分布上连续做多步梯度下降局部模型对本地数据过拟合得越狠全局聚合时“忘得越快”。第三个条件是任务漂移或客户端漂移。今天的客户端集合和明天的客户端集合不一样某一阶段全是旧类别下一阶段插入新类别模型在旧类上的表征会被新类挤压。这三个条件叠加起来就出现了我在实验里反复看到的现象全局模型在新客户端上的精度一路走高同时旧客户端的召回率哗哗往下掉。不少做横向联邦的项目组反馈“模型越训越偏”绝大多数不是聚合逻辑写错了而是灾难性遗忘被当成了普通收敛问题在处理——调学习率、调客户端数怎么调都治标不治本。1.2 典型表现跨客户端遗忘与跨任务遗忘联邦场景里的灾难性遗忘通常呈现出两种形态。第一种是跨客户端遗忘新增客户端接入后全局模型在新增客户端分布上表现很好但老客户端本地数据上的性能明显退化。这种遗忘最容易出现在客户增量式接入的生产系统里比如智能键盘输入法先接入安卓端再接入 iOS 端重复训练后两端都保不住。第二种是跨任务遗忘按时间顺序引入新任务或新类别全局模型在旧任务上的精度持续下滑。这在纵向联邦、按业务周期分批标注的场景中很常见。比如给内容平台做分类第一批只分“科技、体育、娱乐”第二批追加“财经、军事”模型后学财经军事前三个类别的识别率可能直接掉一截。这里有一个很反直觉的点联邦学习区别于普通集中式训练的亮点是数据不汇总但也正因为数据不汇总服务端拿不到旧任务的样本去“复习”遗忘一旦发生服务端连旧数据回放补救的机会都没有。所以做联邦项目时不要天真地以为“多加几个客户端、多训几轮模型自然就均衡了”恰恰相反裸 FedAvg 在非独立同分布条件下的默认行为就是遗忘——它把全局模型强行拉到最近的分布上而不是所有历史分布的平均。2. 先把“遗忘”量化建立可复现的评估流程2.1 评估指标怎么选一句话没有量化就没有优化。我在项目里推荐至少同时看三个指标全局平均精度、各客户端最差精度、平均遗忘度。全局平均精度很好理解把所有客户端测试集的预测结果综合起来算一个准确率但它会掩盖掉“多数客户端稳定、少数客户端崩溃”的不均衡情况。各客户端最差精度则直接反映了短板如果某个客户端的精度从 90% 跌到 40%全局平均可能只掉 5%但你的业务在这个客户端上已经不可用了。平均遗忘度是一个偏学术但非常有诊断价值的指标。对客户端 k定义它在第 t 轮的遗忘度为在过去所有轮次中对客户端 k 达到过的最高精度减去当前轮次在客户端 k 上的精度。公式化一点遗忘度_k(t) max_{s ≤ t} Acc_{k,s} - Acc_{k,t}这个差值越大说明模型在该客户端上“忘得越狠”。把所有客户端平均一下就是这一轮的全局平均遗忘度。我发现一个特别好的用法把遗忘度画成曲线如果曲线一直往上走说明训练过程在不停覆盖旧知识如果曲线先涨后平甚至回落说明抗遗忘机制生效了。2.2 联邦评估的标准打法和一个关键细节评估流程本身不难难的是把它做规范。标准做法是训练到某一轮后服务端把全局模型下发到每个客户端客户端在自己独立的测试集上做预测把精度回传服务端汇总这几个数字。每轮都做会产生较大的通信开销实际项目里可以隔几轮采样一次比如第 5、10、20、50、100 轮各做一次。一个关键细节是测试集的独立性。很多时候大家在客户端本地整理数据时不够严谨测试集里混入了与训练集同分布的数据甚至出现重复样本测出来的精度虚高。更隐蔽的问题是如果你在客户端本地完成训练后直接顺手再测一下本地测试集这时候测的是“这个客户端本地模型自己”的精度而不是“全局模型”在本地数据上的表现。正确流程是客户端用下载下来的全局模型做推断而不是用自己的本地模型做推断。另外如果做的是跨任务遗忘评估还要预留一个“旧任务采样集”。比如第一批训练 0-4 类第二批训练 5-9 类那第一批的测试集必须完整保留用来在第二批训练期间反复测量旧类别的精度。这一点很多人会忽略等训练完想吃后悔药的时候才发现旧测试集已经被覆盖了。3. 主流的抗遗忘方案与选型对比3.1 正则化路线给重要参数上“保险锁”在集中式学习中抗遗忘比较成熟的做法是正则化其中最有代表性的就是 EWC弹性权重巩固。它的核心思想很简单训练新任务时对旧任务重要的参数不要乱动重要度越高参数偏离旧值的惩罚就越大。数学上就是在原始损失函数后加一项正则L L_new (λ / 2) * Σ_i F_i (θ_i - θ_old_i)^2其中 F_i 是参数 θ_i 的 Fisher 信息对角元素衡量该参数对旧任务的重要程度θ_old_i 是旧模型参数。实现时需要在旧任务数据上计算梯度平方的期望来近似 Fisher 矩阵通常取对角线就能得到不错的效果。搬到联邦场景里一个直接的做法是让每个客户端在本地计算 Fisher 信息并上传服务端做加权平均得到全局 Fisher 信息再连同全局模型一起下发给客户端用于下一轮训练。但这里有一个工程上的麻烦Fisher 计算需要额外一次前向和反向传播成本较高。所以项目里经常做近似——不必每轮都算 Fisher每隔几轮更新一次或者用一个滑动平均来平滑不同客户端上传的 Fisher 值。我实测下来每 10 轮更新一次 Fisher 的精度损失很小但计算开销能省掉一半以上。3.2 知识蒸馏路线借旧模型的“软输出”牵住新模型知识蒸馏的思路和正则化不一样。正则化是约束参数空间蒸馏是约束输出空间。做法是把旧模型的输出作为“软标签”新模型在训练时不仅学真实标签还学旧模型的输出分布从而保持对新旧两类知识的一致性。这个思路在联邦场景里非常实用客户端本地训练时可以基于一个历史全局模型快照做蒸馏约束L L_CE(真实标签) α * L_KL(σ(z_old/T), σ(z_new/T))其中 z_old 是旧模型 logitsz_new 是当前本地模型 logitsT 是蒸馏温度。温度越高输出的概率分布越平滑能够把旧模型“对相似类别的犹豫”传递给新模型这种犹豫信息也就是常说的暗知识。实际落地时最省事的方式是服务端保存最近一轮或最近几轮的全局模型快照下发给客户端作为蒸馏目标。但不要直接拿当轮全局模型做蒸馏目标——联邦训练早期全局模型本身还没稳定拿一个还在剧烈震荡的模型当“老师”等于让学生跟着情绪不稳定的老师学。更好的做法是保存最近 5 到 10 轮的平均快照或者直接用指数移动平均的全局模型作为老师稳定性会好很多。3.3 记忆重放路线把旧数据“带回”训练现场记忆重放是直觉上最有效、但工程上最容易踩隐私红线的方法。最朴素的做法是每个客户端在本地保留一小部分旧数据下一轮训练时把它们混进当前批次里一起训练相当于给模型做“错题重做”。这种本地缓冲区的做法不跨客户端、不触犯隐私底线在横向联邦里是相对安全的一种重放。另一种做法是服务端维护一个匿名记忆库客户端把部分数据的特征表示或生成样本上传。这个方向衍生出很多变体例如用生成对抗网络训练一个数据生成器由生成器合成接近真实分布但又不直接暴露原始样本的伪样本。还有一种更轻量的方式叫“特征级重放”客户端只上传每个类别的特征均值、方差等统计量服务端用这些统计量来校准全局模型在旧分布上的表现。重放方案的优点是对强非独立同分布数据的抵抗力最强缺点是复杂度和隐私风险都显著上升。如果项目本身对数据出域有严格管控优先选本地缓冲区不要轻易把数据甚至特征传到中心服务端。3.4 方案怎么选这几年我把三种路线都在自己的实验框架里跑过也见过许多不同行业的落地方案可以用一个表格总结它们的特点方案隐私负担计算开销强异构数据下的效果实现难度正则化EWC 等低中等中等弱遗忘场景够用中等知识蒸馏低中低中等偏强需要维护快照中等记忆重放高取决于重放形式高强效果最直接偏高选型建议分三种情况如果业务数据高度敏感比如医疗、政务优先走“正则化 蒸馏”组合不上任何数据回传方案。如果做内部业务系统模型效果优先可以谨慎引入本地缓冲区或生成式重放。如果项目刚起步、人力有限我建议直接从蒸馏开始搭因为蒸馏不需要复杂的 Fisher 计算也不需要维护大规模记忆库对现有 FedAvg 代码的侵入最小迭代成本最低。4. 实操搭一个带抗遗忘机制的多客户端实验4.1 数据切分与模拟环境理论讲得再多不如跑一个实验来得直接。我用 CIFAR-100 模拟一个强非独立同分布环境具体做法是用 Dirichlet 分布控制每个客户端的类别分布。设置 Dirichlet 参数 alpha0.1 时每个客户端基本只包含少数几个类别的样本这是很强的异构环境最容易暴露灾难性遗忘问题。实验设置为客户端总数 20每轮参与比例 0.2也就是每轮随机挑 4 个客户端。本地训练 epoch 设为 5学习率 0.01优化器用带动量的 SGDmomentum 设 0.9批次大小 32。全局通信轮数 100。模型用一个简化版的 ResNet-18。需要提醒的是如果你的本地轮数过大比如 10 或 20灾难性遗忘会显著加重所以先从 5 开始比较合理。4.2 联邦 EWC 的核心实现我用代码片段说明联邦 EWC 最核心的改动点。服务端维护全局模型和全局 Fisher 信息每一轮先下发模型给客户端客户端本地训练时加上正则项训练完把本地 Fisher 一起上传。# 服务端伪代码 global_model init_model() global_fisher None # 全局重要度矩阵初始为空 for t in range(total_rounds): clients random.sample(range(num_clients), num_active) updates, fishers [], [] for cid in clients: update, fisher client.local_train( global_model, global_fisher, local_epoch5, lr0.01, device_idcid ) updates.append(update) fishers.append(fisher) new_model weighted_average(updates) if t % fisher_refresh_interval 0: global_fisher aggregate_fisher(fishers, weights_by_client_size) global_model new_model客户端本地训练部分最关键的改动是在标准交叉熵损失上叠加 EWC 正则项代码如下# 客户端本地训练伪代码含 EWC 正则 def local_train(global_model, global_fisher): model copy.deepcopy(global_model) old_params copy.deepcopy(global_model.state_dict()) model.train() for epoch in range(local_epoch): for x, y in local_loader: loss_ce nn.functional.cross_entropy(model(x), y) loss_reg 0.0 if global_fisher is not None: for name, param in model.named_parameters(): f global_fisher[name] loss_reg torch.sum(f * (param - old_params[name]) ** 2) loss loss_ce (lam / 2.0) * loss_reg optimizer.zero_grad() loss.backward() optimizer.step() # 计算本地 Fisher 信息 fisher compute_fisher(model, fisher_loader) update get_parameter_delta(model, global_model) return update, fisher计算 Fisher 时取的是梯度平方的期望我这里用了一个简单的实现在本地数据集上做一次完整前向后对每个样本的交叉熵损失求导取梯度的平方后平均以此作为 Fisher 的对角近似。def compute_fisher(model, loader): fisher_dict {} for name, param in model.named_parameters(): fisher_dict[name] torch.zeros_like(param.data) model.eval() for x, y in loader: model.zero_grad() loss nn.functional.cross_entropy(model(x), y) loss.backward() for name, param in model.named_parameters(): if param.grad is not None: fisher_dict[name] param.grad.data ** 2 total len(loader.dataset) for name in fisher_dict: fisher_dict[name] / total return fisher_dict这里有三个容易踩的细节。第一计算 Fisher 前要把模型切换到 eval 模式否则 BatchNorm 的统计量不稳定算出来的重要度有噪声。第二Fisher 最好在本地训练后计算不要用训练前的模型因为训练前模型还没适应当前任务分布梯度平方反映的是“陌生任务”的重要度不是“巩固任务”的重要度。第三如果本地数据量太小算出来的 Fisher 方差会很大建议多个客户端聚合后再下发单客户端的 Fisher 最好别直接用。4.3 参数调优的现场记录我把 EWC 的 lambda 参数从 0 到 100 各跑了一组实验观察全局精度和遗忘度的变化结果非常有参考价值lambda全局精度平均遗忘度观察现象065.2%20.1%精度最高但旧客户端严重遗忘164.3%13.8%精度几乎不掉遗忘明显改善1062.1%7.5%遗忘控制很好但精度开始被压制10055.8%4.9%模型被锁死新任务也学不动了这个结果验证了一个核心矛盾抗遗忘本质上是“保旧”与“学新”之间的权衡。lambda 太小正则项形同虚设lambda 太大模型参数被钉在旧模型附近新数据学不进去。我建议第一次做实验时直接从 lambda1 起步看遗忘度曲线是否仍然走高如果还在走高再往上加到 10 左右。不要一上来就用大 lambda否则你会看到一个“哪都学不好”的僵死模型。蒸馏方案的参数也值得记一笔。温度 T 从 2 到 8 之间调我实测比较稳定的是 T4蒸馏权重 alpha 使用 0.5同时在训练前 30 轮把 alpha 调高到 0.8 帮助稳定后面再降回来。直接全程用大 alpha 会导致模型过于倾向旧输出、新类别学得慢。5. 常见问题与排查技巧实录5.1 “加了 EWC 之后精度反而下降”这是我在社区里被问得最多的一个问题。如果你的 EWC 不但没改善遗忘反而让全局精度掉得很厉害先查三件事。第一lambda 是不是设得太大了从 1 往下调而不是往上加很多人直觉上觉得“效果不够就加力度”但 EWC 里力度过大会直接瘫痪学习能力。第二你的 Fisher 是不是在 eval 模式下计算的如果模型还在 train 模式BatchNorm 的 running mean 在计算过程中被更新梯度的含义已经变了。第三你的本地数据是不是太少了少于 1000 条样本时单个客户端的 Fisher 对角矩阵方差极大最好等多个客户端上传后做一次聚合或者采用滑动平均的方式更新 Fisher。如果问题依旧可以换一种思路不要在整个训练周期都加 EWC采用“预热 正则”两段式。前 30 轮先用纯 FedAvg 让全局模型有一个相对稳定的底座第 30 轮之后再把 EWC 加进去。我在不少实验里发现这种方式比全程加正则的效果更稳定因为早期全局模型本身就在剧烈漂移你没有一个可靠的旧模型做锚点。5.2 “蒸馏温度总是调不对”蒸馏温度 T 的调整是新手最容易困惑的地方。T 太小比如 T1软标签退化成硬标签蒸馏损失几乎没有提供额外信息T 太大比如 T20所有类别的输出都被压成接近均匀分布旧模型的“暗知识”被抹平梯度信号非常弱。我个人的经验是从 T4 起步然后观察蒸馏损失和交叉熵损失的比例是否在一个量级上。如果蒸馏损失远大于交叉熵损失模型会被软标签带着跑需要调低 alpha如果蒸馏损失小到对总损失无感那就是温度太高或者旧模型输出太钝需要适当调高 alpha。另一个小技巧是给蒸馏损失做“温度缩放修正”蒸馏损失实际应该在乘上 T^2 之后再参与求和否则温度变化对梯度的影响会被误解。很多框架实现里忘了这一步你明明调了 T结果梯度幅度和 T 之间关系混乱自然怎么调都不对。5.3 “重放数据有没有隐私风险”这个问题必须正面回答有。本地缓冲区只在客户端内部做数据混排原始样本不出设备风险可控但一旦涉及把样本、特征或生成器上传到服务端就存在数据逆向的风险。就算你做的是匿名化处理神经网络对训练数据有很强的“记忆效应”攻击者可以用模型反推训练样本的大致特征。我的建议是非必要不上传原始样本优先用特征统计量或生成式样本如果一定要上传生成样本务必对生成器本身做差分隐私约束并且在小规模验证集上评估数据泄露风险。5.4 我踩过的几个坑最后分享几个我在实际操作中反复踩的坑希望你能直接跳过。第一个坑是没有保存中间轮次的模型快照。早期做实验图省事只在最后一轮保存模型结果做蒸馏的时候发现没有可用的“历史老师”只好重新训练一遍。现在我的所有联邦项目都会默认每隔 5 轮保存一次全局模型快照磁盘占用不大但关键时刻非常救命。第二个坑是评估时用了和训练混在一起的数据。我有一次做客户端评估图方便直接用了客户端本地数据中的一部分结果精度虚高到 98%加抗遗忘方案之后反而“看不出区别”。后来重新划分严格独立测试集才发现遗忘问题远比想象严重。第三个坑是本地 epoch 设置过大。我一开始把本地 epoch 设为 10以为能让客户端充分学习结果每个客户端都对本地数据严重过拟合服务端聚合出来的模型在客户端之间反复横跳灾难性遗忘特别严重。把本地 epoch 降到 3 到 5 之后全局模型明显稳定很多。这一点在非独立同分布环境下尤其明显。第四个坑是同时把 EWC 和蒸馏的强度都调满结果模型被两股力量锁死。抗遗忘方案不是加得越多越好。我的经验是EWC 和蒸馏同时使用时两边强度都要调低各自保留 0.5 的效果系数再搭配一个轻量的本地缓冲这种组合在多数业务场景下比任何单一方案都稳。我个人在实际项目里的体会是联邦学习里的灾难性遗忘不是一个能靠某个“神器算法”一次性解决的问题它更像是一个需要从数据切分、训练策略、模型快照、评估机制整体设计的系统问题。你越是早一点把遗忘度量化出来越能早一点看清训练过程内部发生了什么。如果你正准备做联邦方向的项目我建议第一件事不是换模型结构也不是换聚合算法而是先把评估和快照机制搭好再用最简单的方法暴露遗忘问题之后再逐步叠加方案——这个过程虽然慢但每一步都能看到变化不会黑盒式地瞎调。