简介面向自动驾驶安全、计算机视觉与联邦学习交叉方向的学生和开发者聚焦分心驾驶检测任务提供基于VGG19、EfficientNet和ResNet50三种模型的Python实现并在联邦学习框架中引入Shapley值与激励机制适合用于毕业设计、课程设计、算法对比或项目初期演示。压缩包共21个文件包含11个Python源码文件、3个Markdown说明文档、3张PNG示意图及txt依赖清单等辅助材料整体约99KB体积小巧目录按数据生成、模型定义、联邦训练、工具函数、结果保存等模块划分便于按需阅读和二次开发。目前已有151人学习下载。代码经作者测试运行通过答辩评审平均分达96分下载后可通过配套说明文档先理解整体流程再针对模型、噪声数据生成与激励机制等关键环节做修改或复现也可直接作为毕设、课设和答辩演示的完整参考。1. 从一个车队数据不能出园区说起做车载视觉的同行应该有共鸣商用车队的分心驾驶视频基本拿不出园区合规部门不批数据Owner也不愿意把摄像头原始录像交给第三方网约车平台之间更不可能共享司机面部视频。但分心驾驶检测模型又需要大量真实驾驶数据才能在小动作多、光线乱的场景里稳住精度。这个标题给的解法是把VGG19、ResNet50、EfficientNet三个主流的图像分类backbone塞进联邦学习框架让每一份司机数据留在本地各端只上传模型参数服务端做聚合。这篇笔记把从数据集整理、客户端划分、FedAvg聚合到三类模型对比的完整路径展开中间章直接给可跑的Python代码和超参建议。适合正在做车载视觉、边缘AI或隐私计算项目的工程师和研究生也适合想把联邦学习落地到图像分类任务但还卡在框架验证阶段的人。2. 为什么偏偏是联邦学习以及三个backbone怎么选2.1 分心驾驶数据天生不适合集中训练分心驾驶检测的常规做法是收集车内摄像头画面标注成正常驾驶、打电话、喝水、看手机等类别然后训练一个图像分类模型。数据本身倒不复杂复杂的是数据根本汇聚不到一个地方。车内摄像头画面属于个人生物特征数据集中收集意味着要过隐私合规、跨公司数据协议、传输链路加密和存储安全几道关。联邦学习的价值恰好在这模型参数在客户端本地更新服务端只做聚合原始图像不出设备。分心驾驶场景还有一个特性让联邦学习特别合适数据天然是Non-IID的。A车队的司机驾驶习惯偏高速B车队的车辆以市内通勤为主摄像头安装角度和车内光照条件也不同。如果强行把各方数据拉到一起模型要同时适配这些分布差异训练数据标注口径还不一定一致。联邦学习不要求数据同分布每个客户端根据自己的数据做本地更新服务端聚合后得到一个覆盖全局分布的模型。这个建模方式比中心化训练更贴合车端数据的真实形态。训练框架上联邦学习仍是以PyTorch或TensorFlow为底座的单机训练流程只是多了一个参数聚合环节。PyTorch在这类任务里是常用选择三个backbone都有现成的预训练权重torchvision几行就能载入。环境就是常规的Python加PyTorch不需要特殊的分布式集群单机多卡甚至纯CPU都能跑通模拟实验。2.2 VGG19、ResNet50、EfficientNet三套backbone的取舍这三个模型在这个标题里不是随便拼起来的它们代表了图像分类backbone的三条路线验证的也不是谁精度更高而是联邦学习框架对不同模型结构的适应性。VGG19的结构最规整卷积层堆叠简单预训练权重好找任何一台机器都能载入。它的参数量很大常用作联邦学习实验的baseline——先用它把整个pipeline跑通再换更轻的模型对比效果。ResNet50的残差结构解决了深层网络的梯度衰减问题收敛行为稳定参数量适中适合做精度优先但又不牺牲太多训练速度的实验。EfficientNet是神经架构搜索加复合缩放的产物B0级别的参数量明显低于前两者训练和推理开销小更适合最终往车机端迁移。三个模型对联邦学习的影响主要体现在通信体积和本地收敛行为上。每次联邦轮次客户端要上传整个模型的参数或梯度VGG19一轮就要传上百MB的浮点数EfficientNet则小一个量级。三个模型放一起对比能直观看到模型大小如何影响联邦训练的通信开销。参数对比表如下维度VGG19ResNet50EfficientNet-B0参数量级亿级最大的那个千万级百万级结构特点深层卷积堆叠残差连接复合缩放MBConv单机收敛速度较慢适中快迁移预训练权重难度容易容易容易联邦通信开销高中低适合角色baseline验证精度优先端侧部署选型逻辑不复杂先VGG19验证联邦框架和数据处理流程没有bug再上ResNet50做精度对比最后用EfficientNet验证轻量模型在同样聚合策略下的掉点幅度。三个模型共用同一个预处理和聚合代码只是换一下模型构造函数整个对比实验的工程量可控。3. 数据准备先把数据集整理成能喂给联邦学习的样子3.1 从公开竞赛数据集到按司机划分的联邦客户端分心驾驶检测最有名的公开数据集是State Farm竞赛数据集网上有镜像可下。它按司机ID组织每个司机的图片是连续的驾驶录像帧标注为10类c0正常驾驶c1到c9对应打电话、喝水、化妆、操作中控等分心行为。用这个数据集做联邦学习实验有一个关键点客户端必须按司机ID划分不能按图片随机划分。随机划分图片会让同一个司机的数据同时出现在多个客户端里相当于人为抹掉了Non-IID特性联邦学习和中心化训练的差异就体现不出来。按司机划分后不同客户端的数据分布天然不一样有的司机可能开车时很少喝水有的司机频繁看手机每个客户端内部的类别分布都是有偏的。# 按司机ID划分联邦客户端而不是随机打乱图片 import pandas as pd from collections import defaultdict df pd.read_csv(train.csv) # label列: c0正常驾驶, c1~c9为分心行为 df[label] df[label].str.replace(c, ).astype(int) # 以司机ID为粒度切分保留真实场景的Non-IID特性 client_data defaultdict(list) for row in df.itertuples(indexFalse): client_data[row.subject].append((row.img, row.label)) # 查看每个客户端的数据量和类别覆盖情况 for cid, items in client_data.items(): labels {label for _, label in items} print(f司机 {cid}: {len(items)} 张图片, 覆盖 {len(labels)} 类)这段代码会输出每个司机的图片数量和类别覆盖数。训练前要检查类别覆盖情况如果某个司机只有两三张图片这个客户端在联邦训练里的贡献基本是噪声。常见做法是设定一个数据量下限比如少于20张的司机直接并入相邻客户端或者从客户端列表剔除。这个数据量过滤逻辑写在数据准备阶段不要等到训练时再处理。3.2 图像预处理参数三个模型共用一套归一化三个backbone都基于ImageNet预训练权重初始化预处理必须和预训练时的输入分布对齐否则迁移学习的效果会大打折扣。统一用224x224输入归一化均值取[0.485, 0.456, 0.406]标准差取[0.229, 0.224, 0.225]这是ImageNet预训练模型的通用参数。from torchvision import transforms # 训练集先放大再随机裁剪模仿驾驶场景中目标位置的小幅偏移 train_tf transforms.Compose([ transforms.Resize((256, 256)), transforms.RandomCrop(224), transforms.RandomHorizontalFlip(), transforms.ToTensor(), transforms.Normalize(mean[0.485, 0.456, 0.406], std[0.229, 0.224, 0.225]), ]) # 验证集/测试集直接中心裁剪不做随机增强 val_tf transforms.Compose([ transforms.Resize((224, 224)), transforms.ToTensor(), transforms.Normalize(mean[0.485, 0.456, 0.406], std[0.229, 0.224, 0.225]), ])训练集先Resize到256再做RandomCrop是迁移学习里的常规操作相当于给目标位置和尺度加了一点扰动。RandomHorizontalFlip对车内场景是合理的因为左右手动作在镜像后仍然语义一致。不建议在联邦学习场景上AutoAugment或RandAugment这类强增强原因后面避坑章节会展开强增强会让每个客户端在本地数据上分布发散聚合后反而掉点。预处理完成后每个客户端用自己的train_tf构建DataLoader验证统一用val_tf保证三个模型在同一个数据口径下比较。4. 联邦训练框架本地更新加FedAvg跑通最小闭环4.1 本地训练每个客户端只改几轮就交回参数本地训练的核心是控制更新幅度。联邦学习的常见误区是让每个客户端在自己的数据上训练到充分收敛再回传模型。这会让客户端模型严重偏向本地数据分布服务端聚合后得到的是一个四不像。正确做法是限制local_epoch通常设为1到5个epoch让客户端在全局模型的基础上做小幅修正。import torch import torch.nn.functional as F def local_train(model, loader, lr1e-3, local_epoch1): model.train() # 微调阶段只更新分类头骨干层冻结减少通信参数量 opt torch.optim.SGD(model.fc.parameters(), lrlr, momentum0.9) for _ in range(local_epoch): for x, y in loader: x, y x.to(device), y.to(device) out model(x) loss F.cross_entropy(out, y) opt.zero_grad() loss.backward() opt.step() # 只回传state_dict避免整个模型对象的序列化开销 return {k: v.clone() for k, v in model.state_dict().items()}这里有几个参数值得细说。学习率用1e-3而不是默认的1e-2或更大因为联邦场景下每个客户端只训练几步学习率过大会让更新步长不稳定。优化器用SGD加momentum它在联邦聚合中的表现比Adam更平稳Adam的自适应学习率容易让不同客户端产生较大差异的更新方向聚合时互相抵消。train阶段只更新model.fc因为在联邦模拟实验中骨干层的预训练特征已经足够好微调分类头即可完成分心驾驶分类任务。如果数据量充裕也可以解冻更多层但通信参数量会同步上升。返回的是state_dict的克隆副本而不是模型对象这一步是减少Python对象pickle开销的实际做法在客户端数量一多的时候差距非常明显。4.2 服务端聚合FedAvg按样本量加权客户端按比例采样每个客户端完成本地训练后把参数发给服务端。服务端不关心梯度只关心参数FedAvg的核心思想是对各客户端的参数做按样本量加权的平均。样本多的客户端本地更新贡献更大权重自然更高。代码实现不复杂难在理解为什么要按样本量加权而不是简单平均。import random def fed_avg(global_dict, client_dicts, client_sizes): total sum(client_sizes) new_dict {} for key in global_dict: # 按样本量加权叠加样本多的客户端影响更大 weighted torch.stack( [cd[key].float() * (size / total) for cd, size in zip(client_dicts, client_sizes)] ).sum(0) new_dict[key] weighted return new_dict for rnd in range(rounds): # 每轮按比例采样客户端减少通信开销 sampled random.sample(clients, max(1, int(len(clients) * client_fraction))) updates, sizes [], [] for cid in sampled: loader make_dataloader(cid, batch_size32) # 每个客户端从同一个全局参数出发训练保证聚合口径一致 updates.append(local_train(model, loader, lr1e-3, local_epoch1)) sizes.append(len(loader.dataset)) state_dict fed_avg(model.state_dict(), updates, sizes) model.load_state_dict(state_dict) acc evaluate(model, val_loader) print(fround {rnd1}: acc {acc:.3f})这个循环是联邦学习的最小闭环。每轮开始前用random.sample从客户端列表中采样client_fraction典型值是0.2到0.5全量客户端参与在数据量大的时候通信压力太大联邦学习的核心资源瓶颈就在通信。每轮采样后被选中的客户端从当前的全局state_dict出发训练保证大家更新同一个起点这是FedAvg能够收敛的前提。最后按样本量加权聚合载入全局模型评估验证集准确率。超参表如下参数推荐值调整方向local_epoch1~5越大本地拟合越强超过5容易灾难性遗忘client_fraction0.2~0.5越小通信越省但收敛更慢rounds50~200看验证集是否进入平台期batch_size16~64取决于客户端本地数据量lr1e-3联邦聚合下不宜过大这一套模拟代码跑通后就已经具备联邦学习的基本框架了。接下来要解决的是实际操作中谁跑谁知道的问题。5. 联邦学习训练避坑收敛慢、灾难性遗忘和通信体积5.1 客户端数据类别不全本地模型偏置导致聚合后全局模型丢类现象聚合后验证集整体准确率还行但某一两个分心类别的准确率特别低有时直接归零。原因按司机划分客户端后很多司机只覆盖了10个类别中的6到7个。某个客户端缺少喝水类别的数据本地训练时分类头会把喝水样本错分到相近的叫打电话类别上回传的参数带着这种偏置。服务端聚合时如果这个客户端样本量还不小偏置就被放大到全局模型里。解决客户端划分后检查每个客户端的类别覆盖数过滤掉类别数少于5的司机。如果数据实在少每个客户端在本地训练时对分类头用类别加权损失给样本少的类别更高的惩罚权重。这个检查写在数据准备阶段不要在训练中途补救。5.2 local_epoch设太大联邦版灾难性遗忘现象训练初期准确率稳步上升某几轮之后突然单类准确率断崖式下跌再几轮又恢复整体曲线像锯齿。原因local_epoch从1加到10后每个客户端会在本地数据上反复拟合模型逐渐遗忘其他客户端的数据分布。这个现象和单机训练里的灾难性遗忘机制一致联邦场景下更隐蔽因为每轮聚合会把不同程度的遗忘叠加到一起。解决先把local_epoch压回1到3观察锯齿是否消失。如果还想加强本地拟合优先调大rounds而不是调大local_epoch。另一种做法是给本地训练加一个proximal项约束客户端参数不要偏离全局参数太远在PyTorch里就是给loss加一项参数距离惩罚改动很小但能明显改善稳定性。5.3 BN层统计量在聚合后错位EfficientNet掉点尤其明显现象VGG19和ResNet50聚合后验证准确率波动不大EfficientNet一换上去聚合后第一轮验证准确率掉5个点以上。原因BN层每个batch会更新running_mean和running_std不同客户端本地数据分布不一致回传的BN统计量五花八门。FedAvg直接对参数做加权平均会把统计量也平均掉导致全局模型在预测时用了一套和任何真实分布都不匹配的归一化统计量。VGG19没有大量BN层所以不明显ResNet50有BN但数量少EfficientNet里的MBConv块大量依赖BN问题立刻暴露。解决一个做法是FedAvg聚合时跳过所以BN层的running_mean和running_std聚合完成后在服务器端跑一遍训练集子集重新估计统计量。更简单的做法是预测阶段用全局模型的BN参数不更新并且聚合时对BN层参数做简单平均而不按样本量加权。5.4 正常驾驶类别占大头准确率虚高假象现象验证集整体准确率93%看着已经能部署一打开混淆矩阵发现只是把大量正常驾驶样本全部猜对分心驾驶类别平均召回率不到60%。原因State Farm数据集中c0正常驾驶的样本量远大于其他类别联邦学习各客户端本地数据同样有这个不平衡。准确率被大类别拉高模型实际对分心动作的识别能力很弱。解决评估指标改成两个——整体准确率只做参考核心看分心类别c1到c9的平均召回率。训练时可以按类别重采样让每个batch里每个类别出现的概率尽量均衡。这个技巧单机训练也适用但联邦场景下还要确认重采样在各客户端本地完成而不是在服务端否则等于共享了数据分布信息。5.5 通信体积超预算一轮联邦训练要传几十GB现象用VGG19做实验时每轮采样20个客户端一轮训练结束后通信模块传输了超过2GB的数据跑到100轮直接放弃。原因VGG19参数量亿级PyTorch默认用float32存储参数字典一参四个字节单个客户端一轮更新就要传几百MB。联邦学习的瓶颈本来就是通信模型越大越明显。解决项目里先用EfficientNet做高频实验验证超参最后再用ResNet50和VGG19跑两轮对比精度。如果一定要用大模型对上传的参数量化到8bit能直接把通信体积砍到四分之一精度损失在分心驾驶类别这个任务里可以控制在1个点以内。6. 用分类别指标和部署边界收尾三模型对比到底看什么6.1 用每类召回率和混淆矩阵判定联邦聚合效果别只看总准确率。联邦学习实验做完第一件要跑的是分类别指标代码def per_class_recall(model, loader, num_classes10): model.eval() correct [0] * num_classes total [0] * num_classes with torch.no_grad(): for x, y in loader: out model(x) pred out.argmax(1) for i in range(len(y)): label y[i].item() total[label] 1 if pred[i].item() label: correct[label] 1 return {i: correct[i] / max(total[i], 1) for i in range(num_classes)}这段代码输出10个类别各自的召回率。理想情况下联邦训练的模型在正常驾驶类别上的准确率会很高分心类别里打电话和看手机这类头部动作也好识别真正要盯的是喝水、化妆、操作中控这类小幅度动作。三个backbone的比较结论一般会是ResNet50的分类别召回率最均衡EfficientNet在头部类别上和ResNet50接近VGG19的总体表现略差且训练耗时最长。6.2 三个模型的部署边界和再训练路径VGG19适合只做pipeline验证不建议作为最终方案它一轮联邦训练的通信成本已经能说明问题。ResNet50适合精度优先、不迫切考虑端侧推理成本的场景比如车队后台离线分析。EfficientNet则是往车机端部署的首选它的参数量允许进一步量化到8bit压缩后可以在低算力盒子上跑。如果这只是一个课题或课程项目三模型对比做完整个方案的技术路线已经完整了如果是真实部署建议把联邦训练的产物作为初始权重在目标车队的一小块带标注数据上再做一次微调效果会比直接使用聚合模型更稳。我自己的习惯是每轮实验都跑这个分类别指标脚本并把三个模型的指标、参数量、单轮通信体积整理到同一张表里再下结论。这套流程多跑几轮你会发现联邦学习调参比单机训练更像玄学的地方但先把数据和指标口径统一好再谈玄学才有意义。希望帮到你。本文还有配套的精品资源点击获取