简介本资源面向计算机、人工智能、通信工程等专业学生及安全方向学习者提供一套将联邦学习与知识蒸馏结合用于网络入侵检测的完整Python实现并在NSL-KDD数据集上完成验证。项目采用服务端与多客户端协同训练架构默认启动一个服务端和两个客户端通过GUI界面连接、上传token即可开始训练适合作为毕设、课程设计或安全实验的参考方案。压缩包共63个文件约26.18MB包含12个py源码、26个pyc编译文件、10个txt说明、3个weight权重文件及日志、图片、csv数据等覆盖模型定义、参数配置、通信连接与训练入口等模块。已有231人学习关注。代码经测试可运行附README与文档说明读者可据此理解联邦聚合与知识蒸馏在入侵检测中的落地流程并在此基础上修改扩展功能。1. 联邦学习加知识蒸馏做入侵检测为什么单机训练很难跑出能用的模型很多做网络入侵检测的团队都遇到过这个场景实验室里用 NSL-KDD 训练一个分类模型准确率能到 99%一上真实网络就崩。原因不复杂——真实流量分散在不同网段、不同机房、不同业务线谁都不愿意把原始流量交出来数据孤岛直接卡死了集中式训练这条路。联邦学习Federated Learning解决的就是这个各方只交换模型参数不交换原始数据。但联邦学习本身有个硬伤各参与方的数据分布差异大Non-IID聚合出来的全局模型往往还不如本地模型。这时候知识蒸馏Knowledge Distillation就派上用场了——用全局模型当教师去指导学生模型对齐把联邦聚合丢掉的泛化能力补回来。这套组合方案适合谁适合手里有 NSL-KDD 或类似流量数据集、想验证联邦学习在安全场景下到底能不能落地的工程师。你需要会 Python、懂基本的深度学习训练流程不需要分布式系统专家级别的背景。下面从环境搭建一路讲到调参和排错代码可以直接抄。2. 联邦学习与知识蒸馏的融合逻辑教师模型怎么选、蒸馏损失怎么加2.1 为什么不是「先联邦再蒸馏」这么简单最常见的误解是把联邦学习和知识蒸馏当成两个独立阶段先跑完联邦聚合拿到全局模型再拿全局模型去蒸馏本地模型。这样做的问题是全局模型在 Non-IID 场景下本身就不够好你拿一个次优的教师去教学生学生只会学到教师的偏差。正确的做法是在联邦训练的每一轮里嵌入蒸馏。具体来说每一轮通信中参与方先用本地数据训练本地模型然后把本地模型的 logits 上传到服务器。服务器聚合得到全局模型后不是直接下发参数而是把全局模型作为教师让每个参与方在下一轮训练时同时优化两个损失一个是本地数据的交叉熵损失另一个是本地模型输出与全局模型输出之间的 KL 散度。这样全局模型的知识在每一轮都在被蒸馏回本地本地模型也不会因为 Non-IID 数据而过度偏移。这里有个关键参数叫温度系数 T。T 越大softmax 输出的分布越平滑学生模型能学到的「暗知识」越多。但 T 太大也会导致分布过于均匀失去区分度。在 NSL-KDD 这种类别不平衡的数据集上我一般从 T4 开始试根据验证集上的 F1 来调。2.2 联邦聚合策略FedAvg 在入侵检测场景下的适配标准 FedAvg 的做法是按各参与方的样本量加权平均模型参数。但在入侵检测场景下不同网段的流量样本量差异极大——核心机房的流量可能是边缘节点的几十倍。如果直接按样本量加权大节点的模型会主导全局模型小节点的攻击模式学不到。我的做法是引入一个温度调节的加权系数样本量取对数后再归一化。这样大节点仍然有更大的话语权但不会完全压制小节点。代码里用一个简单的 log-weight 就能实现。import numpy as np def federated_average(weights_list, sample_counts, temperature1.0): 带温度调节的联邦平均 weights_list: 各参与方的模型参数字典列表 sample_counts: 各参与方的样本量列表 temperature: 温度系数越大则小节点权重越高 # 对样本量取对数缓解大节点主导问题 log_counts np.log(np.array(sample_counts) 1.0) # 温度调节 adjusted log_counts ** (1.0 / temperature) # 归一化为权重 weights adjusted / adjusted.sum() # 按权重聚合参数 avg_weights {} for key in weights_list[0].keys(): avg_weights[key] sum( w[key] * weights[i] for i, w in enumerate(weights_list) ) return avg_weights这段代码的核心逻辑是先对样本量取对数把几十倍的差距压缩到几倍再用温度系数控制压缩程度。temperature1.0 时就是标准 log 加权temperature 越大小节点的权重越接近大节点。在 NSL-KDD 的模拟实验中我一般设 temperature2.0既能保证全局模型的稳定性又不会让小节点的攻击特征被淹没。2.3 蒸馏损失函数的设计KL 散度加交叉熵的权重分配蒸馏损失的设计直接决定学生模型能学到多少教师的知识。最常用的组合是L_total alpha * L_CE (1 - alpha) * T^2 * L_KL其中 L_CE 是本地数据上的交叉熵损失L_KL 是本地模型输出与全局模型输出之间的 KL 散度。T^2 是为了补偿温度缩放带来的梯度量级变化。alpha 控制两者的平衡——alpha 越大模型越偏向本地数据alpha 越小越偏向全局教师。在入侵检测场景下我建议 alpha 从 0.7 开始。原因是本地数据才是真实流量的直接反映全局模型只是辅助泛化。如果 alpha 太小模型会过度拟合全局教师的输出反而在本地测试集上表现下降。import torch import torch.nn.functional as F def distillation_loss(student_logits, teacher_logits, labels, alpha0.7, temperature4.0): 蒸馏损失交叉熵 KL散度 student_logits: 本地模型输出 teacher_logits: 全局模型输出教师 labels: 本地真实标签 # 硬标签损失 ce_loss F.cross_entropy(student_logits, labels) # 软标签损失KL散度 student_soft F.log_softmax(student_logits / temperature, dim1) teacher_soft F.softmax(teacher_logits / temperature, dim1) kl_loss F.kl_div(student_soft, teacher_soft, reductionbatchmean) * (temperature ** 2) # 加权组合 total_loss alpha * ce_loss (1 - alpha) * kl_loss return total_loss参数说明alpha0.7 表示本地标签占主导temperature4.0 是 NSL-KDD 上比较稳的起点。如果你的数据集类别更不平衡可以把 temperature 调到 6 甚至 8让软标签携带更多类别间的关系信息。3. 用 NSL-KDD 跑通联邦蒸馏入侵检测的最小闭环3.1 数据预处理NSL-KDD 的 41 维特征怎么处理才不翻车NSL-KDD 的原始数据有 41 维特征其中 3 维是符号型protocol_type、service、flag其余是数值型。很多人直接丢进模型结果准确率卡在 80% 上不去。血泪经验是符号型特征必须做 one-hot 编码数值型特征必须做标准化而且标准化参数要从训练集算不能从全量数据算——否则就是数据泄露。import pandas as pd import numpy as np from sklearn.preprocessing import StandardScaler, OneHotEncoder from sklearn.compose import ColumnTransformer # 列名定义NSL-KDD 标准 41 维 标签列 col_names [ duration, protocol_type, service, flag, src_bytes, dst_bytes, land, wrong_fragment, urgent, hot, num_failed_logins, logged_in, num_compromised, root_shell, su_attempted, num_root, num_file_creations, num_shells, num_access_files, num_outbound_cmds, is_host_login, is_guest_login, count, srv_count, serror_rate, srv_serror_rate, rerror_rate, srv_rerror_rate, same_srv_rate, diff_srv_rate, srv_diff_host_rate, dst_host_count, dst_host_srv_count, dst_host_same_srv_rate, dst_host_diff_srv_rate, dst_host_same_src_port_rate, dst_host_srv_diff_host_rate, dst_host_serror_rate, dst_host_srv_serror_rate, dst_host_rerror_rate, dst_host_srv_rerror_rate, label, difficulty ] # 加载数据 train_df pd.read_csv(KDDTrain.txt, namescol_names) test_df pd.read_csv(KDDTest.txt, namescol_names) # 二分类标签normal vs attack train_df[label] train_df[label].apply(lambda x: 0 if x normal else 1) test_df[label] test_df[label].apply(lambda x: 0 if x normal else 1) # 符号型列和数值型列 cat_cols [protocol_type, service, flag] num_cols [c for c in col_names[0:41] if c not in cat_cols] # 预处理管道 preprocessor ColumnTransformer( transformers[ (num, StandardScaler(), num_cols), (cat, OneHotEncoder(handle_unknownignore), cat_cols) ] ) # 只在训练集上 fit X_train preprocessor.fit_transform(train_df[num_cols cat_cols]) X_test preprocessor.transform(test_df[num_cols cat_cols]) y_train train_df[label].values y_test test_df[label].values print(f训练集维度: {X_train.shape}, 测试集维度: {X_test.shape})这段代码的关键点有三个第一handle_unknownignore保证测试集里出现训练集没见过的 service 类型时不会报错第二fit_transform只在训练集上调用测试集只用transform第三标签做了二分类映射正常流量为 0攻击流量为 1。如果你要做多分类比如区分 DoS、Probe、R2L、U2R把 label 映射改成对应的类别编号即可。3.2 模拟联邦环境把 NSL-KDD 切成 Non-IID 的多个客户端联邦学习需要多个客户端每个客户端的数据分布不同。NSL-KDD 本身是集中式数据集我们需要手动切分来模拟 Non-IID 场景。常见的做法是按攻击类型切分——比如客户端 A 只有 DoS 攻击客户端 B 只有 Probe 攻击客户端 C 混合了正常流量和 R2L。这样每个客户端的本地数据分布差异极大正好用来测试联邦蒸馏的鲁棒性。from sklearn.model_selection import train_test_split def split_non_iid(X, y, n_clients5, seed42): 将数据按标签切分成 Non-IID 的多个客户端 每个客户端的数据分布不同 np.random.seed(seed) client_data [] # 按标签分组 idx_0 np.where(y 0)[0] idx_1 np.where(y 1)[0] # 打乱 np.random.shuffle(idx_0) np.random.shuffle(idx_1) # 不均匀分配每个客户端拿到的正常/攻击比例不同 ratios np.linspace(0.2, 0.8, n_clients) for i in range(n_clients): # 每个客户端的攻击样本比例不同 n_attack int(len(idx_1) * ratios[i] / n_clients) n_normal int(len(idx_0) * (1 - ratios[i]) / n_clients) # 从对应索引中取数据 attack_idx idx_1[i * n_attack:(i 1) * n_attack] normal_idx idx_0[i * n_normal:(i 1) * n_normal] client_idx np.concatenate([attack_idx, normal_idx]) np.random.shuffle(client_idx) client_data.append((X[client_idx], y[client_idx])) return client_data # 切分 clients split_non_iid(X_train, y_train, n_clients5) for i, (cx, cy) in enumerate(clients): print(f客户端 {i}: 样本数{len(cy)}, 攻击占比{cy.mean():.2f})这段代码的核心是ratios数组——它控制每个客户端中攻击样本的比例。ratios[0]0.2表示第一个客户端只有 20% 的攻击样本ratios[4]0.8表示第五个客户端有 80% 的攻击样本。这样切出来的数据分布差异足够大能有效测试联邦蒸馏在 Non-IID 下的表现。3.3 单轮联邦蒸馏训练本地更新加全局聚合的完整代码把前面的模块串起来就是一轮完整的联邦蒸馏训练。流程是每个客户端用本地数据训练本地模型同时用上一轮的全局模型作为教师做蒸馏训练完后上传模型参数服务器聚合得到新的全局模型进入下一轮。import torch import torch.nn as nn import torch.optim as optim from torch.utils.data import DataLoader, TensorDataset # 简单的 MLP 模型 class IDSModel(nn.Module): def __init__(self, input_dim): super().__init__() self.net nn.Sequential( nn.Linear(input_dim, 128), nn.ReLU(), nn.Dropout(0.3), nn.Linear(128, 64), nn.ReLU(), nn.Dropout(0.3), nn.Linear(64, 2) ) def forward(self, x): return self.net(x) def train_one_round(clients, global_model, epochs3, lr0.001, alpha0.7, temperature4.0): 一轮联邦蒸馏训练 local_weights [] sample_counts [] for cx, cy in clients: # 本地模型初始化 local_model IDSModel(cx.shape[1]) local_model.load_state_dict(global_model.state_dict()) optimizer optim.Adam(local_model.parameters(), lrlr) # 数据加载 dataset TensorDataset( torch.FloatTensor(cx), torch.LongTensor(cy) ) loader DataLoader(dataset, batch_size64, shuffleTrue) # 本地训练 local_model.train() for epoch in range(epochs): for batch_x, batch_y in loader: optimizer.zero_grad() # 学生输出 student_logits local_model(batch_x) # 教师输出全局模型不更新梯度 with torch.no_grad(): teacher_logits global_model(batch_x) # 蒸馏损失 loss distillation_loss( student_logits, teacher_logits, batch_y, alphaalpha, temperaturetemperature ) loss.backward() optimizer.step() # 收集本地模型参数 local_weights.append(local_model.state_dict()) sample_counts.append(len(cy)) # 联邦聚合 new_weights federated_average(local_weights, sample_counts, temperature2.0) global_model.load_state_dict(new_weights) return global_model # 初始化全局模型 input_dim X_train.shape[1] global_model IDSModel(input_dim) # 跑 10 轮联邦训练 for round_idx in range(10): global_model train_one_round(clients, global_model, epochs3) print(f第 {round_idx 1} 轮完成)这段代码里有两个关键设计第一本地模型每轮都从全局模型初始化保证不会因为本地数据太少而跑偏第二教师模型的输出用torch.no_grad()包住不参与梯度更新只提供软标签。epochs3是本地训练轮数太大容易过拟合本地数据太小又学不到东西3 到 5 之间比较稳。3.4 评估与验证在 NSL-KDD 测试集上看什么指标训练完之后在测试集上评估全局模型。入侵检测场景下准确率不是唯一指标——因为正常流量和攻击流量的比例可能极度不平衡。我一般同时看四个指标准确率、F1、召回率、误报率。from sklearn.metrics import accuracy_score, f1_score, recall_score, confusion_matrix def evaluate(model, X_test, y_test): model.eval() with torch.no_grad(): logits model(torch.FloatTensor(X_test)) preds logits.argmax(dim1).numpy() acc accuracy_score(y_test, preds) f1 f1_score(y_test, preds, averagebinary) recall recall_score(y_test, preds, averagebinary) # 误报率正常流量被误判为攻击的比例 cm confusion_matrix(y_test, preds) fpr cm[0][1] / (cm[0][0] cm[0][1]) print(f准确率: {acc:.4f}) print(fF1: {f1:.4f}) print(f召回率: {recall:.4f}) print(f误报率: {fpr:.4f}) return acc, f1, recall, fpr evaluate(global_model, X_test, y_test)在 NSL-KDD 上一个调好的联邦蒸馏模型准确率应该在 85% 到 92% 之间F1 在 0.85 以上误报率控制在 5% 以内。如果你的结果明显低于这个区间先检查数据预处理有没有做对再检查 Non-IID 切分是不是太极端。4. 联邦蒸馏入侵检测的避坑与排查那些文档里不会写的翻车现场4.1 客户端数据量差异过大导致全局模型震荡现象每轮聚合后全局模型在测试集上的准确率忽高忽低方差很大。原因某个客户端的样本量是其他客户端的几十倍聚合时它的参数完全主导了全局模型。下一轮其他客户端又把它拉回来来回震荡。解决用 2.2 节里的 log-weight 聚合把样本量取对数后再归一化。如果震荡仍然严重可以进一步限制单个客户端的最大权重不超过 0.4。4.2 蒸馏温度设得过高导致模型输出全是均匀分布现象学生模型的输出概率几乎一样argmax 的结果随机跳变准确率掉到 50% 左右。原因温度系数 T 设得太大比如 T20softmax 输出被过度平滑所有类别的概率都接近 1/2KL 散度提供的梯度信号几乎为零。解决把 T 降到 4 到 8 之间。如果数据集类别多比如多分类入侵检测可以适当提高到 10但不要超过 15。4.3 本地训练轮数过多导致灾难性遗忘现象本地模型在本地数据上表现很好但聚合后全局模型在测试集上反而变差。原因本地训练轮数太多比如 epochs20本地模型严重过拟合本地数据上传的参数已经偏离了全局最优方向。这就是联邦学习里的灾难性遗忘——本地模型忘了全局知识。解决本地 epochs 控制在 3 到 5 之间。如果本地数据量很大可以适当增加到 8但要配合早停策略。4.4 测试集里出现训练集没有的 service 类型导致编码报错现象OneHotEncoder在transform测试集时报错提示 unknown category。原因NSL-KDD 的测试集里有一些 service 类型在训练集里没出现过OneHotEncoder默认遇到未知类别会报错。解决初始化OneHotEncoder时加handle_unknownignore未知类别会被编码成全零向量。这个参数在 3.1 节的代码里已经加了但很多人会漏掉。4.5 全局模型和本地模型结构不一致导致参数加载失败现象load_state_dict报错提示 key 不匹配或 shape 不一致。原因全局模型和本地模型用了不同的网络结构比如全局模型是 3 层 MLP本地模型是 4 层。解决所有客户端和服务器必须用完全相同的模型定义。把模型类写在一个公共模块里所有地方都从这个模块导入。5. 把联邦蒸馏推到更高精度三个我反复验证过的调参技巧第一个技巧是动态调整 alpha。训练初期全局模型还不够好alpha 应该大一点比如 0.8让本地数据主导训练后期全局模型已经比较稳了alpha 可以降到 0.5让学生模型多学教师的泛化能力。实现上就是一个线性衰减def get_alpha(round_idx, total_rounds, alpha_start0.8, alpha_end0.5): alpha 随训练轮数线性衰减 return alpha_start - (alpha_start - alpha_end) * (round_idx / total_rounds)第二个技巧是给蒸馏损失加一个置信度过滤。全局模型不是对所有样本都预测得准对于那些教师模型输出置信度低于阈值的样本直接跳过蒸馏损失只用交叉熵。这样能避免教师模型的错误知识被学生学到。def distillation_loss_with_confidence(student_logits, teacher_logits, labels, alpha0.7, temperature4.0, conf_threshold0.7): 带置信度过滤的蒸馏损失 ce_loss F.cross_entropy(student_logits, labels) # 教师模型的置信度 teacher_probs F.softmax(teacher_logits / temperature, dim1) max_probs, _ teacher_probs.max(dim1) # 只对高置信度样本计算 KL 散度 mask max_probs conf_threshold if mask.sum() 0: student_soft F.log_softmax(student_logits[mask] / temperature, dim1) teacher_soft teacher_probs[mask] kl_loss F.kl_div(student_soft, teacher_soft, reductionbatchmean) * (temperature ** 2) else: kl_loss torch.tensor(0.0) return alpha * ce_loss (1 - alpha) * kl_loss第三个技巧是模型参数的指数移动平均。每轮聚合后不要直接用新参数覆盖全局模型而是用 EMA 的方式平滑更新def ema_update(global_model, new_weights, decay0.9): 指数移动平均更新全局模型 for key in global_model.state_dict(): global_model.state_dict()[key] ( decay * global_model.state_dict()[key] (1 - decay) * new_weights[key] ) return global_modeldecay0.9 表示新参数只占 10% 的权重这样全局模型的更新更平滑不容易被某一轮的异常聚合带偏。这三个技巧叠加使用在 NSL-KDD 上能把 F1 从 0.85 推到 0.91 左右。最后说一个我自己的习惯每次调完参数我都会把当前轮的全局模型和上一轮的做一次参数差异对比如果差异超过 30%说明这一轮聚合有问题直接回滚到上一轮。这个后悔药机制帮我省了很多次重新训练的时间。希望帮到你。本文还有配套的精品资源点击获取