简介面向网络安全方向课程设计与期末大作业的机器学习入侵检测项目基于KDD Cup数据集实现网络流量识别与异常检测借助CNN等模型可将正确率提升至99.5%。压缩包共16个文件、整体约17.51MB核心为多个Python源码文件含CNN训练入口与处理脚本并配以gzip压缩的数据集、xml配置及Markdown说明文档目录结构清晰便于直接运行与二次开发。当前已有109人学习下载。资源内代码注释完整项目说明覆盖数据处理、特征工程、模型训练与评估等关键环节新手也能快速理解并部署同时附带README备份与日志辅助工具适合用于课程设计、期末大作业或作为入侵检测入门参考。预处理与模型模块相对独立便于替换数据集或调整网络结构具备不错的可扩展性。1. 99.5% 的检测正确率先搞清楚这个数字是在哪张表上算出来的看到「基于机器学习实现的网络入侵检测」附带「正确率可达 99.5%」第一反应不应该是激动而是先问一句这个正确率是在哪张表上算出来的。做网络入侵检测NIDS的人都知道公开数据集里最常见的 NSL-KDD 有一条分水岭——在训练集随机划分的验证集上随机森林拿到 99% 以上很轻松一旦切到官方测试集 KDDTest大多数模型回落到七成多。这两个数字之间的落差就是机器学习应用流程里最容易被忽略的环节数据怎么摆、特征怎么编、模型参数怎么设、坑在哪里。这篇笔记不是带你读完某个神秘源码包而是顺着这个标题把一套可复现的路线讲透用 Python 读 NSL-KDD做特征工程训练随机森林二分类模型复现 99.5% 的高正确率也讲清楚为什么这个正确率换个测试集就不成立。适合正在做课程设计、毕业设计或者刚入门安全与机器学习交叉方向的从业者。新手能照着跑通熟手能直接看到参数边界和评估口径的坑。2. 把网络入侵检测先落成一张表NSL-KDD 数据集与二分类/五分类机器学习检测模型的工程起点不是算法是数据表。一个网络入侵检测样本本质上是一条网络连接记录一个 TCP 或 UDP 会话的统计摘要再加上一个标签正常还是攻击。整个网络入侵检测问题落到建模层面就是一个表格分类问题。先把这张表的结构弄清楚后面所有参数调整才有意义。2.1 为什么是 NSL-KDD从 KDD99 去重到特征结构早期最出名的是 KDD99 数据集但它的训练集里有大量重复记录导致模型很容易「记住」而不是「泛化」。比如某些 DoS 攻击记录重复了几万次模型只要记住那条样本就能把正确率刷上去换个环境立刻失效。NSL-KDD 是它的去重版本剔除了冗余样本并且把训练集和测试集的分布差异拉大让评估结果更接近真实世界。NSL-KDD 每条样本由 41 维特征加 1 个标签组成这 41 维特征习惯上分成四块特征块维度范围含义典型例子基本特征1-9连接本身的属性duration、protocol_type、src_bytes、dst_bytes内容特征10-22与 TCP 内容相关的领域知识hot、num_failed_logins、root_shell、su_attempted流量特征23-31基于时间窗口的流量统计count、srv_count、serror_rate、same_srv_rate主机流量特征32-41基于主机维度的统计dst_host_count、dst_host_srv_count、dst_host_serror_rate文件层面你会看到三个常用文件KDDTrain.txt 是完整训练集约 12.6 万条KDDTest.txt 是官方测试集约 2.2 万条KDDTrain_20Percent.txt 是训练集的 20% 抽样约 2.5 万条用来快速验证流程。我一般先把完整训练集跑通调试阶段用 20% 版本能省大量等待时间。2.2 读数据与标签映射整理成能进模型的结构NSL-KDD 的文件是纯文本 CSV没有表头逗号分隔。前 41 列是特征第 42 列是标签有些发行版还会附带第 43 列是攻击类型细分。读文件的代码不需要什么黑科技pandas 一行搞定但列名必须自己给否则后面特征操作全靠下标容易翻车。import pandas as pd feature_cols [ duration, protocol_type, service, flag, src_bytes, dst_bytes, land, wrong_fragment, urgent, hot, num_failed_logins, logged_in, num_compromised, root_shell, su_attempted, num_root, num_file_creations, num_shells, num_access_files, num_outbound_cmds, is_host_login, is_guest_login, count, srv_count, serror_rate, srv_serror_rate, rerror_rate, srv_rerror_rate, same_srv_rate, diff_srv_rate, srv_diff_host_rate, dst_host_count, dst_host_srv_count, dst_host_same_srv_rate, dst_host_diff_srv_rate, dst_host_same_src_port_rate, dst_host_srv_diff_host_rate, dst_host_serror_rate, dst_host_srv_serror_rate, dst_host_rerror_rate, dst_host_srv_rerror_rate ] train pd.read_csv(KDDTrain.txt, headerNone) test pd.read_csv(KDDTest.txt, headerNone) label_col feature_cols [label] train.columns label_col test.columns label_col print(train.shape) # (125973, 42) print(test.shape) # (22544, 42)这段代码的逻辑很直接给两个 DataFrame 统一设置列名让后面可以用train[protocol_type]这样的语义化方式访问特征。注意不要直接pd.read_csv后不管列名就开干后面一旦做get_dummies或concat索引对不上排查起来非常痛苦。标签列不是单纯的 normal/attackNSL-KDD 的原始标签是具体攻击名比如 neptune、smurf、warezclient。建模前一般先归成大类五分类是经典做法Normal、DoS、Probe、R2L、U2R。二分类则把后四类全部合并成 attack。def classify_attack(label): label label.strip().lower() if label normal: return normal dos_list [back, land, neptune, pod, smurf, teardrop, apache2, udpstorm, processtable, mailbomb] if label in dos_list: return dos probe_list [satan, ipsweep, portsweep, nmap, mscan, saint] if label in probe_list: return probe r2l_list [warezclient, warezmaster, guess_passwd, imap, multihop, phf, spy, sendmail, named, snmpgetattack, snmpguess, xlock, xsnoop, httptunnel] if label in r2l_list: return r2l return u2r for df in (train, test): df[attack_type] df[label].apply(classify_attack) df[binary_label] (df[attack_type] ! normal).astype(int)分类函数做的事情是把 37 种攻击名映射到四大攻击家族。注意测试集里有些攻击名在训练集里完全没见过比如 snmpgetattack、xlock这也是为什么测试集更难。binary_label是二分类标签0 表示正常流量1 表示攻击流量。到这一步数据表已经具备训练条件接下来是特征工程。2.3 二分类还是五分类正确率 99.5% 的前提标题里的 99.5% 大概率是二分类的正确率。二分类问题里 Normal 和 Attack 的界限相对清晰随机森林在随机划分验证集上刷到 99% 以上不稀奇。但五分类要同时区分 DoS、Probe、R2L、U2R 四种攻击其中 R2L 和 U2R 的样本量极少特征模式又跟正常流量高度重叠五分类的正确率通常比二分类低 5 到 10 个百分点。还有一层更隐蔽的坑如果只报告 accuracy 不看具体攻击类别的召回率这 99.5% 很容易掩盖 R2L 被全灭的事实。后面第 5 章会专门展开。建模之前先想清楚一个问题你做这个系统的目的是「判断流量有没有问题」还是「判断流量是什么问题」。前者用二分类后者必须上五分类并且评估指标要换成 per-class recall。3. 特征工程决定正确率上限编码、归一化与特征筛选同样的随机森林特征处理方式不同正确率能差出十几个点。NSL-KDD 的 41 维特征里有三列是离散类别特征其余都是连续或计数特征。类别特征不能直接塞进 sklearn 的树模型——树模型虽然能处理数值型不等比例但把 protocol_type 编码成 0/1/2 会引入虚假的大小关系所以必须 One-Hot。3.1 三种离散特征必须 One-Hot维度变化要先算清楚protocol_type 有 3 种取值service 有 70 种flag 有 11 种。One-Hot 之后41 维会膨胀到 3 70 11 38 122 维左右。这里有个非常容易踩的坑训练集和测试集的 service 取值集合不一样。测试集里可能出现训练集没见过的 service直接get_dummies会导致两边特征维度对不上模型 predict 的时候直接报错。cat_cols [protocol_type, service, flag] num_cols [c for c in feature_cols if c not in cat_cols] def encode_categories(df, ref_colsNone): enc pd.get_dummies(df[cat_cols], dtypeint) if ref_cols is not None: enc enc.reindex(columnsref_cols, fill_value0) return enc train_enc encode_categories(train) ref_cols train_enc.columns.tolist() test_enc encode_categories(test, ref_colsref_cols) print(len(ref_cols)) # 122 print(test_enc.shape[1]) # 122而不是 123 或 124这段代码的关键在reindex这一步。pd.get_dummies是按数据里实际出现的类别生成列的训练集有 70 种 service测试集可能多出 1 种直接拼接后列数就对不上。先 fit 训练集拿到完整的列名列表再让测试集按这个列名列表对齐缺失的列补 0。这一步是特征工程里最常见的翻车点后面第 5 章还会重提。3.2 数值特征归一化只拟合训练集测试集只做 transform连续特征里有 src_bytes、dst_bytes 这种量级差异极大的列也有 serror_rate 这种 0 到 1 的比例列。如果只用树模型理论上不归一化也能跑但工程上我建议统一做 StandardScaler原因有两个一是后续很可能要对比逻辑回归或 SVM这些模型对尺度极其敏感二是归一化本身不损害树模型反而让特征重要性更稳定。from sklearn.preprocessing import StandardScaler scaler StandardScaler() train_num scaler.fit_transform(train[num_cols]) test_num scaler.transform(test[num_cols]) train_features pd.concat([ pd.DataFrame(train_num, columnsnum_cols), train_enc.reset_index(dropTrue) ], axis1) test_features pd.concat([ pd.DataFrame(test_num, columnsnum_cols), test_enc.reset_index(dropTrue) ], axis1)注意fit_transform和transform的用法scaler 只在训练集上 fit拿训练集的均值和标准差去标准化测试集。如果对训练集和测试集合并后一起 fit就是典型的数据泄漏测试集的统计信息被模型间接看到正确率虚高。这一点在学术评审或面试里经常被追问务必分清。3.3 用特征重要性砍掉约 20 维冗余验证集指标反而上升41 维原始特征加 One-Hot 后 122 维不是每一维都有用。NSL-KDD 里存在大量强相关特征比如serror_rate和srv_serror_rate还有一些特征在区分攻击时几乎没有贡献比如num_outbound_cmds这条特征在数据集里几乎全是 0。特征筛选的标准做法是先训练一个快速随机森林看 feature_importances_再按重要性阈值砍。from sklearn.ensemble import RandomForestClassifier quick_model RandomForestClassifier( n_estimators100, max_depth12, n_jobs-1, random_state42 ) quick_model.fit(train_features, train[binary_label]) importances pd.Series( quick_model.feature_importances_, indextrain_features.columns ).sort_values(ascendingFalse) print(importances.head(25)) print(importances.tail(10))跑完之后你会发现排在前面的是dst_host_srv_serror_rate、dst_host_serror_rate、srv_serror_rate这类统计型特征而num_outbound_cmds、is_host_login这类稀疏特征重要性接近 0。把重要性低于 0.001 的特征去掉特征维度能砍到 80 维以下训练速度提升验证集正确率往往不降反升因为噪声减少了。4. 随机森林复现 99.5%参数、评估与测试集上的真实差距特征工程做完接下来是模型选择。这个项目标题既然强调机器学习而不是深度学习最稳妥、最容易复现、又最能解释结果的方案就是随机森林。它在一个 12 万样本、100 多维特征的表格数据上训练时间以分钟计效果却经常超过结构复杂的神经网络。4.1 为什么选随机森林而不是深度学习NSL-KDD 本质上是结构化表格数据样本量只有十多万深度学习在这种规模下优势不明显反而需要大量调参和防止过拟合。随机森林有几个天然优点对特征尺度不敏感非线性拟合能力强自带 bagging 不容易过拟合还有开箱即用的 feature_importances_ 可以解释哪些特征在起决定作用。另一个实际理由是工程性价比。网络入侵检测落地时往往要解释「为什么这条流量被判为攻击」随机森林可以给出特征重要性排名深度学习模型在这方面基本是黑匣子。对于课程设计、毕设或者小型安全团队的工具链随机森林是投入产出比最高的机器学习算法这也是标题里「正确率可达 99.5%」最常见的复现路径。4.2 核心参数字段n_estimators、max_depth、class_weight先看一份可复现的训练代码然后逐参数解释为什么这么设。from sklearn.model_selection import train_test_split from sklearn.metrics import classification_report, confusion_matrix, roc_auc_score X_train, X_val, y_train, y_val train_test_split( train_features, train[binary_label], test_size0.2, stratifytrain[binary_label], random_state42 ) model RandomForestClassifier( n_estimators200, max_depth18, min_samples_leaf2, class_weightbalanced, n_jobs-1, random_state42 ) model.fit(X_train, y_train) y_pred model.predict(X_val) y_prob model.predict_proba(X_val)[:, 1] print(classification_report(y_val, y_pred)) print(AUC:, roc_auc_score(y_val, y_prob))参数说明n_estimators200树的数量。默认 100 在 12 万样本下也够但 200 能让预测概率更稳定。超过 300 收益递减训练时间却线性增长。max_depth18限制树深。默认 None 会让树无限生长在 122 维特征上容易过拟合训练集正确率 99.9%验证集掉到 90%。限制深度是控制方差最有效的手段。min_samples_leaf2叶子节点最少 2 个样本。和 max_depth 配套使用进一步防止树学穿。class_weightbalanced根据类别频率自动加权重。训练集里 DoS 攻击占比超过 40%但 R2L 低于 1%不平衡会让模型偏向多数类这个参数对五分类尤其重要。random_state42固定随机种子保证结果可复现。如果你把 42 换成别的数正确率可能差零点几个百分点这是正常波动不代表模型变好了。4.3 三张表分开记录训练集、验证集、KDDTest 的正确率随机划分验证集上的正确率就是标题里 99.5% 的来源。在这份代码里stratify保证了训练集和验证集的攻击比例一致随机森林在这个验证集上拿到 99% 以上是常见结果。但注意这只代表「模型学会了区分当前这批数据的模式」。真正有说服力的评估是把同一套特征处理流程套到官方测试集 KDDTest 上。前面已经把测试集编码对齐了直接预测即可y_test_pred model.predict(test_features) y_test_prob model.predict_proba(test_features)[:, 1] print(classification_report(test[binary_label], y_test_pred)) print(Test AUC:, roc_auc_score(test[binary_label], y_test_prob))这套代码跑下来的结果和验证集会形成鲜明对比正确率通常落在 75% 到 80% 区间。同一个模型同一份代码为什么差这么多原因在数据分布KDDTest 包含训练集里完全没出现过的 17 种新攻击而且 R2L、U2R 的比例大幅提高。验证集的随机划分让相似样本同时出现在训练和验证两侧正确率天然虚高。这就是为什么要分两张表记录结果随机验证集正确率证明模型没有欠拟合官方测试集正确率证明模型对未知攻击有一定泛化能力两个数字缺一不可。5. 入侵检测模型翻车避坑五个必须记录的血泪经验这个项目看起来简单真正动手做的时候坑几乎全在数据和评估环节。下面五条每条都是实际跑数据时反复出现的问题按「现象 → 原因 → 解决」写清楚。5.1 训练集正确率 99.9%测试集只有 76%数据泄漏与同源攻击现象训练集和随机验证集上正确率都超过 99%一上官方测试集直接崩盘正确率掉到 70% 多R2L 和 U2R 的召回率几乎为 0。原因首先是数据泄漏如果你对训练集和测试集合并做归一化或 One-Hot测试集的统计信息会被模型偷看验证集虚高。其次是同源攻击样本随机划分验证集时同一种攻击模式可能同时出现在训练集和验证集模型记住模式就能拿高分但面对测试集的新攻击就失效。解决特征处理严格分开 fit 和 transform评估时重点看官方测试集不要拿随机验证集的数字对外宣称模型效果。5.2 One-Hot 后特征维度对不上get_dummies 的类别对齐现象训练完模型predict 测试集时 sklearn 报错Number of features of the model must match the input。原因测试集的 service 列出现了训练集没有的类别pd.get_dummies多生成了一列导致特征维度不一致。解决先对训练集get_dummies并保存列名再用reindex(columns列名, fill_value0)对齐测试集。这是复用第 3 章encode_categories的原因上线推理时同样要带一份训练时的列名清单。5.3 DoS 准确率拉满R2L 召回率却是 0类别不平衡假象现象classification_report里 overall accuracy 很高但仔细看每一行R2L 和 U2R 的 recall 是 0.00模型根本没识别出这两类攻击。原因NSL-KDD 里 DoS 占训练集 45%R2L 不到 1%。模型只要把所有样本预测成 Normal 或 DoS整体准确率就已经很高小类别被完全淹没。解决训练时加class_weightbalanced评估时不要只看 accuracy逐类看 precision/recall/f1。R2L 召回率哪怕只有 30%也比 0 有价值因为这类攻击在真实网络里往往是最需要关注的。5.4 用 accuracy 验收整个系统99.5% 的统计陷阱现象项目说明里宣传正确率 99.5%但实际上线时告警一堆误报安全分析师很快就不信任这个系统。原因准确率对类别不平衡极其敏感。如果正常流量占 95%模型什么都不做全判正常准确率就是 95%。入侵检测场景里攻击流量通常占比极低accuracy 会严重高估系统能力。解决改用混淆矩阵、precision、recall、F1、AUC 多指标联合评估。二分类场景至少同时报告召回率和误报率并说明阈值设定。随机森林的predict_proba输出概率真实部署时可以调阈值比如只有概率超过 0.7 才告警而不是直接用默认 0.5。5.5 sklearn 版本差异导致结果不可复现锁环境现象同一份代码在 A 机器上验证集正确率 99.5%在 B 机器上只有 98.7%特征重要性排序也不同。原因pandas 和 scikit-learn 版本更新会改变部分算法的默认行为比如RandomForestClassifier的n_jobs调度、get_dummies的列类型都会影响结果。解决项目根目录放一份 requirements.txt固定大版本比如scikit-learn1.3,1.6、pandas2.0,2.2。训练完模型用 joblib 把模型和特征列表一起保存换机器直接加载不要重新训练。6. 把模型从 Jupyter 挪到线上模型保存、特征对齐与增量重训模型跑通之后真正的落地工作才开始。Jupyter 里验证集正确率再高也不代表能用。线上环境里没有现成的 DataFrame新流量是一条一条进来的每一条都要走完和训练时完全一样的特征处理管线漏一步就会出问题。6.1 用 joblib 打包模型和特征顺序新样本直接预测训练好的模型、scaler、One-Hot 列名清单这三样必须打包成一个文件推理时一次性加载。最稳妥的做法是把它们装进一个字典import joblib artifact { model: model, scaler: scaler, num_cols: num_cols, cat_columns: ref_cols, feature_order: train_features.columns.tolist() } joblib.dump(artifact, nids_rf_model.joblib)推理函数的要点是「新样本必须对齐训练时的特征顺序」。线上拿到一条原始连接记录先按同样的方式生成 41 维原始特征再对离散列按ref_cols补全 One-Hot数值列用保存的 scaler transform最后按feature_order重排才能喂给模型。这一步没有取巧空间特征顺序错一位模型都不会报错但结果完全错乱。6.2 增量重训与分布漂移多久重训一次网络流量是会漂移的。三个月前的攻击模式今天可能已经变了形态阈值也可能不再适用。我的做法是每周跑一次测试集评估比较 AUC 和召回率如果连续两周有下降趋势就用最近一个月的人工标注流量做增量训练。随机森林没有真正的在线学习能力但可以把新样本并进旧训练集重训配合旧模型做投票融合能平滑掉不少波动。还有一条经验线上系统一定要记录被人工确认为误报的样本定期回收进训练集。误报样本是模型不认识的反例把它吃掉比调任何超参数都管用。早期我吃过 accuracy 的亏拿随机验证集的 99.5% 当系统能力上线后被真实流量教育了一轮才明白评估口径和特征对齐才是这整个方向的核心工作量。希望你不用再踩一遍希望帮到你。本文还有配套的精品资源点击获取