拓冰网站定制 
简介这份压缩包面向希望系统入门监督学习的开发者与数据科学学习者围绕分类与回归两类核心任务提供从概念梳理到项目落地的完整实战素材。包内共7个文件以2个ipynb交互式笔记本、2份csv数据集、2个html页面和1份docx项目说明为主压缩包约2.23MB体量轻便便于本地运行与快速查阅。内容以波士顿房价回归案例为主线覆盖数据预处理、特征选择、模型训练、交叉验证、参数调优与测试评估等环节并涉及逻辑回归、决策树、随机森林、SVM、K近邻以及线性回归、岭回归、Lasso、梯度提升等常见算法同时给出MSE、RMSE、R²等评估指标的实践思路。另有酒店分类数据集与配套笔记本方便对比二分类与多分类场景。已有986人学习下载适合想通过可运行代码理解分类与回归差异、积累建模流程经验的中级学习者。1. 从「分类回归.zip」说起一个压缩包里到底该装什么很多人第一次看到「机器学习实战项目——分类回归.zip」这个标题第一反应是去找下载链接第二反应是解压完发现里面只有几个.ipynb和一份data.csv然后卡在环境依赖上。我见过太多这样的包作者把sklearn版本写死在requirements.txt里你本地是 Python 3.11装完直接报numpy二进制不兼容。所以这篇不聊「这个包好不好」聊的是如果让你自己从零攒一个能跑通分类和回归的实战项目目录结构、数据流、模型选型、评估口径应该怎么定才能让别人解压后 10 分钟内看到第一行准确率。分类和回归是监督学习的两条腿但它们的工程落地差异比教科书里写的大得多。分类关心决策边界和类别不平衡回归关心残差分布和量纲。一个.zip如果同时塞进这两类任务最容易翻车的地方不是模型本身而是数据预处理管道复用和评估指标混用。适合谁看刚学完吴恩达机器学习课程、想动手但不知道从哪下手的入门者以及带学生做课程设计、需要一套可复现模板的高年级同学或讲师。2. 拆开压缩包之前分类与回归的数据管道怎么分叉2.1 同一个data.csv两条预处理路线假设你手里有一份混合了数值特征和类别标签的表格数据比如经典的信用评分场景age、income、loan_amount是数值列job_type、education是类别列最后一列default是 0/1 标签。分类任务用default当目标回归任务可能用income当目标。很多人图省事直接对整个 DataFrame 做pd.get_dummies()然后切分训练测试集。这在分类里问题不大但在回归里会引入一个隐蔽的坑如果income的分布是长尾的你 dummy 出来的稀疏列会让树模型分裂增益计算变慢而且OneHotEncoder默认不处理未知类别测试集出现新职业就报错。我一般会分两条管道写。分类管道用ColumnTransformer把数值列做StandardScaler类别列做OrdinalEncoder(handle_unknownuse_encoded_value)或者OneHotEncoder(handle_unknownignore)。回归管道里如果目标变量偏态严重先做np.log1p变换预测完再np.expm1还原。这一步不做回归的 RMSE 会被几个极端值拉爆。import numpy as np import pandas as pd from sklearn.compose import ColumnTransformer from sklearn.pipeline import Pipeline from sklearn.preprocessing import StandardScaler, OneHotEncoder, OrdinalEncoder from sklearn.impute import SimpleImputer # 假设 df 已经读入num_cols 和 cat_cols 是列名列表 num_cols [age, income, loan_amount] cat_cols [job_type, education] # 分类管道类别列用 OneHot忽略未知类别 clf_pre ColumnTransformer([ (num, Pipeline([ (imputer, SimpleImputer(strategymedian)), (scaler, StandardScaler()) ]), num_cols), (cat, Pipeline([ (imputer, SimpleImputer(strategymost_frequent)), (onehot, OneHotEncoder(handle_unknownignore, sparse_outputFalse)) ]), cat_cols) ]) # 回归管道类别列用 Ordinal节省维度树模型友好 reg_pre ColumnTransformer([ (num, Pipeline([ (imputer, SimpleImputer(strategymedian)), (scaler, StandardScaler()) ]), num_cols), (cat, Pipeline([ (imputer, SimpleImputer(strategymost_frequent)), (ordinal, OrdinalEncoder(handle_unknownuse_encoded_value, unknown_value-1)) ]), cat_cols) ])逻辑说明ColumnTransformer保证训练集和测试集走完全相同的变换路径避免手动fit_transform再transform时漏掉某列。参数上SimpleImputer的strategy选median是因为收入和贷款金额常有偏态均值会被极端值带偏OneHotEncoder的sparse_outputFalse是为了后续接LogisticRegression时方便如果接LightGBM可以设True省内存。OrdinalEncoder的unknown_value-1是给树模型一个明确的「未知」分支比直接报错友好。2.2 训练集测试集切分别在回归里用分层抽样分类任务常用stratifyy保持类别比例这个大家都知道。但回归任务里很多人习惯性也写stratifyy结果sklearn直接报错因为回归目标不是离散类别。更隐蔽的问题是如果回归目标被人为分箱过比如收入分成低中高三档你拿分箱后的标签做stratify切出来的训练集和测试集在原始连续值上的分布可能差异很大。我一般对回归用纯随机切分然后检查训练集和测试集的 target 均值、标准差是否接近。如果差异超过 10%就换KFold交叉验证而不是死磕一次切分。from sklearn.model_selection import train_test_split # 分类切分 X_train_c, X_test_c, y_train_c, y_test_c train_test_split( df.drop(columns[default]), df[default], test_size0.2, random_state42, stratifydf[default] ) # 回归切分先检查分布 X_train_r, X_test_r, y_train_r, y_test_r train_test_split( df.drop(columns[income]), df[income], test_size0.2, random_state42 ) print(训练集 target 均值/标准差:, y_train_r.mean(), y_train_r.std()) print(测试集 target 均值/标准差:, y_test_r.mean(), y_test_r.std())参数说明random_state42是为了复现实际项目里建议固定一个种子并在文档里写明。test_size0.2在样本量小于 1 万时偏小可以调到 0.25 或 0.3保证测试集有足够统计量。回归的分布检查如果均值差超过 5%考虑用StratifiedKFold对分箱后的 target 做分层但分箱数别超过 5否则每折样本太少。3. 分类模型选型从逻辑回归到 LightGBM 的决策路径3.1 先跑逻辑回归不是因为它强是因为它快且可解释刚拿到数据别急着上 XGBoost。我习惯先用LogisticRegression跑一个基线看classification_report和混淆矩阵。逻辑回归的损失函数是交叉熵对线性可分的数据收敛很快而且系数可以直接看特征重要性方向。如果逻辑回归的 AUC 已经到 0.85 以上说明特征工程做得不错后面换树模型提升空间有限如果 AUC 只有 0.6那问题大概率在特征上换模型也救不了。from sklearn.linear_model import LogisticRegression from sklearn.metrics import classification_report, roc_auc_score clf_lr Pipeline([ (pre, clf_pre), (model, LogisticRegression(max_iter1000, class_weightbalanced, random_state42)) ]) clf_lr.fit(X_train_c, y_train_c) y_pred_lr clf_lr.predict(X_test_c) y_prob_lr clf_lr.predict_proba(X_test_c)[:, 1] print(classification_report(y_test_c, y_pred_lr)) print(AUC:, roc_auc_score(y_test_c, y_prob_lr))逻辑说明class_weightbalanced在类别不平衡时自动调整权重等价于对少数类过采样但不用改数据。max_iter1000是因为默认 100 在特征多时经常不收敛会报ConvergenceWarning。如果 AUC 低于 0.7先别调模型回去看特征数值列有没有做分箱、类别列有没有高频类别合并、有没有漏掉交互项。3.2 上 LightGBM参数怎么设才不玄学LightGBM 在表格数据上几乎是默认首选但它的参数多到让人头大。我一般只调五个num_leaves、learning_rate、n_estimators、min_child_samples、subsample。num_leaves控制树复杂度经验值是2^(max_depth)以下但别超过 128否则单棵树太深容易过拟合。learning_rate设 0.05 配合n_estimators500是稳的起点如果验证集曲线还在降再加到 1000。min_child_samples默认 20小数据集调到 10 以下会让模型更敏感但噪声也更大。import lightgbm as lgb from sklearn.metrics import roc_auc_score clf_lgb Pipeline([ (pre, clf_pre), (model, lgb.LGBMClassifier( num_leaves31, learning_rate0.05, n_estimators500, min_child_samples20, subsample0.8, colsample_bytree0.8, random_state42, verbose-1 )) ]) clf_lgb.fit(X_train_c, y_train_c) y_prob_lgb clf_lgb.predict_proba(X_test_c)[:, 1] print(LightGBM AUC:, roc_auc_score(y_test_c, y_prob_lgb))参数说明subsample0.8和colsample_bytree0.8是行采样和列采样防止过拟合小数据集可以降到 0.7。verbose-1关掉训练日志不然控制台刷屏。如果 AUC 比逻辑回归高不到 0.02说明数据线性程度高没必要硬上树模型逻辑回归的可解释性反而更值钱。3.3 分类评估别只看准确率类别不平衡时准确率是骗人的。比如 95% 负样本、5% 正样本全预测负也有 95% 准确率。我一般看三个指标AUC、F1-score正类、召回率。信用违约场景里召回率比精确率重要因为漏掉一个违约用户的代价远大于误拒一个正常用户。classification_report里的macro avg和weighted avg要分清macro对每个类等权weighted按样本数加权。如果少数类 F1 很低但weighted avg很高说明模型在多数类上过拟合了。4. 回归模型实战从岭回归到 XGBoost 的残差诊断4.1 岭回归和 Koopman 的取舍线性基线不能省回归任务里我同样先跑线性模型。Ridge比LinearRegression稳因为 L2 正则能压住共线性特征的系数。如果特征里有明显的共线性比如income和loan_amount相关系数 0.9普通最小二乘的系数会剧烈波动岭回归的alpha调大一点就能缓解。至于 Koopman 算子那是动力系统里的东西用来做时间序列的谱分解表格回归里用不上别被热词带偏。from sklearn.linear_model import Ridge from sklearn.metrics import mean_squared_error, mean_absolute_error import numpy as np reg_ridge Pipeline([ (pre, reg_pre), (model, Ridge(alpha1.0, random_state42)) ]) reg_ridge.fit(X_train_r, y_train_r) y_pred_ridge reg_ridge.predict(X_test_r) rmse np.sqrt(mean_squared_error(y_test_r, y_pred_ridge)) mae mean_absolute_error(y_test_r, y_pred_ridge) print(fRidge RMSE: {rmse:.2f}, MAE: {mae:.2f})参数说明alpha1.0是默认值实际用RidgeCV在[0.01, 0.1, 1, 10, 100]里搜。RMSE 和 MAE 一起看RMSE 对大误差敏感MAE 对异常值鲁棒。如果 RMSE 远大于 MAE说明有几个预测点偏得离谱回去查那些样本的特征是不是有缺失或异常。4.2 XGBoost 回归早停和验证集怎么切XGBoost 的回归比分类更容易过拟合因为目标连续树可以一直分裂去拟合噪声。我一般用early_stopping_rounds配合验证集而不是固定n_estimators。验证集从训练集里再切 10%不要用测试集否则早停就泄露了。import xgboost as xgb from sklearn.model_selection import train_test_split X_tr, X_val, y_tr, y_val train_test_split( X_train_r, y_train_r, test_size0.1, random_state42 ) reg_xgb Pipeline([ (pre, reg_pre), (model, xgb.XGBRegressor( n_estimators1000, learning_rate0.05, max_depth6, subsample0.8, colsample_bytree0.8, early_stopping_rounds50, random_state42, verbosity0 )) ]) reg_xgb.fit( X_tr, y_tr, model__eval_set[(X_val, y_val)], model__verboseFalse ) y_pred_xgb reg_xgb.predict(X_test_r) print(XGBoost RMSE:, np.sqrt(mean_squared_error(y_test_r, y_pred_xgb)))逻辑说明early_stopping_rounds50表示验证集损失 50 轮不降就停best_iteration会自动记录。max_depth6是回归的常用起点比分类的树浅一点因为连续目标更容易过拟合。subsample和colsample_bytree同样防过拟合。如果 RMSE 比岭回归还差检查learning_rate是不是太大或者特征里有没有 ID 列这种泄漏。4.3 残差图回归模型的黑匣子打开方式回归模型不能只看 RMSE。我习惯画残差图横轴是预测值纵轴是残差真实减预测。理想情况是残差随机分布在 0 附近没有明显形状。如果残差呈喇叭形说明异方差可以对 target 做 log 变换如果残差和预测值有曲线关系说明模型欠拟合需要加交互项或换非线性模型。import matplotlib.pyplot as plt residuals y_test_r - y_pred_xgb plt.scatter(y_pred_xgb, residuals, alpha0.5) plt.axhline(y0, colorr, linestyle--) plt.xlabel(Predicted) plt.ylabel(Residual) plt.title(Residual Plot) plt.show()参数说明alpha0.5让重叠点可见。如果残差图里有一片密集区域偏离 0回去看那部分样本的特征分布往往是某个类别列在测试集里出现了训练集没有的取值。5. 避坑与排查分类回归混用时的五个血泪教训5.1 现象分类准确率 0.99上线后全错原因训练集里标签泄漏。比如用loan_amount预测default但loan_amount是在审批通过后才记录的违约用户根本没这笔记录训练集里这部分是填充值模型学到了「填充值不违约」。解决做特征可用性审查任何在预测时点拿不到的特征都要删掉。用Pipeline不能防这个得靠业务理解。5.2 现象回归 RMSE 很小但预测值全是均值原因模型欠拟合树太浅或learning_rate太低n_estimators不够。解决先看训练集 RMSE如果训练集也很差加深度或加树如果训练集好测试集差是过拟合反过来减复杂度。别一上来就调alpha。5.3 现象LightGBM 训练报Cannot cast ufunc output原因OneHotEncoder输出了稀疏矩阵LightGBM 不接受。解决OneHotEncoder(sparse_outputFalse)或者用OrdinalEncoder。分类管道里如果接 LightGBM我一般直接用OrdinalEncoder树模型对序数编码不敏感。5.4 现象交叉验证分数波动极大原因数据量太小或者切分没固定random_state。解决用StratifiedKFold分类或KFold回归shuffleTruerandom_state固定。如果波动还是大说明样本量不够考虑减少特征或收集更多数据。5.5 现象classification_report里precision和recall都是 0原因预测的类别和真实类别标签对不上比如真实是[0,1]预测出来是[1,2]。解决检查LabelEncoder有没有在训练和测试上分别fit应该只在训练集fit然后transform测试集。用Pipeline可以避免这个因为fit和predict走同一条路径。6. 把.zip变成可复现模板目录结构与验证脚本一个能让人解压即用的项目目录结构比模型本身重要。我一般这样组织project/ ├── data/ │ ├── raw.csv │ └── processed.csv ├── src/ │ ├── preprocess.py │ ├── train_clf.py │ ├── train_reg.py │ └── evaluate.py ├── models/ │ ├── clf_lgb.pkl │ └── reg_xgb.pkl ├── requirements.txt └── README.mdpreprocess.py里只放ColumnTransformer的定义train_clf.py和train_reg.py分别导入。requirements.txt不要写死小版本用scikit-learn1.3、lightgbm4.0、xgboost2.0这种范围减少环境冲突。README.md里写清楚Python 版本、安装命令、运行顺序、预期输出。验证脚本我习惯加一个smoke_test.py用 100 行样本跑通全流程确保没有语法错误和路径问题。# smoke_test.py import pandas as pd from src.preprocess import clf_pre, reg_pre from sklearn.pipeline import Pipeline from sklearn.linear_model import LogisticRegression, Ridge df pd.read_csv(data/raw.csv).head(100) X df.drop(columns[default, income]) y_clf df[default] y_reg df[income] clf Pipeline([(pre, clf_pre), (model, LogisticRegression(max_iter200))]) clf.fit(X, y_clf) print(分类 smoke test 通过预测形状:, clf.predict(X).shape) reg Pipeline([(pre, reg_pre), (model, Ridge())]) reg.fit(X, y_reg) print(回归 smoke test 通过预测形状:, reg.predict(X).shape)这个脚本跑通说明数据管道和模型接口没问题再上全量数据。我自己的习惯是每次改完preprocess.py先跑smoke_test.py再跑全量训练。这样能省下大量等模型训练的时间。最后说一句别追求一次把参数调到最优先把基线跑通再逐步加特征和调参。希望帮到你。本文还有配套的精品资源点击获取 从零构建可复现的分类与回归实战项目：数据管道、模型选型与避坑指南
简介这份压缩包面向希望系统入门监督学习的开发者与数据科学学习者围绕分类与回归两类核心任务提供从概念梳理到项目落地的完整实战素材。包内共7个文件以2个ipynb交互式笔记本、2份csv数据集、2个html页面和1份docx项目说明为主压缩包约2.23MB体量轻便便于本地运行与快速查阅。内容以波士顿房价回归案例为主线覆盖数据预处理、特征选择、模型训练、交叉验证、参数调优与测试评估等环节并涉及逻辑回归、决策树、随机森林、SVM、K近邻以及线性回归、岭回归、Lasso、梯度提升等常见算法同时给出MSE、RMSE、R²等评估指标的实践思路。另有酒店分类数据集与配套笔记本方便对比二分类与多分类场景。已有986人学习下载适合想通过可运行代码理解分类与回归差异、积累建模流程经验的中级学习者。1. 从「分类回归.zip」说起一个压缩包里到底该装什么很多人第一次看到「机器学习实战项目——分类回归.zip」这个标题第一反应是去找下载链接第二反应是解压完发现里面只有几个.ipynb和一份data.csv然后卡在环境依赖上。我见过太多这样的包作者把sklearn版本写死在requirements.txt里你本地是 Python 3.11装完直接报numpy二进制不兼容。所以这篇不聊「这个包好不好」聊的是如果让你自己从零攒一个能跑通分类和回归的实战项目目录结构、数据流、模型选型、评估口径应该怎么定才能让别人解压后 10 分钟内看到第一行准确率。分类和回归是监督学习的两条腿但它们的工程落地差异比教科书里写的大得多。分类关心决策边界和类别不平衡回归关心残差分布和量纲。一个.zip如果同时塞进这两类任务最容易翻车的地方不是模型本身而是数据预处理管道复用和评估指标混用。适合谁看刚学完吴恩达机器学习课程、想动手但不知道从哪下手的入门者以及带学生做课程设计、需要一套可复现模板的高年级同学或讲师。2. 拆开压缩包之前分类与回归的数据管道怎么分叉2.1 同一个data.csv两条预处理路线假设你手里有一份混合了数值特征和类别标签的表格数据比如经典的信用评分场景age、income、loan_amount是数值列job_type、education是类别列最后一列default是 0/1 标签。分类任务用default当目标回归任务可能用income当目标。很多人图省事直接对整个 DataFrame 做pd.get_dummies()然后切分训练测试集。这在分类里问题不大但在回归里会引入一个隐蔽的坑如果income的分布是长尾的你 dummy 出来的稀疏列会让树模型分裂增益计算变慢而且OneHotEncoder默认不处理未知类别测试集出现新职业就报错。我一般会分两条管道写。分类管道用ColumnTransformer把数值列做StandardScaler类别列做OrdinalEncoder(handle_unknownuse_encoded_value)或者OneHotEncoder(handle_unknownignore)。回归管道里如果目标变量偏态严重先做np.log1p变换预测完再np.expm1还原。这一步不做回归的 RMSE 会被几个极端值拉爆。import numpy as np import pandas as pd from sklearn.compose import ColumnTransformer from sklearn.pipeline import Pipeline from sklearn.preprocessing import StandardScaler, OneHotEncoder, OrdinalEncoder from sklearn.impute import SimpleImputer # 假设 df 已经读入num_cols 和 cat_cols 是列名列表 num_cols [age, income, loan_amount] cat_cols [job_type, education] # 分类管道类别列用 OneHot忽略未知类别 clf_pre ColumnTransformer([ (num, Pipeline([ (imputer, SimpleImputer(strategymedian)), (scaler, StandardScaler()) ]), num_cols), (cat, Pipeline([ (imputer, SimpleImputer(strategymost_frequent)), (onehot, OneHotEncoder(handle_unknownignore, sparse_outputFalse)) ]), cat_cols) ]) # 回归管道类别列用 Ordinal节省维度树模型友好 reg_pre ColumnTransformer([ (num, Pipeline([ (imputer, SimpleImputer(strategymedian)), (scaler, StandardScaler()) ]), num_cols), (cat, Pipeline([ (imputer, SimpleImputer(strategymost_frequent)), (ordinal, OrdinalEncoder(handle_unknownuse_encoded_value, unknown_value-1)) ]), cat_cols) ])逻辑说明ColumnTransformer保证训练集和测试集走完全相同的变换路径避免手动fit_transform再transform时漏掉某列。参数上SimpleImputer的strategy选median是因为收入和贷款金额常有偏态均值会被极端值带偏OneHotEncoder的sparse_outputFalse是为了后续接LogisticRegression时方便如果接LightGBM可以设True省内存。OrdinalEncoder的unknown_value-1是给树模型一个明确的「未知」分支比直接报错友好。2.2 训练集测试集切分别在回归里用分层抽样分类任务常用stratifyy保持类别比例这个大家都知道。但回归任务里很多人习惯性也写stratifyy结果sklearn直接报错因为回归目标不是离散类别。更隐蔽的问题是如果回归目标被人为分箱过比如收入分成低中高三档你拿分箱后的标签做stratify切出来的训练集和测试集在原始连续值上的分布可能差异很大。我一般对回归用纯随机切分然后检查训练集和测试集的 target 均值、标准差是否接近。如果差异超过 10%就换KFold交叉验证而不是死磕一次切分。from sklearn.model_selection import train_test_split # 分类切分 X_train_c, X_test_c, y_train_c, y_test_c train_test_split( df.drop(columns[default]), df[default], test_size0.2, random_state42, stratifydf[default] ) # 回归切分先检查分布 X_train_r, X_test_r, y_train_r, y_test_r train_test_split( df.drop(columns[income]), df[income], test_size0.2, random_state42 ) print(训练集 target 均值/标准差:, y_train_r.mean(), y_train_r.std()) print(测试集 target 均值/标准差:, y_test_r.mean(), y_test_r.std())参数说明random_state42是为了复现实际项目里建议固定一个种子并在文档里写明。test_size0.2在样本量小于 1 万时偏小可以调到 0.25 或 0.3保证测试集有足够统计量。回归的分布检查如果均值差超过 5%考虑用StratifiedKFold对分箱后的 target 做分层但分箱数别超过 5否则每折样本太少。3. 分类模型选型从逻辑回归到 LightGBM 的决策路径3.1 先跑逻辑回归不是因为它强是因为它快且可解释刚拿到数据别急着上 XGBoost。我习惯先用LogisticRegression跑一个基线看classification_report和混淆矩阵。逻辑回归的损失函数是交叉熵对线性可分的数据收敛很快而且系数可以直接看特征重要性方向。如果逻辑回归的 AUC 已经到 0.85 以上说明特征工程做得不错后面换树模型提升空间有限如果 AUC 只有 0.6那问题大概率在特征上换模型也救不了。from sklearn.linear_model import LogisticRegression from sklearn.metrics import classification_report, roc_auc_score clf_lr Pipeline([ (pre, clf_pre), (model, LogisticRegression(max_iter1000, class_weightbalanced, random_state42)) ]) clf_lr.fit(X_train_c, y_train_c) y_pred_lr clf_lr.predict(X_test_c) y_prob_lr clf_lr.predict_proba(X_test_c)[:, 1] print(classification_report(y_test_c, y_pred_lr)) print(AUC:, roc_auc_score(y_test_c, y_prob_lr))逻辑说明class_weightbalanced在类别不平衡时自动调整权重等价于对少数类过采样但不用改数据。max_iter1000是因为默认 100 在特征多时经常不收敛会报ConvergenceWarning。如果 AUC 低于 0.7先别调模型回去看特征数值列有没有做分箱、类别列有没有高频类别合并、有没有漏掉交互项。3.2 上 LightGBM参数怎么设才不玄学LightGBM 在表格数据上几乎是默认首选但它的参数多到让人头大。我一般只调五个num_leaves、learning_rate、n_estimators、min_child_samples、subsample。num_leaves控制树复杂度经验值是2^(max_depth)以下但别超过 128否则单棵树太深容易过拟合。learning_rate设 0.05 配合n_estimators500是稳的起点如果验证集曲线还在降再加到 1000。min_child_samples默认 20小数据集调到 10 以下会让模型更敏感但噪声也更大。import lightgbm as lgb from sklearn.metrics import roc_auc_score clf_lgb Pipeline([ (pre, clf_pre), (model, lgb.LGBMClassifier( num_leaves31, learning_rate0.05, n_estimators500, min_child_samples20, subsample0.8, colsample_bytree0.8, random_state42, verbose-1 )) ]) clf_lgb.fit(X_train_c, y_train_c) y_prob_lgb clf_lgb.predict_proba(X_test_c)[:, 1] print(LightGBM AUC:, roc_auc_score(y_test_c, y_prob_lgb))参数说明subsample0.8和colsample_bytree0.8是行采样和列采样防止过拟合小数据集可以降到 0.7。verbose-1关掉训练日志不然控制台刷屏。如果 AUC 比逻辑回归高不到 0.02说明数据线性程度高没必要硬上树模型逻辑回归的可解释性反而更值钱。3.3 分类评估别只看准确率类别不平衡时准确率是骗人的。比如 95% 负样本、5% 正样本全预测负也有 95% 准确率。我一般看三个指标AUC、F1-score正类、召回率。信用违约场景里召回率比精确率重要因为漏掉一个违约用户的代价远大于误拒一个正常用户。classification_report里的macro avg和weighted avg要分清macro对每个类等权weighted按样本数加权。如果少数类 F1 很低但weighted avg很高说明模型在多数类上过拟合了。4. 回归模型实战从岭回归到 XGBoost 的残差诊断4.1 岭回归和 Koopman 的取舍线性基线不能省回归任务里我同样先跑线性模型。Ridge比LinearRegression稳因为 L2 正则能压住共线性特征的系数。如果特征里有明显的共线性比如income和loan_amount相关系数 0.9普通最小二乘的系数会剧烈波动岭回归的alpha调大一点就能缓解。至于 Koopman 算子那是动力系统里的东西用来做时间序列的谱分解表格回归里用不上别被热词带偏。from sklearn.linear_model import Ridge from sklearn.metrics import mean_squared_error, mean_absolute_error import numpy as np reg_ridge Pipeline([ (pre, reg_pre), (model, Ridge(alpha1.0, random_state42)) ]) reg_ridge.fit(X_train_r, y_train_r) y_pred_ridge reg_ridge.predict(X_test_r) rmse np.sqrt(mean_squared_error(y_test_r, y_pred_ridge)) mae mean_absolute_error(y_test_r, y_pred_ridge) print(fRidge RMSE: {rmse:.2f}, MAE: {mae:.2f})参数说明alpha1.0是默认值实际用RidgeCV在[0.01, 0.1, 1, 10, 100]里搜。RMSE 和 MAE 一起看RMSE 对大误差敏感MAE 对异常值鲁棒。如果 RMSE 远大于 MAE说明有几个预测点偏得离谱回去查那些样本的特征是不是有缺失或异常。4.2 XGBoost 回归早停和验证集怎么切XGBoost 的回归比分类更容易过拟合因为目标连续树可以一直分裂去拟合噪声。我一般用early_stopping_rounds配合验证集而不是固定n_estimators。验证集从训练集里再切 10%不要用测试集否则早停就泄露了。import xgboost as xgb from sklearn.model_selection import train_test_split X_tr, X_val, y_tr, y_val train_test_split( X_train_r, y_train_r, test_size0.1, random_state42 ) reg_xgb Pipeline([ (pre, reg_pre), (model, xgb.XGBRegressor( n_estimators1000, learning_rate0.05, max_depth6, subsample0.8, colsample_bytree0.8, early_stopping_rounds50, random_state42, verbosity0 )) ]) reg_xgb.fit( X_tr, y_tr, model__eval_set[(X_val, y_val)], model__verboseFalse ) y_pred_xgb reg_xgb.predict(X_test_r) print(XGBoost RMSE:, np.sqrt(mean_squared_error(y_test_r, y_pred_xgb)))逻辑说明early_stopping_rounds50表示验证集损失 50 轮不降就停best_iteration会自动记录。max_depth6是回归的常用起点比分类的树浅一点因为连续目标更容易过拟合。subsample和colsample_bytree同样防过拟合。如果 RMSE 比岭回归还差检查learning_rate是不是太大或者特征里有没有 ID 列这种泄漏。4.3 残差图回归模型的黑匣子打开方式回归模型不能只看 RMSE。我习惯画残差图横轴是预测值纵轴是残差真实减预测。理想情况是残差随机分布在 0 附近没有明显形状。如果残差呈喇叭形说明异方差可以对 target 做 log 变换如果残差和预测值有曲线关系说明模型欠拟合需要加交互项或换非线性模型。import matplotlib.pyplot as plt residuals y_test_r - y_pred_xgb plt.scatter(y_pred_xgb, residuals, alpha0.5) plt.axhline(y0, colorr, linestyle--) plt.xlabel(Predicted) plt.ylabel(Residual) plt.title(Residual Plot) plt.show()参数说明alpha0.5让重叠点可见。如果残差图里有一片密集区域偏离 0回去看那部分样本的特征分布往往是某个类别列在测试集里出现了训练集没有的取值。5. 避坑与排查分类回归混用时的五个血泪教训5.1 现象分类准确率 0.99上线后全错原因训练集里标签泄漏。比如用loan_amount预测default但loan_amount是在审批通过后才记录的违约用户根本没这笔记录训练集里这部分是填充值模型学到了「填充值不违约」。解决做特征可用性审查任何在预测时点拿不到的特征都要删掉。用Pipeline不能防这个得靠业务理解。5.2 现象回归 RMSE 很小但预测值全是均值原因模型欠拟合树太浅或learning_rate太低n_estimators不够。解决先看训练集 RMSE如果训练集也很差加深度或加树如果训练集好测试集差是过拟合反过来减复杂度。别一上来就调alpha。5.3 现象LightGBM 训练报Cannot cast ufunc output原因OneHotEncoder输出了稀疏矩阵LightGBM 不接受。解决OneHotEncoder(sparse_outputFalse)或者用OrdinalEncoder。分类管道里如果接 LightGBM我一般直接用OrdinalEncoder树模型对序数编码不敏感。5.4 现象交叉验证分数波动极大原因数据量太小或者切分没固定random_state。解决用StratifiedKFold分类或KFold回归shuffleTruerandom_state固定。如果波动还是大说明样本量不够考虑减少特征或收集更多数据。5.5 现象classification_report里precision和recall都是 0原因预测的类别和真实类别标签对不上比如真实是[0,1]预测出来是[1,2]。解决检查LabelEncoder有没有在训练和测试上分别fit应该只在训练集fit然后transform测试集。用Pipeline可以避免这个因为fit和predict走同一条路径。6. 把.zip变成可复现模板目录结构与验证脚本一个能让人解压即用的项目目录结构比模型本身重要。我一般这样组织project/ ├── data/ │ ├── raw.csv │ └── processed.csv ├── src/ │ ├── preprocess.py │ ├── train_clf.py │ ├── train_reg.py │ └── evaluate.py ├── models/ │ ├── clf_lgb.pkl │ └── reg_xgb.pkl ├── requirements.txt └── README.mdpreprocess.py里只放ColumnTransformer的定义train_clf.py和train_reg.py分别导入。requirements.txt不要写死小版本用scikit-learn1.3、lightgbm4.0、xgboost2.0这种范围减少环境冲突。README.md里写清楚Python 版本、安装命令、运行顺序、预期输出。验证脚本我习惯加一个smoke_test.py用 100 行样本跑通全流程确保没有语法错误和路径问题。# smoke_test.py import pandas as pd from src.preprocess import clf_pre, reg_pre from sklearn.pipeline import Pipeline from sklearn.linear_model import LogisticRegression, Ridge df pd.read_csv(data/raw.csv).head(100) X df.drop(columns[default, income]) y_clf df[default] y_reg df[income] clf Pipeline([(pre, clf_pre), (model, LogisticRegression(max_iter200))]) clf.fit(X, y_clf) print(分类 smoke test 通过预测形状:, clf.predict(X).shape) reg Pipeline([(pre, reg_pre), (model, Ridge())]) reg.fit(X, y_reg) print(回归 smoke test 通过预测形状:, reg.predict(X).shape)这个脚本跑通说明数据管道和模型接口没问题再上全量数据。我自己的习惯是每次改完preprocess.py先跑smoke_test.py再跑全量训练。这样能省下大量等模型训练的时间。最后说一句别追求一次把参数调到最优先把基线跑通再逐步加特征和调参。希望帮到你。本文还有配套的精品资源点击获取