简介面向使用 scikit-learn 做分类任务的 Python 开发者这份 PDF 聚焦分类模型中的概率预测接口系统讲解 predict_proba 与 predict、decision_function 的差异并结合 LogisticRegression、SVC 代码示例说明输出格式、类别顺序和决策边界含义覆盖二分类与多分类场景。读者可以通过概率值更细致地判断模型对每个类别的把握也可以用它做风险阈值调整、样本筛选或结果解释从而避免只拿到类别标签时信息不足的问题。文档还专门强调了 classes_ 排序机制帮助读者把概率列与原始标签正确对应减少常见误用。资源为 1 个 PDF 文件压缩包 64KB适合在机器学习入门、模型调优或结果解释阶段随手查阅。目前已有 2591 人学习内容紧凑、代码示例可直接复制运行对需要输出分类置信度或绘制决策边界的实践者具有较高参考价值。1. 为什么说 predict_proba 是 sklearn 分类任务里最被低估的方法很多人在 sklearn 里跑分类模型时有个固定动作fit 完直接 predict 拿标签完事。直到某天业务方问“这条预测你的把握有多大”才发现手里只有结果没有依据。predict_proba 正是补上这一环的方法它返回每个样本属于各个类别的概率分布二分类输出两列多分类输出与类别数相同的列每一行概率总和为 1。它不是什么进阶黑科技而是分类模型的标准输出口只是大多数教程都直奔 predict把它晾在一边。做风控评分、工业质检、医疗辅助诊断的人几乎每天都在用因为只有概率才能支撑阈值调整、ROC 曲线和不确定性评估。这篇文章从基本用法讲到输出顺序、与 decision_function 的差别最后列出常见翻车点一次说透。2. predict_proba 的基本使用LogisticRegression 里的概率输出2.1 一行代码拿到概率分布predict_proba 最简单的打开方式就是用逻辑回归。先造一组可复现的随机数据跑通全流程from sklearn.linear_model import LogisticRegression import numpy as np # 训练集10 个样本、3 个特征特征值范围 0-9 train_X np.array(np.random.randint(0, 10, size30).reshape(10, 3)) # 标签二分类只取 0 和 1 train_y np.array(np.random.randint(0, 2, size10)) # 测试集4 个样本 test_X np.array(np.random.randint(0, 10, size12).reshape(4, 3)) model LogisticRegression() model.fit(train_X, train_y) # predict_proba 返回概率矩阵 test_proba model.predict_proba(test_X) print(test_proba)这段代码里有几个参数值得拆开看。size30是让随机数组总长度为 30reshape(10, 3)把它掰成 10 行 3 列的特征矩阵每一行一个样本train_y的长度必须与train_X行数一致否则 fit 时 sklearn 直接报维度不匹配。predict_proba(test_X)接收的是与训练时相同特征数的二维数组返回的行数等于测试样本数列数等于类别数。输出大概是这个样子[[0.48753831 0.51246169] [0.58182694 0.41817306] [0.85361393 0.14638607] [0.57018655 0.42981345]]看到这个矩阵第一件事就是核对维度4 行对应 4 条测试样本2 列对应两个类别。第一行的 0.4875 是样本归到类别 0 的概率0.5125 是归到类别 1 的概率两个值加起来正好是 1。逻辑回归能直接输出概率是因为它的决策函数本身是对数几率比经过 sigmoid 变换后自然落在 0 到 1 之间不需要额外开关。提示如果训练标签顺序是乱的比如 y 先出现 1 后出现 0输出列还是先 0 后 1 吗答案在第 3 章列顺序由 classes_ 决定跟标签在数组里的先后无关。我习惯在拿到概率矩阵后立刻做两个检查一看每行之和是否接近 1二看列数和model.classes_的长度是否一致。这两步能挡住一半以上的低级错误。另外随机数据只是为了展示方法真实项目里记得先做标准化或归一化否则逻辑回归的收敛速度和结果都会受影响。2.2 predict 与 predict_proba 的分工与配合predict 看起来和 predict_proba 是两套方法实际上 predict 只是对概率做了一个默认决策取每行概率最大的类别作为标签。你可以手动把这一步复现出来# 同时拿到标签和概率 test_predict model.predict(test_X) test_proba model.predict_proba(test_X) # argmax 沿行方向取最大概率对应的列索引 manual_predict np.argmax(test_proba, axis1) print(predict 结果:, test_predict) print(argmax 换算:, manual_predict)np.argmax(test_proba, axis1)里的axis1表示沿着每一行找最大值返回值是列索引在二分类里索引 0 代表类别 0索引 1 代表类别 1。如果predict的输出和manual_predict完全一致就说明该模型的最终预测确实等价于“概率最大的类”。不过两者有本质差别predict 丢掉了一切关于置信度的信息。同一个标签“1”概率可能是 0.51也可能是 0.99前者基本是抛硬币后者几乎可以拍板。做业务的时候如果只看 predict等于把这两种情况混为一谈。我一般会在需要给结果排序的场景里用概率代替标签。比如风控里把客户按违约概率从高到低排标签只有 0 和 1排不出序但 predict_proba 输出的正类概率可以直接当分数用阈值定高一点就收紧放低一点就放开。这个用法在信贷和反欺诈领域非常普遍也是 predict 完全替代不了的。这种 argmax 等价关系在多分类下依然成立。类别数增加到 3 或 5 时predict_proba 的列数跟着变predict 依然取每行最大值那个类。可以把它当作一种快速验证如果觉得某个模型的预测结果和概率对不上就用 argmax 核对一遍多半是数据对齐出了问题。3. 输出顺序与标签映射classes_ 才是概率列的真实排班表3.1 np.unique 的排序规则predict_proba 输出的列顺序不是“先出现的类别在前”而是按所有类别的排序来的。sklearn 在 fit 的时候会把训练标签经过np.unique处理得到一个从小到大、去重后的类别数组存到model.classes_里predict_proba 的每一列就对应这个数组的一个位置。# 故意把标签顺序打乱 y_messy np.array([1, 1, 0, 1, 0, 0, 1, 0, 1, 1]) model LogisticRegression() model.fit(train_X, y_messy) print(classes_:, model.classes_) print(预测概率: \n, model.predict_proba(test_X))这里y_messy里 0 和 1 混在一起但model.classes_输出的必然是[0 1]不会因为 1 先出现就变成[1 0]。np.unique的默认行为就是先排序再去重数值型标签按数值大小排字符串标签按字典序排。这一条规则看着简单却是最常见的翻车点。很多人在二分类里假设“第一列是正类”结果模型训练数据里类别 1 恰好排在后头正类的概率跑到第二列去了。如果直接用np.argmax拿索引再拿索引去对标签对出来的结果全是错的。所以每次建模我拿到模型对象后第一件事就是打印 classes_这已经成了肌肉记忆。3.2 多分类场景下的标签对应实操多分类比二分类更容易乱。三分类的 predict_proba 输出三列顺序同样是 classes_ 的排列from sklearn.datasets import load_iris from sklearn.linear_model import LogisticRegression # 三分类数据标签是 0、1、2 iris load_iris() X iris.data y iris.target model LogisticRegression(max_iter200) model.fit(X, y) print(classes_:, model.classes_) proba model.predict_proba(X[:3]) print(前 3 个样本的概率:\n, proba) # 把概率列与类别一一对应起来 for row in proba: label_with_proba list(zip(model.classes_, row)) print(label_with_proba)model.classes_是[0 1 2]概率矩阵的 0 列、1 列、2 列分别对应这三个类。list(zip(model.classes_, row))把类别和概率拼成一组一组对打印出来可以肉眼核对是哪一列对应哪个类。在真实项目里我更建议直接写一个小工具函数把概率矩阵转成带标签的 DataFrame避免每一步都手动对列import pandas as pd def proba_to_df(model, X, sample_idsNone): proba model.predict_proba(X) df pd.DataFrame(proba, columnsmodel.classes_) if sample_ids is not None: df.insert(0, sample_id, sample_ids) return df这个函数的思路很直接columnsmodel.classes_直接让列名等于真实标签后续无论是筛选、排序还是落库都不需要再对列索引做映射。sample_ids参数是可选的当你需要知道某条概率属于哪个样本时传进去就行。多分类里还有一个容易忽略的细节如果某个类别在训练集里一条都没出现classes_ 里就不会有这个类别predict_proba 的列数也会相应减少。这在样本不均衡的项目里特别容易踩到后面避坑章会重点说。4. 概率之外的另一个视角decision_function 与 predict_proba 的取舍4.1 decision_function 返回的是什么很多模型除了 predict_proba还有一个 decision_function。两者的区别我用一个带概率开关的 SVM 来演示from sklearn.svm import SVC import numpy as np # 8 个点4 类 X np.array([[-1,-1],[-2,-1],[1,1],[2,1],[-1,1],[-1,2],[1,-1],[1,-2]]) y np.array([0,0,1,1,2,2,3,3]) # 打开 probabilityTrue 才能用 predict_proba clf SVC(probabilityTrue) clf.fit(X, y) print(decision_function 输出:\n, clf.decision_function(X)) print(predict_proba 输出:\n, clf.predict_proba(X))decision_function返回的是样本到决策边界的“距离”或置信度分数。二分类时每个样本只有一个分数正负由相对于超平面的位置决定多分类时会返回多个分数个数取决于分类策略。注意SVC默认不输出概率必须在初始化时指定probabilityTrue这个参数会让 SVC 在训练后额外做一次 Platt 缩放来估计概率计算成本更高训练时间也会明显变长。如果你不想打开这个开关可以用 decision_function 来给样本排序很多场景下它的排名能力和 predict_proba 相当但省掉了概率拟合的额外开销。我在做文本分类的初筛时经常这么干先拿 decision_function 排掉明显不相关的样本再对剩下的做精细处理。4.2 ovr 与 ovo 的维度差异decision_function 的输出列数和分类策略直接相关。常见的两种策略ovr一对余和 ovo一对一。# 不指定时SVC 默认用 ovo clf_ovo SVC(probabilityTrue, decision_function_shapeovo) clf_ovo.fit(X, y) print(ovo 维度:, clf_ovo.decision_function(X).shape) # 显式指定 ovr clf_ovr SVC(probabilityTrue, decision_function_shapeovr) clf_ovr.fit(X, y) print(ovr 维度:, clf_ovr.decision_function(X).shape)拿 4 分类来说ovo 策略下 sklearn 会为每对类别训练一个分类器共 4*(4-1)/2 6 个所以 decision_function 返回 6 个值ovr 策略下为每个类别训练一个“本类 vs 其余”的分类器共 4 个所以返回 4 个值。这两个维度对不上是正常现象不要拿 ovo 的分数去套 ovr 的列数。predict_proba 在多分类 SVC 里也有自己的处理方式它会在 ovo 的成对概率基础上做二次归一化最终仍输出与类别数相同的概率列每行和为 1。所以从使用角度看predict_proba 的列数始终等于 classes_ 的长度比 decision_function 更直观。4.3 什么场景选哪个我自己的选择逻辑很简单需要概率语义阈值、ROC、业务解释就用 predict_proba需要画决策边界或者只想做相对排序、且对速度敏感就用 decision_function。SVC 的 probabilityTrue 会引入额外的交叉验证和 Platt 缩放数据量大时耗时明显如果业务只需要排名完全可以用 decision_function 代替排出来的顺序基本一致。另外一个区别要注意decision_function 的值域不限制在 0 到 1 之间所以它不适合直接解读成概率。这也是为什么文档里叫它“confidence score”而不是“probability”。如果要给业务方解释“这条预测的把握是多少”一定要用 predict_proba而不是拿 decision_function 的绝对值硬套。5. 避坑predict_proba 最常见的五个翻车现场5.1 概率列顺序想当然现象写代码时默认第一列是正类概率结果预测结果错得离谱。原因predict_proba 的列顺序由 classes_ 决定和标签在训练数组里的出现顺序无关。标签[1, 0, 0, 1]和标签[0, 1, 0, 1]训练出的模型classes_ 都是[0, 1]。如果业务里把 1 定义为正类正类概率永远在第二列而不是第一列。解决不管什么模型拿到概率后先打印model.classes_确认列顺序再往下写。如果不想每次手动看就直接用第 3 章那个proba_to_df函数让列名自己带标签。5.2 SVC 概率输出没打开现象调用clf.predict_proba(X)直接报AttributeError: predict_proba is not available when probabilityFalse。原因SVC 默认probabilityFalse没有概率输出的能力。sklearn 里 SVM 的数学形式天然不产生概率必须额外做概率校准才能支持。解决初始化时显式加probabilityTrue。不过要记住这个开关会引入额外的计算训练时间可能翻倍甚至在某些数据集上会因为内部的交叉验证失败而报错。如果只是要排序用 decision_function 更划算我前面已经踩过这个坑当时线上模型训练时间从 20 分钟直接涨到 1 个多小时。5.3 概率和不为 1现象某行概率加起来是 0.97 或 1.03个别模型甚至出现负值。原因部分模型如某些 boosting 集成、Naive Bayes 的某些变体的概率输出本身就不保证严格归一化到 1它们更多是“得分”而不是严格概率。解决先看模型文档确认它的概率输出是什么语义。如果业务要求概率语义可以自己动手归一化proba / proba.sum(axis1, keepdimsTrue)。但要记住这只能解决数值上和不为 1 的问题解决不了模型本身的概率偏差更可靠的方案是第 6 章的概率校准。5.4 概率不等于置信度现象训练集上预测概率 0.9线上效果却很差甚至 0.9 的概率对应的真实比例只有 0.7。原因概率表示模型对自身判断的把握不代表真实准确率。尤其是样本不均衡或训练集与线上分布不一致时概率会失真。逻辑回归在小样本上训练出的 0.9很可能只是过拟合出来的自信。解决用校准手段如 CalibratedClassifierCV修正概率再用于阈值决策。另一个办法是分桶统计把预测概率按 0.1 的间隔分桶看每个桶里真实正例的比例如果和概率对不上就说明模型概率有偏。5.5 某个类别没出现在训练集现象predict_proba 输出列数比业务预期少一列线上预测时直接报错。原因classes_ 只包含训练时见过的类别没出现过的类别不会出现在概率矩阵里。比如业务有 A、B、C 三类训练集里 C 类一个样本都没有predict_proba 就只有两列。解决训练前统计标签分布确认所有业务类别都有样本。对极度不均衡的类别做采样时保留一份完整的类别字典训练完检查len(model.classes_) len(category_dict)。最怕的是线上出现训练时没见过的标签predict_proba 对这种情况没有任何兜底只能靠训练阶段的完整性来预防。6. 进阶用法把概率用到评估与阈值决策上6.1 阈值扫描predict_proba 最大的价值是让你可以自由调整判定标准。默认阈值 0.5 不是真理尤其正负样本不平衡时0.5 往往不是最优解。我一般会写一个简单的阈值扫描from sklearn.metrics import f1_score # 假设已经拿到验证集的概率和真实标签 test_proba model.predict_proba(test_X)[:, 1] # 正类概率 best_threshold 0.5 best_f1 0 for threshold in np.arange(0.3, 0.8, 0.05): pred (test_proba threshold).astype(int) score f1_score(test_y, pred) if score best_f1: best_f1 score best_threshold threshold print(最优阈值:, best_threshold, 对应 F1:, best_f1)[:, 1]是取第二列正类概率前提是你已经通过 classes_ 确认了正类在哪一列。扫描的步长可以按业务精度调风控类项目我常用 0.01 的粒度因为分数微调对通过率影响很大。选阈值时不要只看 F1还要结合业务成本漏判代价高就把阈值调低误判代价高就调高。6.2 概率校准如果模型概率整体偏移比如预测 0.8 但实际只有 0.6直接用会出问题。sklearn 提供了现成的校准工具from sklearn.calibration import CalibratedClassifierCV # 用原始模型包一层校准 calibrated_model CalibratedClassifierCV(model, methodsigmoid, cv5) calibrated_model.fit(train_X, train_y) # 校准后的概率 calibrated_proba calibrated_model.predict_proba(test_X)methodsigmoid适合概率偏差较小的情况methodisotonic适合样本量大且偏差非线性时但容易过拟合小数据集慎用。cv5是内部用 5 折交叉验证来拟合校准参数保证校准本身不在训练集上自欺欺人。从那以后我每次做分类模型都会把概率校准和阈值扫描当成固定流程走一遍不再直接拿 predict 的结果交差。先打印 classes_ 确认列顺序再对概率做分桶校验最后扫阈值选业务最优解。这套动作看着繁琐但真的能避免很多线上翻车的尴尬。希望帮到你。本文还有配套的精品资源点击获取