1. 项目概述在线算法是计算机科学中一个经典且充满挑战的领域它处理的是那些必须在信息不完全的情况下即时做出不可撤销决策的问题。想象一下你站在滑雪场的租赁柜台前不知道这个雪季你会滑几天雪。你是应该每天花一笔小钱租雪具还是一次性花一大笔钱买下来这就是经典的“滑雪租赁”问题。在另一个场景里医院的放射科医生面对一堆待处理的医学影像一个机器学习模型会标记出疑似“紧急”的病例但模型并非百分之百准确。医生应该按照什么顺序来处理这些影像才能最小化因延误诊断而带来的潜在风险这就是“在线作业调度”问题。传统在线算法的设计哲学是“防御性”的它假设输入序列是由一个充满恶意的对手生成的因此算法必须保证在最坏情况下的性能即竞争比有一个上界。这种思路保证了算法的鲁棒性但代价往往是牺牲了在“平均”或“典型”情况下的表现。毕竟现实世界的数据并非总是最恶意的。近年来“带预测的算法”这一新兴领域试图打破这个僵局。其核心思想是我们可以利用从历史数据中训练出的机器学习模型对未来进行预测并将这些预测作为“建议”融入到在线算法的决策中。理想情况下算法既能享受预测准确时带来的性能红利一致性又能在预测糟糕时不至于崩盘仍能保持一个可接受的底线鲁棒性。然而这里存在一个关键的“信任鸿沟”。现有的理论框架通常要求用户为整个预测模型指定一个全局的、笼统的“可信度”参数λ。这就像告诉算法“总体上你可以相信这个模型70%。”但现代机器学习模型尤其是那些输出概率的模型如逻辑回归、神经网络其能力远不止于此。它们不仅能给出一个预测值例如“这张影像有80%的可能性是紧急病例”还能通过这个概率值本身隐含地传递出对这个预测的“自信程度”。一个输出0.51的概率和一个输出0.95的概率虽然都指向“紧急”但其蕴含的不确定性是天差地别的。如何量化并利用这种“实例级别”的不确定性是将机器学习建议有效融入在线算法的关键。这正是“校准”技术大显身手的地方。一个经过校准的预测模型其输出的概率是“诚实”的。简单来说在所有它预测概率为p的样本中事件真实发生的比例就应该接近p。例如在100张被模型标记为“80%紧急”的影像中大约有80张确实是紧急的。校准为我们提供了一种原则性的、可实践的方法将模型输出的原始分数转化为可靠的、可用于决策的概率估计。它不再需要人为设定一个全局信任参数而是让算法能够“读懂”模型对每一个具体预测的自信程度从而做出更精细、更自适应的决策。本文将以“滑雪租赁”和“在线作业调度”这两个经典问题作为案例深入探讨如何利用校准的机器学习预测来设计性能更优的在线算法。我们将看到校准不仅是一个漂亮的统计概念更是一个能带来实质性性能提升的强大工具尤其是在数据不确定性高、预测方差大的场景下其优势相比传统的二值预测或基于区间的保形预测方法更为明显。2. 核心思路与方案选型2.1 问题本质与算法设计范式在线算法的核心矛盾在于“即时决策”与“未知未来”之间的冲突。无论是滑雪时决定何时购买雪具还是调度系统中决定任务处理顺序决策者都必须在信息不完全的情况下行动并承担其后果。传统的竞争分析框架为这种困境提供了一个优雅的理论基准但它是一种悲观主义的视角。“带预测的算法”范式引入了一种务实乐观的视角我们承认无法完美预知未来但我们可以利用数据和模型来做出有根据的猜测。这个范式的设计目标很明确构建一个算法族其性能随着预测质量的提升而单调改进一致性同时即使预测完全错误其性能也不会低于某个可接受的底线鲁棒性。这通常通过一个可调参数λ来实现λ代表了算法对预测的信任程度。当λ1时算法完全信任预测当λ0时算法退化为经典的最坏情况保证策略。然而这个范式存在一个根本性的局限它假设所有预测的可靠性是均一的。算法要么同等信任所有预测要么同等怀疑所有预测。这显然与机器学习模型的现实不符。一个好的模型对于某些“简单”样本的预测可能非常自信和准确而对于一些“模糊”或“分布外”的样本其预测则可能摇摆不定。将这种丰富的、实例级别的置信度信息压缩成一个单一的全局参数λ无疑是一种巨大的信息浪费。2.2 校准从全局信任到实例级置信校准技术的引入正是为了弥合上述鸿沟。它的目标不是改变模型的判别能力即区分正负样本的能力由AUC等指标衡量而是修正其概率输出的“校准度”使其输出的数值具有真实的概率意义。校准的核心定义对于一个预测函数 f: X → [0, 1]如果对于其输出的任意预测值 v在条件“f(X) v”下事件 Y1 发生的真实概率等于 v那么这个预测器就是完美校准的。即Pr[Y1 | f(X)v] v对于所有 v 在 f 的值域内成立。在实践中完美校准很难达到但我们通常追求较小的“校准误差”。例如最大校准误差定义为max_v | v - Pr[Y1 | f(X)v] |。这个误差衡量了预测概率与其实条件概率之间的最大偏差。校准的优势在于实例级指导算法可以根据每个预测值 v 本身的大小动态调整策略。一个 v0.9 的预测和一个 v0.55 的预测会被区别对待。无需预设信任参数算法设计不再依赖于一个外部的、难以设定的λ。信任的粒度被内化到了预测值中。与模型无关校准通常作为后处理步骤如Platt缩放、直方图分箱法、保序回归可以应用于任何能够输出分数的模型如SVM、神经网络、梯度提升树之后使其输出具有概率解释。2.3 方案对比校准 vs. 二值预测 vs. 保形预测为了理解校准的价值我们需要将其与两种常见的替代方案进行对比。方案一二值预测Binary Predictor这是最朴素的方法。模型直接输出一个硬决策例如0或1“不买/买”、“低优先级/高优先级”。算法设计如Anand et al., 2020通常假设我们知道这个二值分类器的混淆矩阵准确率、召回率等并以此来计算一个后验概率。然而这种方法存在两个主要问题信息损失它将丰富的概率分数粗暴地二值化丢弃了所有关于置信度的信息。粗粒度校准通过混淆矩阵计算的后验概率实际上只产生了两个可能的概率值例如对于所有预测为1的样本都赋予同一个后验概率。这导致在排序时会产生大量“并列”的情况最终不得不随机打破平局影响了调度效率。方案二保形预测Conformal Prediction保形预测是另一种强大的不确定性量化工具。它不输出一个点估计概率而是输出一个集合预测例如一个区间并保证这个集合以至少 (1-δ) 的概率覆盖真实值。在滑雪租赁问题中这意味着模型会告诉你“我有90%的把握滑雪天数在 [5, 20] 天之间。”优势提供了严格的覆盖保证理论性质优美。劣势在高方差场景下为了维持相同的置信水平δ预测区间可能会变得非常宽例如[1, 100]天。这种过宽的区间几乎无法为“租还是买”的决策提供任何有意义的指导。此时算法往往会退回到最坏情况策略。方案三校准预测Calibrated Predictor校准预测输出的是一个经过校准的、标量概率值。它不提供严格的覆盖保证但提供了对事件发生可能性的一个良好估计。优势信息密度高。一个标量概率值 v 直接反映了模型对该实例的置信度。即使在不确性很高的情况下例如真实分布方差很大只要模型能区分出“相对更可能”和“相对更不可能”的样本校准后的概率就能提供有价值的梯度信息指导算法做出优于最坏情况策略的决策。与保形预测的对比论文中的理论证明定理3.7揭示了一个关键洞见存在一大类分布对于这些分布任何置信水平δ a 的保形预测区间都会因为过宽而失效导致算法退化为最坏情况策略。然而只要校准预测的均方误差η和最大校准误差α足够小满足2α 2√(η3α) a基于校准的算法其期望竞争比就能严格优于保形预测方法。这凸显了在高方差、预测困难的环境中校准提供的“概率质量”信息比“区间覆盖”信息更具操作价值。实操心得模型选择与校准方法在实践中选择哪种不确定性量化方法取决于具体问题的需求。如果你需要绝对的风险控制例如在医疗或金融等高风险领域必须保证错误率低于某个阈值保形预测的覆盖保证是无价的。但如果你追求的是平均性能的最优化并且预测目标本身方差较大那么校准预测通常是更优的选择。对于校准方法对于像逻辑回归这类本身就有概率输出的模型Platt缩放简单有效对于更复杂的模型如神经网络、XGBoost直方图分箱法或保序回归是更稳健的选择因为它们对模型输出分布的形状假设更少。3. 滑雪租赁问题校准预测的算法设计与分析3.1 问题重述与建模让我们形式化地定义连续版本的滑雪租赁问题参数购买雪具的一次性成本为 b。每日租金标准化为1。未知量滑雪总天数 Z是一个非负实数。决策算法需要决定一个“购买日” k。在前 k 天选择租赁在第 k 天结束时如果还在滑雪即 Z k则购买雪具否则停止。成本如果 Z ≤ k总成本为 Z一直租。如果 Z k总成本为 k b租k天后购买。离线最优成本若提前知道 Z最优策略是若 Z ≤ b则一直租成本为 Z若 Z b则一开始就买成本为 b。即 OPT(Z) min{Z, b}。我们的目标是设计一个在线算法 A_k(v)它接收一个关于事件{Z b}的校准预测值 v f(X) ∈ [0, 1]然后输出一个购买日 k(v)。我们希望最小化期望竞争比E[ A_k(f(X), Z) / OPT(Z) ]。3.2 算法核心思想与推导算法的设计思路是一种基于置信度的阈值策略。直觉是如果预测 v 非常低远低于0.5表明模型很确定滑雪天数不会超过 b那么我们应该采取保守策略租赁尽可能长的时间直到盈亏平衡点 b再考虑购买这模仿了经典的最坏情况最优策略。如果预测 v 很高表明模型认为很可能会超过 b那么我们应该更积极地提前购买以节省租金。但具体如何根据 v 来确定 k(v) 呢我们需要进行严谨的分析。给定预测 v我们考虑算法成本与最优成本的比值的条件期望E[CR | f(X)v]。通过分析所有可能的情况Z ≤ k, k Z ≤ b, b Z ≤ k, Z max{k, b}并利用校准性质Pr[Zb | f(X)v] ≈ v存在一个校准误差α我们可以推导出该条件期望的一个上界E[CR | f(X)v] ≤ 1 2α (vα)*k/b 1_{kb} * (1-vα)*b/k我们的目标就是选择 k(v) 来最小化这个上界。这是一个关于 k 的凸优化问题其解具有清晰的形式算法1基于校准预测的滑雪租赁算法输入校准预测值 v最大校准误差上界 α。输出购买前租赁的天数 k。如果v ≤ (43α)/5租赁 b 天后再购买。k b否则租赁b * sqrt( (1 - v α) / (v α) )天后购买。k b * sqrt((1-vα)/(vα))算法解读阈值(43α)/5当预测置信度不高v较小时算法选择最稳健的策略kb。随着α增大校准变差这个阈值会提高算法会更频繁地采用稳健策略。自适应公式sqrt((1-vα)/(vα))当预测置信度高时k 与预测概率 v 呈反比。v 越大越确信 Zbk 越小越早购买。校准误差 α 起到了“平滑”作用防止在 v 接近 0.5 时策略过于激进。3.3 理论性能保证该算法具有优美的理论性质条件最优性定理3.4对于任意预测值 v 和任意租赁策略 k总存在一个分布和一个在该分布上校准的预测器 f使得我们的算法A_k*在给定预测 v 时的条件期望竞争比是近乎最优的。这意味着在“按预测质量量体裁衣”的意义上我们的策略已经做到了最好。全局性能上界定理3.1算法的整体期望竞争比满足E[CR] ≤ 1 2α min{ E[f(X)] α, 2√(η 3α) }其中 η 是预测器的均方误差。一致性当预测器完美η0, α0时上界变为1 min{E[f(X)], 0}。由于 E[f(X)] Pr[Zb] ≤ 1因此竞争比趋近于1即达到最优。鲁棒性可以证明该算法在最坏情况下的竞争比是g(α)其中g(α)是 α 的减函数。当 α ≥ 1/3 时算法退化为经典的2-竞争策略kb。通过设置一个比真实 α 更大的 α‘ 作为输入可以牺牲一些平均性能来换取更好的最坏情况保证g(α‘) g(α)实现了一致性与鲁棒性的灵活权衡。相对于保形预测的优势定理3.7如前所述在高方差分布下校准预测能提供比保形预测区间更有价值的信息从而获得更优的期望性能。注意事项与参数选择算法需要一个最大校准误差 α 作为输入。在实践中α 是未知的。我们可以通过验证集来估计它。例如使用直方图分箱法校准后计算所有分箱上的|v - 观测频率|的最大值作为 α 的估计。一个更保守的做法是使用一个稍大的 α 值例如估计值加上一个标准差这会在轻微降低平均性能的同时增强算法的鲁棒性使其对校准误差的估计偏差不那么敏感。这是工程实践中一个重要的可靠性设计。4. 在线作业调度问题从二值预测到校准预测的飞跃4.1 问题模型与基线算法考虑一个简化的医疗影像调度场景任务有 n 个作业影像每个需要1个单位时间处理。未知优先级每个作业 i 有一个隐藏的优先级y_i ∈ {0, 1}1高优先级0低优先级先验概率为Pr[y_i1] ρ。信息揭示开始处理一个作业后需要经过 θ 比例的时间0θ1才能知晓其实优先级y_i。决策与成本在得知y_i后调度器可以选择继续完成该作业或将其挂起转去处理新作业后续再完成它。目标是最小化加权完成时间之和∑ ω_{y_i} * C_i其中ω_1 ω_0 0C_i是作业 i 的完成时间。高优先级作业的延迟成本更高。离线最优若所有y_i已知最优策略是按优先级降序处理作业。Cho et al. (2022) 提出了一个基于预测的调度算法算法3。他们假设有一个二值预测器f_b: X → {0, 1}并利用贝叶斯规则计算后验概率p_i Pr[y_i1 | f_b(X_i)]。由于f_b是二值的p_i只能取两个值例如p_和p_-。算法设定一个阈值β [θ/(1-θ)] * [ω_1/(ω_1 - ω_0)]然后将作业按p_i降序排列。对于p_i β的作业采用可抢占式策略一旦发现是低优先级就中断对于p_i ≤ β的作业采用不可抢占式策略一旦开始就必须完成。4.2 校准预测带来的改进空间基线算法的核心局限在于由于p_i只有两个可能值会导致大量作业在排序中“并列”。当许多作业的预测后验概率相同时它们之间的顺序是随机的。这种随机性会引入不必要的“逆序”即高优先级作业排在低优先级之后从而增加成本。校准预测器f: X → [0, 1]直接输出一个细粒度的、经过校准的概率值v_i。我们可以直接将v_i作为p_i代入上述算法。关键在于v_i的取值范围是连续的 [0, 1]这为作业提供了全序排列的可能极大地减少了随机打破平局的情况。为了量化这种改进论文引入了一个关键概念预测的粒度。考虑一个“粗化”的校准预测器f‘它将所有v β的预测替换为它们的条件期望E[f(X) | f(X)β]将所有v ≤ β的预测替换为E[f(X) | f(X)≤β]。显然f‘只输出两个值它等价于基线算法中通过二值预测器计算出的后验概率。而原始的细粒度预测器f的方差Var(f(X) | f(X)β)和Var(f(X) | f(X)≤β)衡量了预测在阈值两侧的分散程度。方差越大说明f提供的排序信息越丰富越能区分同一“粗桶”内的作业。4.3 理论性能分析论文的核心定理定理4.3精确地刻画了使用校准预测器带来的性能增益。算法产生的额外成本相对于离线最优主要来自三部分L在可抢占式处理的高预测作业中高优先级作业排在低优先级之后产生的逆序数。M在可抢占式处理的高预测作业中两个低优先级作业配对产生的成本。N在不可抢占式处理的低预测作业中产生的逆序数。定理表明使用校准预测器f时这些成本的期望值满足E[L] ≤ C(n, ρ) * [(1ϵ_0)ϵ_1 - κ_1]E[M] C(n, ρ) * (1-ρ)^2 ϵ_0^2E[N] ≤ C(n, ρ) * [ϵ_0(1-ϵ_1) - κ_2]其中ϵ_0 Pr[f(X)β | Y0]是假阳性率。ϵ_1 Pr[f(X)≤β | Y1]是假阴性率。κ_1 Pr[f(X)β]^2 * Var(f(X) | f(X)β)衡量了高预测组内的预测方差。κ_2 Pr[f(X)≤β]^2 * Var(f(X) | f(X)≤β)衡量了低预测组内的预测方差。C(n, ρ)是一个与 n 和 ρ 有关的常数。核心洞见κ_1和κ_2这两个方差项前面是负号。这意味着在预测器保持相同的错误率ϵ_0,ϵ_1的前提下预测值在阈值两侧的分布方差越大即预测粒度越细期望的逆序数E[L]和E[N]就越小从而算法的总成本就越低。当使用二值预测器时组内方差为0κ_1 κ_2 0上述不等式变为等式即达到了该错误率下使用粗粒度预测的性能上界。因此校准预测器通过提供更细粒度的排序信息严格地降低了算法的期望成本。实操心得调度阈值的理解与设定阈值β [θ/(1-θ)] * [ω_1/(ω_1 - ω_0)]有直观的经济学解释。它平衡了“探索”中断一个低优先级作业以寻找可能的高优先级作业的收益与成本。θ越小意味着发现作业真实优先级所需的时间越短中断的成本越低因此阈值β越小算法会更倾向于采用可抢占策略。ω_1/ω_0的比值越大高优先级作业延迟的成本相对越高算法也越倾向于采用可抢占策略来尽早处理潜在的高优先级作业。在实践中θ和ω需要根据领域知识进行估计。5. 实验验证与结果分析理论需要实践的检验。论文在两个真实世界数据集上验证了基于校准预测的算法的有效性。5.1 案例一滑雪租赁与Citi Bike数据数据集与问题映射使用纽约Citi Bike共享单车的单次骑行时长数据。将“购买日票”对应于滑雪租赁中的“购买”将“按次付费”对应于“租赁”。设定不同的盈亏平衡点 b分钟将问题转化为预测单次骑行是否会超过 b 分钟。实验设置特征使用了骑手信息年龄、性别、会员类型、骑行开始时间、开始位置以及近似终点位置经纬度等特征。预测模型对比了逻辑回归LR、XGBoost和一个小型多层感知机MLP。对比算法Breakeven经典的最坏情况最优策略始终租赁 b 分钟后购买。Binary基于二值预测的算法Anand et al., 2020。Conformal基于保形预测区间的算法Sun et al., 2024。Calibrated我们提出的基于校准预测的算法算法1。关键发现特征信息量影响模型性能如图5所示当缺乏终点站信息时所有模型的预测准确率AUC都接近随机猜测0.5。随着终点站信息经纬度的加入模型性能显著提升AUC可达0.8以上。这印证了预测质量是后续算法性能的基础。校准算法的优势如图6、7、8所示在模型具备一定预测能力AUC 0.65的情况下Calibrated算法在大多数盈亏平衡点 b 上都取得了最低的期望竞争比即E[ALG/OPT]最接近1。特别是在 b 处于中间范围例如8-12分钟时优势最为明显因为此时“租”与“买”的决策最为纠结需要预测提供精细的指导。与保形预测的对比Conformal算法的性能高度依赖于预测区间的宽度。在数据分布方差较大、预测困难时表现为模型准确率不高其区间会变宽导致算法频繁退化为Breakeven策略性能较差。而Calibrated算法即使在不那么准确的概率指导下也能通过概率值的大小差异做出比最坏情况策略更优的决策。模型无关性无论是线性模型、树模型还是神经网络只要对其输出进行合理的校准都能为Calibrated算法带来性能提升。这表明校准是一个通用的、模型后处理步骤。5.2 案例二作业调度与脓毒症预测数据集与问题映射使用脓毒症Sepsis预测临床数据集。任务是根据患者年龄、性别和既往脓毒症发作次数预测其死亡风险高优先级。调度目标是优先处理高死亡风险的患者。实验设置预测模型训练逻辑回归模型作为基础预测器AUC达到0.86。校准方法对比Binary使用Cho et al. (2022)的方法将逻辑回归输出二值化后计算后验概率本质是粗粒度校准。Calibrated使用直方图分箱法对逻辑回归的输出概率进行细粒度校准。评估指标在不同延迟成本比ω_1/ω_0和信息屏障θ下计算算法成本与最优成本的归一化差值E[ALG - OPT]/n。关键发现如图3和图9所示一致性的性能提升在所有测试的ω_1/ω_0和θ参数组合下使用细粒度校准预测器Calibrated的调度成本都低于使用粗粒度二值化方法Binary的成本。参数影响当θ增大即需要更长时间才能知晓作业真实优先级时两种方法的性能差距会缩小。这是因为更长的信息揭示时间降低了调度器利用早期预测信息进行调整的灵活性削弱了细粒度预测的优势。当ω_1/ω_0增大高优先级作业延迟成本急剧增加时调度问题变得更加敏感细粒度校准带来的更优排序其收益也更大。方差的贡献实验结果与理论分析相符。细粒度校准预测器在组内高预测组和低预测组产生了显著的方差κ_1,κ_2 0正是这些方差项帮助算法减少了逆序从而降低了总成本。避坑指南校准中的类别不平衡处理在医疗诊断等场景中正样本如重症患者往往远少于负样本。如果直接在倾斜的数据集上进行校准模型可能会系统性地低估正类的概率因为数据中正类太少。一个有效的技巧是在验证集上进行校准时对类别进行重平衡。例如可以从验证集中均匀地采样正负样本或者使用与训练集不同的类别先验来进行Platt缩放。这能确保校准后的概率在决策阈值附近更加准确这对于调度算法至关重要因为阈值β附近的预测值直接影响作业被分入哪一组。6. 实施要点与常见问题排查将校准预测集成到在线算法中并非一蹴而就在实际部署时会遇到一系列工程和理论问题。6.1 校准误差的估计与处理理论算法要求输入最大校准误差 α。在实践中我们只能从有限的数据中估计它。估计方法最直接的方法是使用验证集。将验证集样本按预测值分箱例如10个等频分箱计算每个箱内预测值的平均值v_bin和真实标签的正例比例p_bin。最大校准误差的估计值为max_bin |v_bin - p_bin|。不确定性处理由于估计存在抽样误差直接使用α_hat可能过于激进。一个稳健的做法是使用一个更保守的值例如α α_hat c * se其中se是估计的标准误c是一个常数如1或2。这为算法提供了安全边际。在线校准在数据分布可能随时间漂移的场景中需要实施在线校准策略。可以定期例如每天或每周用最近一段时间的数据重新校准模型并动态更新 α 的估计值。6.2 预测模型的选择与训练输出类型优先选择能够输出概率或分数的模型如逻辑回归、梯度提升树XGBoost, LightGBM、神经网络。支持向量机SVM等需要额外进行Platt缩放以获得概率。校准方法选择Platt缩放适用于输出具有逻辑形状的模型如SVM、神经网络但假设校准函数是Sigmoid形式可能不够灵活。保序回归Isotonic Regression非参数方法非常灵活能拟合任意单调的校准映射是强大且常用的选择。直方图分箱法简单直观将预测值分箱后用箱内正例比例作为校准后的概率。分箱数量需要交叉验证选择。避免数据泄露绝对不要使用测试集或未来数据进行校准必须严格划分训练集用于训练模型、验证集用于校准和选择超参数包括 α和测试集用于最终评估算法性能。6.3 算法部署的工程考量延迟与吞吐量校准步骤尤其是保序回归会引入额外的计算开销。在需要极低延迟的在线决策系统中如高频交易需要评估此开销是否可接受。有时预先计算好的校准查找表可以加速这一过程。监控与告警上线后必须持续监控算法的实际性能如滑雪租赁中的实际平均成本、调度中的平均延迟以及预测器的校准情况。可以设置以下告警校准误差α_hat持续上升超过某个阈值。算法实际竞争比或后悔值显著偏离理论期望或历史基线。预测分布发生显著偏移。6.4 典型问题与排查清单问题现象可能原因排查步骤与解决方案校准算法性能不如最坏情况策略。1. 预测模型本身准确率太低AUC接近0.5。2. 校准误差 α 估计过小算法过于信任错误预测。3. 数据分布发生剧变训练/校准时的分布与线上分布不符。1. 检查预测模型的AUC/准确率。如果接近随机应首先改进模型或特征工程。2. 在验证集上重新评估并调大 α 的估计值增加安全边际。3. 进行分布漂移检测如计算线上/线下特征的KL散度并重新训练和校准模型。算法性能波动大不稳定。1. 预测值分布集中在某个狭窄区间如0.45-0.55导致策略在阈值附近频繁切换。2. 用于估计 α 的验证集太小估计方差大。1. 检查预测值的直方图。可以考虑对预测值进行平滑处理或引入决策迟滞hysteresis。2. 增加验证集大小或使用交叉验证来获得更稳定的 α 估计。调度算法中高优先级作业仍有很多被延误。1. 预测器的假阴性率ϵ_1过高。2. 成本参数ω_1/ω_0或θ设置不合理阈值β过高导致太多作业被划入不可抢占组。1. 优化模型以降低假阴性率提高召回率这可能需要在训练时赋予正样本更高权重。2. 与领域专家复核ω_1,ω_0,θ的设定。进行敏感性分析观察不同参数下性能的变化。保形预测区间总是很宽导致算法失效。数据不确定性高或用于构建区间的校准集不够大或置信水平δ设置过小。这是保形预测在高方差环境下的固有局限。考虑切换到校准预测方法或者接受更宽的区间即更大的δ但这会降低覆盖保证。最后一点个人体会将机器学习预测引入在线算法最大的价值不在于追求预测的绝对准确而在于建立一种“预测质量”与“决策激进程度”之间的定量联系。校准正是构建这种联系的桥梁。它允许算法以一种原则性的方式“知道它不知道什么”从而在自信时大胆优化在不确定时谨慎回退。这个过程本身就是让算法变得更“智能”、更贴近人类决策者审时度势的核心所在。在实际项目中不要只盯着模型的AUC花时间做好校准和不确定性量化往往能带来超出预期的系统级性能提升。
