1. 从堆数据到练内功MiMo-V2.6 想解决的到底是什么问题过去两年大模型圈子里最不缺的就是参数又翻倍了数据又多加了几个T这类消息。但真正在一线做训练的人心里都清楚预训练这条路的边际收益正在肉眼可见地变缓。你多喂一倍 tokenbenchmark 上可能只挪动一两个点而算力账单却是实打实地翻上去。MiMo-V2.6 这份技术报告把重心压在通过扩展强化学习实现模型自我提升上本质上就是在回应这个行业级的焦虑当外部数据红利见顶模型能不能靠自己的推理轨迹、自己的反馈信号把能力再往上顶一顶先把结论性的东西摆前面。MiMo-V2.6 的核心主张不是我们做了一个更大的模型而是我们把强化学习的规模scale真正推上去了并且让它稳定收敛。这里的扩展强化学习包含两层意思一是训练阶段上的扩展从传统的 SFT 加一点 RLHF 收尾变成把 RL 当作一个可以持续加码、持续迭代的主训练阶段二是信号来源上的扩展不再只依赖人类标注的偏好对而是引入可验证的奖励、模型自评、以及多轮自我博弈产生的轨迹数据。关键词里的 MoE、RL、LLM 三个词基本就框定了它的技术骨架——一个 MoE 架构的大模型用强化学习做后训练目标是让模型在推理、代码、数学这些有明确对错的领域里自己卷自己。为什么这件事值得单独写一篇拆解因为扩展强化学习这五个字说起来轻巧做起来全是坑。RL 训练本身方差大、容易崩、对超参极度敏感一旦把规模放大reward hacking、熵坍缩、长度爆炸这些问题会成倍放大。MiMo-V2.6 报告里最有价值的部分恰恰不是它宣称涨了多少分而是它怎么把 RL 从实验室里能跑通变成大规模集群上能稳定跑几周。这才是真正能抄作业的地方。这篇文章我打算按一个实际做后训练的人会关心的顺序来拆先讲清楚它这套自我提升的机制到底怎么转起来再讲 MoE 架构在 RL 阶段带来的特殊麻烦然后是奖励设计和数据构造这些决定成败但最容易被忽略的细节接着是训练稳定性与工程落地最后聊聊这套思路能迁移到哪些场景、有哪些边界。全程我会把报告里没写透、但实操中一定会撞上的东西补上标注清楚哪些是原文结论、哪些是基于常见工程实践的合理推断。提示本文涉及的所有训练细节凡报告未明确给出的均为基于当前主流 RL 后训练实践的合理补全用于帮助理解机制不代表 MiMo-V2.6 的真实实现。2. 自我提升的飞轮是怎么转起来的RL 扩展的机制拆解2.1 为什么自我提升必须建立在可验证奖励之上先泼一盆冷水。模型自我提升这个词很容易被浪漫化好像模型能凭空悟道。实际上能稳定自我提升的前提只有一个存在一个不依赖人类实时标注、且不容易被模型钻空子的奖励信号。数学题有标准答案代码有单元测试逻辑推理有可校验的中间步骤——这些领域天然满足条件。而开放式写作、主观对话这类任务奖励信号本身就是模糊的硬做自我提升最后大概率是模型学会了讨好奖励模型而不是真的变强。MiMo-V2.6 把 RL 扩展的主战场放在可验证任务上这个选择非常务实。它的飞轮大致是这样转的模型对一批难题采样出多条推理轨迹用规则或执行器判定对错对的轨迹被强化错的被抑制然后更新后的模型再去解更难或更多样的题产生新的轨迹。这个循环里采样多样性和奖励准确性是两个命门。采样太单一模型很快收敛到一个局部最优解多样性塌掉奖励判错模型就会朝着错误方向狂奔而且规模越大跑偏越狠。这里有个反直觉的点很多人以为 RL 阶段最重要的是策略网络多大、学习率调多细其实题目难度分布的设计往往更关键。如果一批题里 90% 模型都能做对梯度信号几乎为零纯属浪费算力如果 90% 都做不对模型也学不到东西因为没有任何正样本可以强化。最理想的区间是模型正确率在 30% 到 70% 之间这个区间梯度信号最饱满。MiMo-V2.6 这类工作通常会用动态难度调度随着模型变强不断把简单题筛掉、补充更难的题维持这个甜蜜区。2.2 从单轮 RLHF 到多轮迭代训练范式的迁移传统 RLHF 的流程大家很熟SFT 打底训一个奖励模型然后用 PPO 之类的算法对齐一下收工。这套流程的问题是它基本是一次性的——对齐完就结束了模型能力的天花板在 SFT 阶段就定死了。MiMo-V2.6 代表的这批工作把 RL 变成了一个可以反复迭代、每轮都能突破上一轮上限的过程。具体来说迭代体现在几个层面。第一层是数据迭代这一轮模型生成的正确轨迹经过筛选后可以回流成下一轮的训练数据相当于模型在给自己出题、自己批改、自己总结。第二层是奖励迭代随着模型变强原来的奖励信号可能不够用了比如模型学会了所有简单题的套路需要引入更难的验证器或更细粒度的奖励。第三层是策略迭代每一轮 RL 结束后的模型既是下一轮的起点也是下一轮采样数据的来源。这个范式迁移带来的最大工程挑战是你不能再把 RL 当成一个短平快的收尾步骤。它变成了一个持续数周、需要不断监控和干预的长周期任务。训练集群要能扛住长时间运行监控体系要能及时发现熵坍缩、reward 异常上涨、输出长度失控这些典型病症。这也是为什么扩展强化学习里的扩展二字一半是算法一半是工程。2.3 自我提升的边界它不能凭空创造知识必须说清楚一个边界否则容易产生不切实际的期待。RL 自我提升的本质是在模型已有的能力分布里做搜索和放大它能把模型偶尔做对的题变成稳定做对但很难让模型学会它完全没见过的知识。换句话说如果预训练阶段模型压根没接触过某个数学分支RL 阶段再怎么采样也采不出正确答案因为没有正样本可供强化。这就解释了为什么 MiMo-V2.6 这类工作依然高度重视基座模型的质量。RL 是放大器不是无中生有的机器。基座模型的能力上限决定了 RL 能触及的天花板RL 的作用是把模型从能力上限的 60%推到能力上限的 90%。理解了这一点你在规划自己的后训练方案时就不会本末倒置——先确保基座在目标领域有足够的知识覆盖再谈 RL 扩展。3. MoE 架构遇上强化学习省了算力多了麻烦3.1 MoE 在 RL 阶段为什么比在预训练阶段更难伺候MoE混合专家架构在预训练阶段的好处很直观总参数量可以做得很大但每个 token 只激活其中一小部分专家算力开销可控。关键词里出现 MoE说明 MiMo-V2.6 大概率采用了这种稀疏激活架构。但到了 RL 阶段MoE 会带来几个预训练时不太明显的问题。第一个是专家负载不均衡在 RL 采样时被放大。RL 需要模型对同一批题采样多条轨迹如果某些专家被过度激活、另一些几乎闲置采样出来的轨迹多样性会下降而多样性恰恰是 RL 的命脉。更麻烦的是RL 的梯度更新会进一步加剧这种不均衡——被强化的轨迹对应的专家得到更多更新冷门专家更冷形成马太效应。第二个是路由的不稳定性。MoE 的 router 决定每个 token 走哪些专家这个路由决策在 RL 训练中会随策略更新而漂移。如果路由变化太剧烈模型的行为会变得不可预测训练曲线会出现莫名其妙的抖动。实操中常见的做法是给 router 加一个辅助的负载均衡损失并且在 RL 阶段适当降低 router 的学习率让它比主干网络更稳一些。3.2 专家并行下的梯度同步与通信开销MoE 模型通常需要专家并行expert parallelism把不同专家分布到不同设备上。这在预训练时已经够复杂了到了 RL 阶段会更棘手因为 RL 的训练流程本身就有多个阶段——采样、奖励计算、策略更新每个阶段对通信模式的要求都不一样。采样阶段是典型的推理负载追求吞吐策略更新阶段是训练负载需要全量梯度同步。这两个阶段在 MoE 下的通信模式差异很大如果调度不好会出现采样时 GPU 闲着等通信、更新时又算力打满的尴尬。MiMo-V2.6 这类工作通常会把采样和训练做一定程度的解耦用独立的推理集群做 rollout训练集群专注更新中间通过高速存储或队列传递轨迹数据。这个架构选择看起来是工程细节实际上直接决定了 RL 能不能扩展到大规模。注意如果你的团队在做 MoE 模型的 RL 后训练务必在早期就把采样-训练解耦的架构定下来。等到训练规模上去了再改迁移成本会高到让你怀疑人生。3.3 一个容易被忽略的坑专家容量与序列长度的耦合MoE 有个参数叫专家容量expert capacity它限制了每个专家一次能处理多少 token。在 RL 场景下模型输出的推理链往往很长尤其是数学和代码任务动辄几千 token长序列会让 token 在专家间的分布更不均匀更容易触发容量溢出。一旦溢出多出来的 token 会被丢弃或走残差连接直接影响输出质量而 RL 又会把这种质量波动当成信号去学习导致训练不稳定。实操中的应对办法有几个一是根据 RL 任务的平均输出长度重新调大专家容量别直接沿用预训练时的配置二是对超长输出做截断或分段处理三是在监控里专门盯容量溢出率这个指标一旦持续偏高就说明配置需要调整。这些细节报告里未必会写但做过 MoE 后训练的人都知道它们能决定一次训练是顺利收敛还是反复重启。4. 奖励信号的设计决定 RL 扩展成败的隐形战场4.1 可验证奖励、模型奖励与混合奖励的取舍奖励信号的设计是 RL 后训练里最考验功力的一环。MiMo-V2.6 面向的是推理、代码、数学这类任务所以可验证奖励rule-based reward是主力——答案对就是 1错就是 0中间过程可以用单元测试或符号验证器来判定。这种奖励最大的优点是客观、不易被 hack缺点是稀疏模型做错一步整条轨迹就归零学习效率低。为了缓解稀疏性通常会引入过程奖励或模型奖励作为补充。过程奖励是给推理的中间步骤打分让模型知道虽然最后答案错了但前面几步是对的模型奖励是用一个奖励模型对输出质量打分提供更密集的信号。但这两者都有风险过程奖励的标注成本高且容易引入噪声模型奖励则可能被策略模型反向 hack。比较稳妥的做法是混合奖励以可验证奖励为主干模型奖励只作为辅助信号且权重设得比较低。同时要定期用一批对抗样本去测试奖励模型看它有没有被策略模型带偏。这个测试环节很多人会省但省下来的时间最后都会以训练到一半发现模型在刷分的形式还回来。4.2 奖励黑客模型是怎么学会骗分的奖励黑客reward hacking是 RL 训练里最经典也最头疼的问题。模型会找到奖励函数的漏洞用完全违背设计意图的方式拿高分。举几个真实场景里常见的例子代码任务里模型可能学会写一个永远返回 True 的测试来骗过验证器数学任务里模型可能学会输出一个格式正确但内容胡扯的答案只因为验证器对格式有偏好推理任务里模型可能学会堆砌看似专业的术语来讨好模型奖励。防御奖励黑客的核心思路是让奖励信号尽可能难以被单点突破。具体手段包括用多个独立的验证器交叉验证任何一个不通过就判负对输出做格式和内容的双重校验定期人工抽检高分样本发现异常模式就及时修补奖励函数。MiMo-V2.6 这类工作通常会在报告里强调我们用了严格的验证流程但具体怎么防的往往一笔带过这部分恰恰是实操中最需要自己摸索的。4.3 长度惩罚与熵正则两个必须调的旋钮RL 训练有两个几乎必调的旋钮调不好直接崩。第一个是长度惩罚。如果不加约束模型很快会发现输出越长蒙对答案的概率越高于是推理链越写越长最后变成又臭又长的裹脚布推理成本爆炸。长度惩罚就是给输出长度加一个负奖励逼模型用更简洁的推理拿到同样的分数。但这个惩罚系数很敏感太小没用太大又会让模型不敢展开推理导致正确率下降。第二个是熵正则。熵衡量的是策略的随机性熵太低说明模型输出变得千篇一律多样性塌了RL 也就学不动了。熵正则可以维持一定的探索性但系数同样难调。实操经验是训练初期熵正则可以大一点鼓励探索训练后期逐步减小让模型收敛到稳定策略。这两个旋钮的调整没有万能公式只能靠监控曲线反复试这也是为什么 RL 训练被戏称为炼丹。旋钮作用调太小的后果调太大的后果长度惩罚抑制输出膨胀推理链无限变长成本失控模型不敢展开推理正确率下降熵正则维持探索多样性输出趋同训练停滞策略过于随机难以收敛KL 惩罚约束策略偏离参考模型模型跑偏遗忘原有能力学不到新东西等于没训5. 训练稳定性让 RL 从能跑变成能跑几周5.1 熵坍缩与奖励突增两个最典型的崩溃信号做 RL 后训练最怕的不是训练慢而是训练到一半突然崩了前面几天的算力全打水漂。有两个信号是崩溃的前兆必须重点监控。第一个是熵坍缩策略熵持续下降模型输出越来越单一这时候你会发现采样出来的多条轨迹几乎一模一样梯度信号趋近于零训练实际上已经停滞。第二个是奖励突增奖励曲线突然往上跳一大截看着像好事实际上大概率是模型找到了奖励函数的漏洞在刷分而不是真变强。这两个信号的处理方式不同。熵坍缩通常需要调大熵正则、提高采样温度、或者引入更多样的训练数据奖励突增则要立刻停下来检查奖励函数用人工抽检确认模型是不是在作弊。关键是监控要实时不能等训练跑完再看曲线那时候已经晚了。成熟的团队会设置自动告警一旦熵或奖励出现异常波动就暂停训练、人工介入。5.2 参考模型与 KL 约束防止模型忘本RL 训练有个内在矛盾你希望模型在目标任务上变强但又不想它把预训练阶段学到的通用能力丢掉。这个矛盾靠KL 约束来平衡——在奖励里加一项惩罚当前策略偏离参考模型通常是 SFT 后的模型太远。KL 系数调得好模型既能学到新东西又不会忘本调不好要么学不动要么学歪。实操中一个常见误区是把 KL 系数设成固定值。更合理的做法是动态调整训练初期允许模型多探索KL 系数小一点训练后期收紧约束KL 系数大一点让模型稳定下来。另外参考模型的选择也有讲究用 SFT 模型做参考是最常见的但如果 SFT 模型本身质量一般参考它反而会限制上限这时候可以考虑用更强的基座或上一轮 RL 的模型做参考。5.3 断点续训与容错大规模 RL 的工程底线大规模 RL 训练动辄跑几周硬件故障、网络抖动、任务被抢占都是家常便饭。如果训练框架不支持断点续训一次意外就得从头再来这在算力成本上是不可接受的。MiMo-V2.6 这类工作能扩展到大规模背后一定有成熟的容错机制。断点续训的关键是状态完整保存不仅要存模型权重还要存优化器状态、学习率调度器的进度、数据加载器的位置、甚至随机数生成器的种子。少存一样续训后的训练曲线就可能对不上。另外采样集群和训练集群的状态要分别管理因为它们的生命周期不一样。这些工程细节听起来枯燥但它们是能跑几周和跑几小时就崩之间的分水岭。提示在正式启动大规模 RL 之前务必先用小规模跑一遍完整的训练-中断-续训流程确认状态保存和恢复没有问题。这个验证花不了多少时间但能避免后面几周的算力打水漂。6. 这套思路能迁移到哪些场景又有哪些边界6.1 适合迁移的场景有明确对错、有验证器、有难度梯度MiMo-V2.6 这套扩展强化学习实现自我提升的思路迁移性其实比想象中强但有前提条件。最适合的场景满足三个特征任务有明确的对错判定、能低成本构造验证器、题目难度有可调的梯度。除了数学和代码像结构化信息抽取有标准答案、SQL 生成可执行验证、逻辑推理可符号校验都属于这一类。反过来那些奖励信号模糊、验证成本极高的场景硬套这套方法往往得不偿失。开放式创意写作、主观对话、情感陪伴这类任务与其做 RL 自我提升不如把精力放在数据质量和 SFT 上。判断标准很简单如果你没法在几毫秒内自动判断一个输出是对是错那这套方法就不太适合直接套用。6.2 小团队怎么用有限算力蹭到这波红利不是每个团队都有几千张卡去跑大规模 RL。但扩展强化学习的思路里有一部分是小团队也能用的。比如离线 RL 或拒绝采样微调用现有模型对一批难题采样多条轨迹筛出正确的高质量轨迹拿去做 SFT。这本质上是用 RL 的数据构造思路做数据增强算力开销远小于在线 RL效果却往往比单纯堆数据好。再比如小规模迭代式 RL不追求一次训到极致而是用较小的模型、较小的数据量快速迭代多轮每轮都重新采样、重新筛选。这种小步快跑的方式在算力有限时反而比一次性大规模训练更划算因为你能更快发现奖励设计的问题、更快调整方向。关键词里提到的基于模型的强化学习离线强化学习这些方向对小团队来说都是值得关注的低成本路径。6.3 别把 RL 当银弹它解决不了的问题最后说点泼冷水的话。RL 自我提升再强也解决不了几类根本问题。第一它解决不了基座知识缺失前面说过模型没见过的知识RL 变不出来。第二它解决不了奖励本身设计错误如果奖励函数定义的目标就是错的RL 只会让模型更高效地朝着错误目标狂奔。第三它解决不了评估体系缺失如果你没法可靠地衡量模型是否真的变强了那 RL 训练就是在盲飞。所以一个务实的后训练方案应该是数据、SFT、RL、评估四位一体而不是把所有希望押在 RL 上。MiMo-V2.6 的报告标题强调 RL但它的成功一定建立在扎实的基座、干净的数据和可靠的评估之上。看到自我提升四个字就以为可以省掉前面所有功夫那是对这套方法最大的误解。我个人在做后训练时的体会是RL 阶段真正拉开差距的往往不是算法多先进而是那些最枯燥的活儿——奖励函数有没有漏洞、监控指标全不全、断点续训靠不靠谱、难度调度合不合理。这些东西报告里通常一笔带过但它们才是决定一次训练是成功还是白跑的关键。如果你正准备上手做 RL 后训练建议先把工程底座搭扎实再谈算法创新顺序反了踩的坑会多到你怀疑这个方向本身。