强化学习在推理模型中的应用：DeepSeek R1训练策略拆解

DeepSeek开源新版R1，性能直接对标OpenAI o3。它的训练策略很有特点，今天拆解一下背后的强化学习机制。

01 为什么用强化学习而不是监督学习

传统大模型训练主要靠监督学习（SFT）：给模型大量"问题-答案"对，让它学会模仿。但这种方式有个局限：模型只会复制已知答案，不会探索新解法。

推理任务（数学证明、代码调试、逻辑推演）需要"试错"能力。强化学习让模型通过尝试不同路径，根据结果反馈调整策略，最终找到最优解。这跟AlphaGo下围棋的思路类似。

02 R1的强化学习流程

DeepSeek R1的训练分为四个阶段：

阶段一：冷启动

用少量高质量数据做SFT，建立基础能力。这一步不是重点，只是给模型一个"起点"，让它知道基本格式和规则。

阶段二：推理强化学习

核心阶段。用GRPO（Group Relative Policy Optimization）算法训练推理能力。模型生成多个推理路径，比较哪条路径得分更高，然后调整策略。

关键设计：不依赖过程奖励模型（PRM）。OpenAI的o1训练用了PRM，对每个推理步骤打分。DeepSeek发现PRM训练成本高、泛化性差，改用结果奖励——只看最终答案对不对，不看中间过程。

说到技术学习，我平时会追踪很多AI论文解读和发布会，但根本没时间一一看完。
后来用Ai好记把这些音视频转成图文笔记，它能自动提取核心要点、生成思维导图，一条两小时的访谈，几分钟就能拉出框架。

这样我碎片时间翻一翻，就能快速判断哪些技术突破值得跟踪。对AI技术感兴趣的朋友，可以试试这种方式高效输入。

阶段三：拒绝采样

用训练好的模型生成大量推理数据，筛选高质量样本。这些样本用于下一阶段的SFT，提升模型稳定性。

阶段四：全场景强化学习

用规则奖励模型对齐人类偏好。不仅看答案对不对，还看格式是否规范、表达是否清晰。

03 关键创新：GRPO算法

GRPO是DeepSeek的核心创新之一。它的思路是：

• 对同一个问题，让模型生成多条推理路径
• 计算每条路径的相对优势（跟其他路径比，这条好多少）
• 用优势值调整模型策略，而不是用绝对分数

这样做的好处是：减少了对价值网络的依赖，训练更稳定。传统PPO算法需要训练一个价值网络来评估状态，GRPO直接用组内比较，简化了架构。

04 对开发者的启示

如果你也想基于R1做垂直应用，有几个要点：

数据质量比数量重要。R1的冷启动只用了少量高质量数据，但效果比海量低质数据更好。

奖励设计决定上限。GRPO的结果奖励设计很关键，奖励函数稍微调整，模型行为可能大幅变化。

开源生态是护城河。DeepSeek选择开源，意味着社区会不断贡献优化方案。闭源模型很难跟上这个迭代速度。

FAQ

Q：GRPO和PPO的主要区别是什么？

A：GRPO用组内相对优势替代价值网络，减少了训练不稳定性和计算开销。

Q：为什么不用过程奖励模型？

A：过程奖励模型训练成本高，且难以泛化到新领域。结果奖励更简单直接。

Q：R1的开源对行业有什么影响？

A：降低了企业使用顶级推理模型的门槛，可能催生一批垂直应用。