deepseek-r1 训练流程

文章信息

• 原文链接：https://jiayq.blog.csdn.net/article/details/145615494
• 发布时间：2025-02-13 16:38:18
• 阅读量：1
• 标签：#deepseek, #DeepSeek, #DeepSeek-R1, #ai, #大模型

摘要

文章浏览阅读1.1k次，点赞15次，收藏19次。具体来说，对于推理数据，沿用阶段2的规则。deepseek-r1模型并不是直接由deepseek-v3通过强化学习得到的，而是在deepseek-v3的基础上，经过两轮的监督微调(SFT,Supervised Fine-Tuning)后，再通过强化学习得到的。deepseek-r1：对标openAI的GPT-o1模型，是在deepseek-v3的基础上，通过强化学习，将思维链（CoT）内置到模型中。该模型不是最终的deepseek-r1模型，是实验中的一个半成品，验证了强化学习对模型推理能力提升的有效性。_如何训练deepseek-r1

---

deepseek-r1 训练流程

• 技术创新
• deepseek-v3 && deepseek-r1
• deepseek-r1-zero
• • 训练过程
    • • aha moment
        • 准确度提升
        • 思考时间增加
• deepseek-r1
• • 冷启动
    • 推理场景强化学习
    • 数据采样&&SFT
    • 全场景强化学习
    • 结果
• 参考文献

技术创新

极致的成本控制，媲美openAI的性能，开发出强化学习的新路线。

1. 极致的成本控制：deepseek-v3-671B模型的训练，花费了 278.8万 H800 GPU小时，而同为开源模型Meta的LLaMA 3.1-405B则花费了3084万 H100 GPU小时，LLaMA 3.1-70B花费了700万 H100 GPU小时。训练成本相差约10倍 。推理API价格，deepseek-v3模型/GPT-4o和deepseek-r1/GPT-o1的推理价格相差近30倍 。
2. 媲美openAI的性能：deepseek-r1的推理性能，接近openAI的o1模型，o1模型是闭源且昂贵的，而deepseek-r1是开源且免费的。
3. 引入纯强化学习的新路子：deepseek-r1是首个 证明纯强化学习的路线，不需要准备推理数据，仅靠模型自主进化，就能够大幅度提升模型推理能力的模型。给大家指了一条新道路，从GPT-4升级为GPT-o1的新道路。

deepseek-v3 && deepseek-r1

1. deepseek-v3：对标openAI的GPT-4o模型，是一个通用的大模型。其主要贡献是大幅降低了模型的训练和推理成本。

2. deepseek-r1：对标openAI的GPT-o1模型，是在deepseek-v3的基础上，通过强化学习，将思维链（CoT）内置到模型中。

说人话就是强制模型在回复前，先生成一段思考内容，再给出答案，增强了模型的推理能力。不过deepseek-r1并不是deepseek-v3直接经过强化学习得到的。

deepseek-r1-zero

该模型不是最终的deepseek-r1模型，是实验中的一个半成品，验证了强化学习对模型推理能力提升的有效性。

其训练过程选取具有确定性结果的问题，避免使用奖励模型，而是采用简单而准确的规则作为强化学习的奖励。通过两条规则，对模型每次的结果进行反馈。

1. 规则1 准确性奖励 ：评估响应是否正确。例如，在具有确定性结果的数学问题中，要求模型以指定格式提供最终答案，以实现可靠的基于规则的验证正确性。同样，对于LeetCode问题，可以使用编译器根据预定义的测试用例生成反馈。
2. 规则2 格式奖励：强制模型输出思考过程，并将其放在<think></think>标签中。

训练过程

aha moment

模型在训练过程中，发现了其像人类一样，出现了aha moment。

准确度提升

随着训练步数的增加，模型在AIME数据集上的准确度，逐步逼近openAI的o1模型。

思考时间增加

随着训练步数的增加，模型的思考时间不断提升。思考时间和准确度的提升，代表了模型真正的自主学会了思考 。因为复杂的问题需要更多的时间才能得出答案，这是符合常规认知的。

deepseek-r1

deepseek-r1模型并不是直接由deepseek-v3通过强化学习得到的，而是在deepseek-v3的基础上，经过两轮的监督微调(SFT,Supervised Fine-Tuning)后，再通过强化学习得到的。

流程分为4个阶段，冷启动、推理场景的强化学习、数据采样&&SFT、全场景强化学习。

冷启动

冷启动的训练数据，采用包含思考过程（CoT）的数据，目的是初步教会模型如何思考，如何“符合人类口味习惯”的思考。加速第二阶段推理场景强化学习的收敛速度。

推理场景强化学习

这个的强化学习方法和deepseek-r1-zero的方法保持一致，仅新增了一条规则——语言一致性规则，减轻多语言混杂的情况。这一步的目的是增强模型的推理能力。

数据采样&&SFT

阶段 2 强化学习后得到的模型，暂且称为deepseek-v3-sft-rl。阶段 3 的采样分为两种数据，一种是推理数据，一种是非推理数据。

推理数据：对deepseek-v3-sft-rl进行拒绝采样。采样的过程中，除了数学/代码等具有确定性结果的问题，也** 扩充**了一些非确定性结果的数据，由deepseek-v3作为奖励模型进行判断。最终收集了60w个与推理相关的数据样本。

非推理数据：从deepseek-v3提取了20w个非推理的数据样本。包含写作、事实问答、自我认知、翻译等任务。

收集到两部分数据后，重新对deepseek-v3进行微调。该步骤保留了模型的通用能力的同时，增强了模型的推理能力。

全场景强化学习

第四个步骤，旨在提升模型的有用性和无害性，消除模型的歧视偏见等风险。同时，也精炼其推理能力。具体来说，对于推理数据，沿用阶段2的规则。对于非推理数据，采用奖励模型进行反馈。奖励模型同样基于deepseek-v3进行构建，评估模型输出是否符合人类的偏好。经过强化学习后，得到最终的deepseek-r1模型。

结果

参考文献

1. DeepSeek-V3技术报告 https://github.com/deepseek-ai/DeepSeek-V3/blob/main/DeepSeek_V3.pdf
2. LLaMA 3.1模型报告 https://github.com/meta-llama/llama3/blob/main/MODEL_CARD.md
3. DeepSeek-R1技术报告 https://github.com/deepseek-ai/DeepSeek-R1/blob/main/DeepSeek_R1.pdf
4. 一文读懂｜DeepSeek新模型大揭秘，为何它能震动全球AI圈 https://mp.weixin.qq.com/s/cp4rQx09wygE9uHBadI7RA
5. DeepSeek-R1 API文档 https://api-docs.deepseek.com/zh-cn/news/news250120