61 lines
1.8 KiB
Markdown
61 lines
1.8 KiB
Markdown
---
|
||
title: "Specialist Training Pipeline"
|
||
domain: "Machine Learning / Post-Training"
|
||
tags: [post-training, fine-tuning, reinforcement-learning, grpo]
|
||
sources: [[deepseek-v4-million-token-context]]
|
||
---
|
||
|
||
# Specialist Training Pipeline
|
||
|
||
> **类型**: Concept (Tier 2 — Foundation)
|
||
> **来源**: [[deepseek-v4-million-token-context]]
|
||
|
||
## 定义
|
||
|
||
专家训练流水线是 DeepSeek-V4 后训练的第一阶段，针对每个目标领域（数学、编程、Agent、指令遵循等）独立训练专家模型，为后续的 [[on-policy-distillation]] 融合提供高质量教师模型。
|
||
|
||
## 训练流程
|
||
|
||
### 1. 领域数据准备
|
||
- 收集每个目标领域的高质量 SFT 数据
|
||
- 设计领域特定的奖励模型（Reward Model）
|
||
|
||
### 2. 监督微调 (SFT)
|
||
- Base Model 在领域数据上进行监督微调
|
||
- 建立领域基础能力
|
||
|
||
### 3. 强化学习 (RL)
|
||
- 使用 GRPO（Group Relative Policy Optimization）
|
||
- 领域特定奖励模型指导优化方向
|
||
- 产出各领域 SOTA 专家模型
|
||
|
||
## 每个领域独立优化
|
||
|
||
| 领域 | 训练重点 | 评估指标 |
|
||
|------|---------|---------|
|
||
| 数学 | 推理链质量 | 正确率 |
|
||
| 编程 | 可执行性、正确性 | Pass@1 |
|
||
| Agent | 工具使用、规划 | 任务完成率 |
|
||
| 指令遵循 | 约束遵守 | Win Rate |
|
||
|
||
## 与 OPD 的协同
|
||
|
||
专家训练 + [[on-policy-distillation]] 构成 DeepSeek-V4 的完整后训练范式：
|
||
1. **分散培养**（Diverge）：各自领域独立优化
|
||
2. **统一融合**（Converge）：OPD 将分散的知识融合到单一模型
|
||
|
||
## 优势
|
||
|
||
- 避免跨领域负迁移
|
||
- 每个专家可在其领域达到顶级水平
|
||
- 融合后的统一模型同时具备多领域能力
|
||
|
||
## 相关概念
|
||
|
||
- [[on-policy-distillation]] — OPD 在线策略蒸馏
|
||
- [[test-time-scaling]] — 测试时扩展
|
||
|
||
---
|
||
|
||
*Last Updated: 2026-04-27*
|