40 lines
1.6 KiB
Markdown
40 lines
1.6 KiB
Markdown
---
|
||
title: "Group Relative Policy Optimization (GRPO)"
|
||
created: 2025-04-15
|
||
updated: 2026-05-12
|
||
type: concept
|
||
tags: ["reinforcement-learning", "llm-training", "policy-optimization"]
|
||
sources: ["arxiv:2402.03300"]
|
||
---
|
||
|
||
# Group Relative Policy Optimization (GRPO)
|
||
|
||
**GRPO** 是 PPO 的一种变体，由 DeepSeekMath 提出，被 DeepSeek-R1 广泛采用。其核心创新是**消除 critic 模型**，通过在同一个问题的多组响应内部进行相对优势估计。
|
||
|
||
## 核心公式
|
||
|
||
对于问题 q 的 G 个响应，GRPO 优化目标为：
|
||
|
||
$$\max_{\pi_\theta} \frac{1}{G} \sum_{i=1}^{G} \frac{1}{|o_i|} \sum_{t=1}^{|o_i|} \min(I_{it}(\theta)\hat{A}_{GR,i}, \text{clip}(I_{it}(\theta), 1-\epsilon, 1+\epsilon) \hat{A}_{GR,i})$$
|
||
|
||
其中组相对优势估计（GRAE）：
|
||
|
||
$$\hat{A}_{GR,i} = \frac{r_i - \text{mean}(\{r_i\}_{i=1}^G)}{\text{std}(\{r_i\}_{i=1}^G)}$$
|
||
|
||
## 关键特性
|
||
|
||
- **无需 Critic**：通过对同问题响应的组内比较，避免了训练额外的价值函数模型
|
||
- **二元奖励兼容**：与基于规则的验证器（如数学正确/错误）天然兼容
|
||
- **GRPO 变体**：GP6、DAPO 等移除了 KL 散度并采用 token-level loss
|
||
|
||
## 已知局限
|
||
|
||
GRPO 存在 [[update-magnitude-imbalance|隐含的难度不平衡]]：更新幅度在 p=0.5 时最大，对困难和简单问题都被抑制。[[dgpo|DGPO]] 通过 DGAE 解决了这一问题。
|
||
|
||
## 相关概念
|
||
|
||
- [[dgpo|DGPO]] — 难度感知 GRPO 改进
|
||
- [[dgae|DGAE]] — 难度平衡优势估计
|
||
- [[rlvr-unified-framework]] — RLVR 训练范式
|
||
- [[dai-mathforge-2026|MathForge]] — 难度感知数学推理框架
|