39 lines
1.6 KiB
Markdown
39 lines
1.6 KiB
Markdown
---
|
||
title: "群体相对策略优化 (GRPO)"
|
||
domain: "Reinforcement Learning / LLM Training"
|
||
tags: [grpo, reinforcement-learning, rlhf, policy-optimization]
|
||
sources: [[thinking-with-visual-primitives]], [[deepseek-v4-million-token-context]]
|
||
---
|
||
|
||
# 群体相对策略优化 (GRPO)
|
||
|
||
> Group Relative Policy Optimization — DeepSeek 采用的强化学习算法，通过组内相对比较来优化策略，无需显式的价值函数。
|
||
|
||
## 核心思想
|
||
|
||
GRPO 是 DeepSeek 系列模型（V4、V4-Flash、视觉原语模型）统一使用的 RL 算法。相比传统 PPO 需要训练一个与策略模型等大的 critic 网络，GRPO 通过**组内采样 + 相对比较**消除了 critic 的需求，显著降低了 RLHF 阶段的计算和内存开销。
|
||
|
||
## 在视觉原语训练中的应用
|
||
|
||
在 [[specialized-rl|专项强化学习]] 阶段：
|
||
1. 对每个样本生成 N 个 rollout
|
||
2. 使用多个 [[reward-model|奖励模型]]（Format RM、Quality RM、Accuracy RM）评分
|
||
3. 组内相对比较 → 策略梯度更新
|
||
|
||
数据难度分级：
|
||
- **Easy**：N 个 rollout 全部正确
|
||
- **Normal**：1 ≤ k < N 个正确（**选用于训练**）
|
||
- **Hard**：0 个正确
|
||
|
||
## 优势
|
||
|
||
- 无需 critic 网络，节省显存和计算
|
||
- 组内比较提供自然的 baseline，减少方差
|
||
- 与多种奖励模型组合灵活
|
||
|
||
## 相关概念
|
||
|
||
- [[specialized-rl|专项强化学习]] — GRPO 在视觉原语中的应用
|
||
- [[on-policy-distillation|在线策略蒸馏]] — 后续蒸馏阶段
|
||
- [[reward-model|奖励模型]] — GRPO 的 reward 来源
|
||
- [[exponential-decay-reward|指数衰减奖励]] — 计数任务的 GRPO reward 设计 |