---
title: "GRPO 更新幅度不平衡"
created: 2026-05-12
updated: 2026-05-12
type: concept
tags: ["grpo", "reinforcement-learning", "theoretical-analysis"]
sources: ["arxiv:2601.20614"]
---

# GRPO 更新幅度不平衡

**更新幅度不平衡** 是 [[grpo|GRPO]] 中被 Dai et al. (2026) 揭示并证明的一个关键理论缺陷：GRPO 的优势估计（GRAE）导致策略更新幅度对难度不同的问题**不均匀分布**。

## Theorem 1（GRPO 更新幅度）

给定问题 q 的 G 个响应，每个获得二元准确率奖励 ri ∈ {0,1}，准确率为 p：

$$\sum_{i=1}^{G} |\hat{A}_{GR,i}| = 2G\sqrt{p(1-p)}$$

该函数在 p = 0.5 时达到**最大值**，在 p → 0 或 p → 1 时趋近于 0。

## 含义分析

- **p ≈ 0**（极难题）：更新幅度接近 0 → **最需要学习的问题反而被忽视**
- **p = 0.5**（中等题）：更新幅度最大 → **中等难度问题主导训练**
- **p ≈ 1**（简单题）：更新幅度接近 0 → 合理（模型已掌握）

## 为什么这是个问题？

p 接近 0 但非 0 的问题（如 p=0.1）是**最理想的训练材料**：
- 暴露模型的不完全掌握（不是完全不会）
- 提供至少一个正确答案用于定向学习
- 掌握更难问题可能提升更简单问题的表现（compositionality）

但这些问题的更新幅度恰恰被 GRPO**系统性压制**。

## 解决方案

[[dgae|DGAE]] 用 MAD 替代 std：

$$\sum_{i=1}^{G} |\hat{A}_{DG,i}| = G \quad \text{（恒定）}$$

无论 p 是多少，每个问题获得相同的总更新幅度（Theorem 2）。

## 证明要点

- GRAE 的 std 分母引入 $\sqrt{p(1-p)}$ 因子
- DGAE 的 MAD 分母恰好消除 $p(1-p)$ 因子
- MAD = 2p(1-p) 对于二元奖励 → 归一化后总幅度 = G

## 相关概念

- [[grpo]] — 存在此问题的基线方法
- [[dgae|DGAE]] — 解决方案
- [[dgpo|DGPO]] — 算法实现
- [[dai-mathforge-2026|论文页面]]