20260514:增加新内容

concepts/dgpo.md

@@ -0,0 +1,55 @@
+---
+title: "Difficulty-Aware Group Policy Optimization (DGPO)"
+created: 2026-05-12
+updated: 2026-05-12
+type: concept
+tags: ["grpo", "difficulty-aware", "reinforcement-learning", "policy-optimization"]
+sources: ["arxiv:2601.20614"]
+---
+
+# Difficulty-Aware Group Policy Optimization (DGPO)
+
+**DGPO** 是 [[mathforge|MathForge]] 框架的算法组件，通过两步策略解决 [[grpo|GRPO]] 的 [[update-magnitude-imbalance|难度不平衡问题]]。
+
+## 优化目标
+
+$$J_{DGPO}(\theta) = \mathbb{E} \frac{1}{\sum_{s=1}^{B_v} \sum_{i=1}^{G} |o_{si}|} \sum_{s=1}^{B_v} \lambda_s \sum_{i=1}^{G} \sum_{t=1}^{|o_{si}|} \min(I_{sit}A_{DG,si}, \text{clip}(...))$$
+
+## 两步策略：Balance-then-Reweight
+
+### 第一步：[[dgae|DGAE]]（平衡）
+
+用 **MAD（平均绝对偏差）** 替代 std 作为优势归一化分母：
+
+$$\hat{A}_{DG,i} = \frac{r_i - \text{mean}(\{r_i\})}{\text{MAD}(\{r_i\})}$$
+
+**效果**：总更新幅度恒为 G，与准确率 p 无关（Theorem 2）。
+
+### 第二步：[[dqw|DQW]]（加权）
+
+用 softmax 温度加权显式优先更难的问题：
+
+$$\lambda_s = B_v \cdot \frac{\exp(D_s/T)}{\sum \exp(D_s/T)}, \quad D_s = -\text{mean}(\{r_{si}\})$$
+
+**关键**：Balance-then-reweight 提供比直接优势重加权（如 GRPO-AD）更好的可解释性和可控性。
+
+## 与 GRPO 的关键区别
+
+| 组件 | GRPO | DGPO |
+|------|------|------|
+| 优势估计 | std 归一化 | **MAD 归一化** |
+| 难度处理 | 隐式不平衡（p=0.5 峰值） | **显式优先困难问题** |
+| 问题权重 | 均等 | **softmax 难度加权** |
+| Valid query | 全部 | **仅有效问题（非全对/全错）** |
+
+## DGPO 与其他方法的组合
+
+DGPO 可以与 GP6、DAPO、GSPO 等方法组合，详见论文 Appendix G。组合时 DQW 的难度分数 D_s 仅基于 accuracy reward 计算（排除 length penalty 等辅助信号）。
+
+## 相关概念
+
+- [[dgae|DGAE]] — 难度平衡优势估计
+- [[dqw|DQW]] — 难度感知问题级加权
+- [[grpo]] — 基线方法
+- [[mathforge]] — 完整框架
+- [[dai-mathforge-2026|论文页面]]