56 lines
1.8 KiB
Markdown
56 lines
1.8 KiB
Markdown
---
|
||
title: "Difficulty-Aware Question-Level Weighting (DQW)"
|
||
created: 2026-05-12
|
||
updated: 2026-05-12
|
||
type: concept
|
||
tags: ["grpo", "difficulty-aware", "importance-weighting"]
|
||
sources: ["arxiv:2601.20614"]
|
||
---
|
||
|
||
# Difficulty-Aware Question-Level Weighting (DQW)
|
||
|
||
**DQW** 是 [[dgpo|DGPO]] 的第二步组件，在 [[dgae|DGAE]] 平衡更新幅度的基础上，通过 softmax 温度加权**显式优先学习更难的问题**。
|
||
|
||
## 公式
|
||
|
||
$$\lambda_s = B_v \cdot \frac{\exp(D_s/T)}{\sum_{s'=1}^{B_v} \exp(D_{s'}/T)}, \quad D_s = -\text{mean}(\{r_{si}\}_{i=1}^G)$$
|
||
|
||
其中：
|
||
- $D_s$：问题难度分数 = 负平均正确率（越高越难）
|
||
- $T$：温度参数（控制分布锐度，默认 2.0）
|
||
- $B_v$：batch 中有效问题数量
|
||
|
||
## 设计原则
|
||
|
||
### Balance-then-Reweight
|
||
|
||
DQW 遵循**先平衡再加权**的原则：
|
||
1. [[dgae|DGAE]]：消除 GRPO 固有的更新幅度不平衡
|
||
2. DQW：在平衡基础上显式加权
|
||
|
||
相比直接对优势进行难度重加权（如 GRPO-AD），这种两步法具有更好的**可解释性**和**可控性**。
|
||
|
||
### 仅对有效问题加权
|
||
|
||
只有**有效问题**（非全对/全错）才参与 DQW 加权：
|
||
- 全对问题：$D_s = -1$，梯度为零（已完全掌握）
|
||
- 全错问题：$D_s = 0$，无正样本可供学习
|
||
|
||
### DQW 与组合方法
|
||
|
||
DGPO 与 DAPO 组合时，DQW 的难度分数 $D_s$ **仅基于 accuracy reward** 计算，排除 length penalty 等辅助奖励。这确保问题加权反映的是**逻辑难度**而非回答长度偏好。
|
||
|
||
## 与相关方法的对比
|
||
|
||
| 方法 | 机制 | 复杂度 |
|
||
|------|------|--------|
|
||
| **DQW** | Softmax 温度加权 | 低（1 个超参数 T） |
|
||
| GRPO-AD | 优势重加权 | 高（多超参数） |
|
||
|
||
## 相关概念
|
||
|
||
- [[dgae|DGAE]] — 第一步：难度平衡
|
||
- [[dgpo|DGPO]] — 算法整体
|
||
- [[mathforge]] — 完整框架
|
||
- [[dai-mathforge-2026|论文页面]]
|