20260514:增加新内容

papers/dai-mathforge-2026.md

@@ -0,0 +1,83 @@
+---
+title: "MathForge: Harder Is Better — 难度感知GRPO与多维度问题改写"
+authors: ["Yanqi Dai", "Yuxiang Ji", "Xiao Zhang", "Yong Wang", "Xiangxiang Chu", "Zhiwu Lu"]
+year: 2026
+arxiv: "2601.20614"
+venue: "ICLR 2026"
+type: "paper"
+created: 2026-05-12
+tags: ["mathematical-reasoning", "reinforcement-learning", "grpo", "difficulty-aware", "data-augmentation"]
+sources: ["https://arxiv.org/abs/2601.20614", "https://github.com/AMAP-ML/MathForge"]
+---
+
+# MathForge: Harder Is Better
+
+> **"Harder is Better"** — 从算法和数据双重视角，通过聚焦更困难的问题来提升数学推理能力。
+
+## 核心问题
+
+RLVR（可验证奖励强化学习）中，现有方法系统性**忽视了更困难的问题**：
+
+- **算法层面**：GRPO 的优势估计函数引入隐含不平衡 — 更新幅度在准确率 p=0.5 时最大，对更难（p 接近 0）和更简单（p 接近 1）的问题都被抑制
+- **数据层面**：数据增强主要关注多样性，没有系统性地**提高内在难度**
+
+**核心洞察**：难但可解的问题是最理想的训练材料 — 它们暴露模型的不完全掌握，同时提供至少一个正确答案用于定向学习。
+
+## MathForge 框架
+
+MathForge 是一个**双轨协同框架**：
+
+### 算法轨：[[dgpo|DGPO]]
+
+1. **[[dgae|DGAE]]**：用 MAD（平均绝对偏差）替代 std 作为归一化分母，使得每个问题的总更新幅度恒为 G（与准确率无关）
+2. **[[dqw|DQW]]**：用 softmax 温度加权显式优先学习更难的问题
+
+### 数据轨：[[mqr|MQR]]
+
+三种策略改写问题，同时**保持原始答案不变**：
+| 策略 | 描述 | 挑战的能力 |
+|------|------|-----------|
+| Background | 添加叙事背景（噪声） | 从噪声中识别关键数学信息 |
+| Term | 发明抽象数学术语 | 理解抽象数学概念 |
+| Sub-Problem | 嵌套独立子问题 | 多步推理与跨域知识 |
+
+## 关键理论发现
+
+Theorem 1: GRPO 的总更新幅度 $\propto 2G\sqrt{p(1-p)}$，在 p=0.5 时达到最大值 → **难度不平衡**，详见 [[update-magnitude-imbalance]]
+
+Theorem 2: DGAE 的总更新幅度恒为 G → **难度平衡**
+
+## 实验结果
+
+在 Qwen2.5-Math-7B 上的 6 个基准测试结果：
+
+| 方法 | 平均分 | ΔGRPO |
+|------|--------|-------|
+| GRPO | 37.61 | — |
+| DGPO | 39.79 | +2.18 |
+| MQR | 41.04 | +3.43 |
+| **MathForge** | **42.17** | **+4.56** |
+
+跨模型验证：在 4 个不同模型族（Qwen2.5-Math-1.5B, Qwen2.5-3B, DeepSeek-Math-7B）上均取得一致增益，DGPO+MQR 提升范围 2.86–4.45%。
+
+## 关键概念网络
+
+```
+MathForge
+├── 算法轨道
+│   ├── [[dgpo]]: 难度感知 GRPO
+│   │   ├── [[dgae]]: MAD 归一化 → 平衡更新幅度
+│   │   └── [[dqw]]: Softmax 难度加权 → 优先困难问题
+│   └── [[grpo]]: 基线方法（存在 [[update-magnitude-imbalance|隐含不平衡]]）
+├── 数据轨道
+│   └── [[mqr]]: 多维度问题改写
+│       └── [[math-question-reformulation]]: Background / Term / Sub-Problem
+└── 理论基础
+    └── [[rlvr-unified-framework]]: 可验证奖励 RL 训练范式
+```
+
+## 论文信息
+
+- **arXiv**: [2601.20614](https://arxiv.org/abs/2601.20614)
+- **代码**: [AMAP-ML/MathForge](https://github.com/AMAP-ML/MathForge)
+- **机构**: 中国人民大学 × 阿里巴巴 AMAP × 厦门大学 × 大连理工大学