---
title: "MathForge 框架"
created: 2026-05-12
updated: 2026-05-12
type: concept
tags: ["mathematical-reasoning", "rlvr", "grpo", "difficulty-aware"]
sources: ["arxiv:2601.20614"]
---

# MathForge 框架

**MathForge** 是一个双轨协同框架，通过从算法和数据两个层面聚焦更困难的问题来提升 LLM 的数学推理能力。核心哲学：**"Harder is Better"**。

## 双轨架构

```
MathForge
├── 算法轨：[[dgpo|DGPO]]（优化学习过程）
│   ├── [[dgae|DGAE]]: MAD 归一化 → 平衡更新幅度
│   └── [[dqw|DQW]]: Softmax 加权 → 优先困难问题
│
└── 数据轨：[[mqr|MQR]]（扩展数据边界）
    └── [[math-question-reformulation|三维改写]]: Background / Term / Sub-Problem
```

## 协同循环

MQR 从数据侧扩展新的能力边界，DGPO 在算法侧高效学习这些 augmented data，形成正反馈闭环：
$$	ext{MQR} \rightarrow \text{更难的问题} \rightarrow \text{DGPO 优先学习} \rightarrow \text{能力提升} \rightarrow \text{MQR}...$$

## 关键实验结果

- Qwen2.5-Math-7B 上平均 +4.56% over GRPO（6 基准平均 42.17%）
- 跨 4 个模型族（1.5B–7B）一致增益 2.86–4.45%
- DGPO 单独使用 +2.18%，MQR 单独使用 +3.43%，组合效果最佳

## 设计原则

1. **平衡先于加权**：先用 DGAE 消除 GRPO 的更新幅度不平衡，再用 DQW 显式加权
2. **答案保持约束**：MQR 所有改写必须保持原始答案，避免重新生成解答
3. **valid token-level loss averaging**：仅对有效问题（非全对/全错）计算损失

## 相关概念

- [[dgpo|DGPO]] — 算法核心
- [[mqr|MQR]] — 数据核心
- [[grpo]] — 基线方法
- [[rlvr-unified-framework]] — 训练范式
- [[update-magnitude-imbalance]] — 理论发现
- [[dai-mathforge-2026|论文页面]]