78 lines
3.2 KiB
Markdown
78 lines
3.2 KiB
Markdown
---
|
||
title: "ME² + TRM: Complex Reasoning Optimization (Zhang et al., ICML 2026)"
|
||
created: 2026-06-24
|
||
updated: 2026-06-24
|
||
type: paper
|
||
tags: ["reasoning", "reward-model", "dag", "grpo", "test-time-scaling"]
|
||
sources:
|
||
- "https://arxiv.org/abs/2602.08498"
|
||
code: "https://github.com/Simplified-Reasoning/TRM"
|
||
---
|
||
|
||
# ME² + TRM: 复杂推理的表征、评估与优化
|
||
|
||
> Zhang et al. | ICML 2026 | arXiv:2602.08498v2 | cs.CL
|
||
|
||
## 动机
|
||
|
||
[[large-reasoning-models|LRMs]] 的推理轨迹越来越长且结构复杂，但缺乏统一的答案回答三个问题：(1) 什么是高质量推理？(2) 如何可靠评估？(3) 如何用评估信号优化推理？
|
||
|
||
现有方法的局限：PRMs 依赖步骤级绝对评分，无法捕获长程依赖和非线性结构；ORMs 设计用于对齐最终响应（helpful/honest/harmless），而非评估结构化推理质量。
|
||
|
||
## 核心框架
|
||
|
||
### [[me2-principle|ME² 原则]]
|
||
|
||
两个正交维度：
|
||
|
||
| | Macro（全局） | Micro（局部） |
|
||
|---|---|---|
|
||
| **Effectiveness** | 结构组织是否合理、无冗余分支 | 步骤是否正确、有逻辑 |
|
||
| **Efficiency** | 推理路径是否简洁、无绕路 | 步骤是否精简、无赘述 |
|
||
|
||
推理质量 = Macro-Effectiveness × Macro-Efficiency × Micro-Effectiveness × Micro-Efficiency
|
||
|
||
### [[dag-reasoning-evaluation|DAG 推理建模]]
|
||
|
||
将推理轨迹抽象为 DAG：
|
||
- 节点：推理步骤
|
||
- 边：逻辑依赖关系
|
||
- DAG vs Tree：Tree 无法表达合并（多前驱节点），DAG 是表达力与可处理性的实用平衡
|
||
|
||
### [[thinking-reward-model|Thinking Reward Model (TRM)]]
|
||
|
||
训练流程：
|
||
1. 生成多条候选推理轨迹 → 构建 DAG → ME² pairwise preference 标注（DeepSeek-V3.2）
|
||
2. 构建 [[trm-preference-dataset|TRM-Preference]]（103K 训练对，1.5K 验证）
|
||
3. 训练 TRM：Llama-3.1-8B + scalar head，Bradley-Terry loss
|
||
|
||
**核心设计**：TRM 仅训练于 verified-correct 推理对——与答案正确性解耦，纯评估推理质量。
|
||
|
||
### [[reasoning-quality-optimization|推理质量优化]]
|
||
|
||
**Test-Time Scaling**：TRM Best-of-N selection → +19.3%（AIME24, N=16, Qwen3-8B: 44.7%→64.0%）
|
||
**RL Training**：TRM-guided GRPO with gated reward shaping：
|
||
|
||
$$r = r_v \cdot (1 - \alpha + \alpha \cdot \text{Sigmoid}(r_t))$$
|
||
|
||
r_v = outcome reward, r_t = thinking reward, α = balance weight
|
||
→ +3.9% across diverse tasks
|
||
|
||
## 关键结果
|
||
|
||
| 方法 | 验证集准确率 |
|
||
|------|------------|
|
||
| Qwen2.5-Math-PRM-7B | 46.3% |
|
||
| ReasonFlux-PRM-7B | 62.5% |
|
||
| PromptOnly (DeepSeek-V3.2) | 78.6% |
|
||
| **TRM (ours)** | **88.6%** |
|
||
|
||
## 核心洞察
|
||
|
||
1. **将推理质量与答案正确性解耦** — TRM 仅训练于正确推理的偏好对，证明推理质量可独立于答案正确性评估
|
||
2. **DAG 比 Tree 更适合推理建模** — 推理中的合并（多步归结为一个结论）是常见模式，Tree 无法表达
|
||
3. **Structural signals matter** — 直接 prompt-based 比较产生大量 ties (232/1497)，但去除 ties 后准确率 93%。DAG 结构化后 ties 归零，证明结构信号是关键区分器
|
||
|
||
## 来源
|
||
[原始存档](raw/papers/me2-trm-reasoning-2026.md) | [arXiv](https://arxiv.org/abs/2602.08498) | [GitHub](https://github.com/Simplified-Reasoning/TRM)
|