2.2 KiB
2.2 KiB
title, created, updated, type, paper
| title | created | updated | type | paper |
|---|---|---|---|---|
| Review: ME² + TRM — Complex Reasoning Optimization | 2026-06-24 | 2026-06-24 | review | me2-trm-reasoning-2026 |
📌 基本信息
- 论文标题：Characterizing, Evaluating, and Optimizing Complex Reasoning
- 作者：Zhang, Li, Wang, Wang, Zhang, Qu, Cheng（SJTU/上海AI Lab/CUHK 等）
- 领域：cs.CL（推理评估、奖励模型、RL）
- 会议：ICML 2026 | arXiv:2602.08498v2
- 代码：https://github.com/Simplified-Reasoning/TRM
🎯 核心概念
- ME² Principle — Macro/Micro × Efficiency/Effectiveness 四象限推理质量表征
- DAG-based Reasoning Evaluation — 将推理轨迹抽象为 DAG，捕获分支/合并结构，消除直接评估的大量 ties
- Thinking Reward Model (TRM) — 仅训练于 verified-correct 推理对，与答案正确性解耦的推理质量评估模型
- Reasoning Quality Optimization — Test-time Best-of-N (+19.3%) 和 TRM-guided GRPO (+3.9%) 双路径
🔗 概念网络
核心连接：
- ME² Principle → DAG Evaluation → TRM（原则 → 建模 → 模型）
- TRM → Reasoning Quality Optimization（模型 → 应用）
- TRM ↔ reward-model, GRPO（已有概念衔接）
复用已有概念：large-reasoning-models、reward-model、grpo
📚 Wiki 集成
- 新增页面：7 个（1 论文 + 5 概念 + 1 Review）
- 复用已有概念：3 个
- 总规模：1195 → 1203 页
💡 关键洞察
-
推理质量的独立可评估性 — TRM 仅在正确推理对上训练偏好，证明了推理质量可以独立于答案正确性被评估。这意味着你可以在不知道答案对不对的情况下，判断推理过程好不好。这是对 RL 中 outcome-only reward 的关键补充：thinking reward 在答案正确的多条路径中选择更好的那一条，而不是简单地 reward 对错。
-
结构信号的意义 — 直接 prompt-based 比较的 232 条 ties 在 DAG 结构化后归零，说明推理质量差异的本质不在步骤内容而在结构组织。这与 Agent 系统设计中的 "Harness > SSM > Attention" 哲学同构：结构（DAG 拓扑）比内容（步骤文本）承载更多区分信息。