2.9 KiB
2.9 KiB
title, created, updated, type, tags, sources, confidence
| title | created | updated | type | tags | sources | confidence | ||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|
| Generative Recursive Reasoning (GRAM) | 2026-05-23 | 2026-05-23 | paper |
|
|
high |
Generative Recursive Reasoning
核心问题：未来的神经推理系统如何实现扩展计算？答案：将递归推理从确定性单轨迹升级为概率性多轨迹计算。
基本信息
- 作者: Junyeob Baek, Mingyu Jo, Minsu Kim, Mengye Ren, Yoshua Bengio, Sungjin Ahn（KAIST x Mila x NYU x UdeM）
- arXiv: 2605.19376 (v2, 2026-05-19)
- 领域: cs.AI
- 项目页: https://ahn-ml.github.io/gram-website
动机：RRM 的确定性困境
recursive-reasoning-models（如 HRM、TRM）通过共享转移函数的迭代潜在状态精炼来实现扩展计算，而非像自回归模型那样延长生成序列。但现有 RRM 是确定性的——相同输入总是产生相同的单条推理路径，收敛到唯一预测。
这在需要多假设探索和多解恢复的问题中是致命的：
- 单一精炼路径可能被困在次优推理轨迹中
- 无法在推理时进行并行扩展
GRAM：概率性递归推理
gram-generative-recursive-reasoning 的核心将推理过程重新定义为随机潜在轨迹（stochastic-latent-trajectory）：
- 每个递归步采样一个条件于输入和当前状态的转移，而非确定性更新
- 重复过程 -> 推理轨迹上的分布
- 通过边缘化所有轨迹得到最终预测
三种关键能力
| 能力 | 实现方式 |
|---|---|
| 多假设维持 | 从分布中采样多条推理路径 |
| 替代策略探索 | 不同轨迹探索不同解空间 |
| inference-time-scaling | 增加递归深度 + 并行采样轨迹 |
双向生成能力
- 条件推理: p_theta(y|x) — 给定输入，边缘化推理轨迹
- 无条件生成: p_theta(x) — 固定/缺失输入时，同一个递归过程可生成数据
架构：双层嵌套递归
- 内层（Inner Loop）: K 次低层精炼，产生确定性提议 u_t，加上随机引导 eps_t -> h_t = u_t + eps_t
- 外层（Outer Loop）: N_sup 个 supervision step 递归叠加
- 训练: amortized-variational-inference（CE loss + KL divergence）
实验
| 任务 | 考察维度 |
|---|---|
| Sudoku-Extreme | 硬约束下的结构化推理 |
| ARC-AGI | 抽象变换 |
| N-Queens + Graph Coloring | [[multi-solution-recovery |
| Binarized MNIST | 无条件生成能力 |
与推理扩展方向的关系
GRAM 提供了一条与 Chain-of-Thought 和扩散推理都互补的路径：
- CoT = 显式 token 级扩展
- Diffusion Reasoning = 连续空间扩散
- GRAM = 离散潜在空间中的随机递归