40 lines
1.2 KiB
Markdown
40 lines
1.2 KiB
Markdown
---
|
||
title: "Inference-Time Scaling（推理时扩展）"
|
||
created: 2026-05-23
|
||
updated: 2026-05-23
|
||
type: concept
|
||
tags: [inference, scaling, reasoning, compute]
|
||
sources: [raw/papers/gram-generative-recursive-reasoning-2026.md]
|
||
confidence: high
|
||
---
|
||
|
||
# Inference-Time Scaling
|
||
|
||
> GRAM 提出的双维度推理扩展：不仅通过**递归深度**（deeper），还通过**并行轨迹采样数**（wider）来提升推理质量。
|
||
|
||
## 两种扩展维度
|
||
|
||
| 维度 | 方式 | 效果 |
|
||
|------|------|------|
|
||
| **深度** (Deep) | 增加递归步数 T | 更多精炼迭代 |
|
||
| **宽度** (Wide) | 并行采样更多轨迹 | 更好的边际化估计、多解发现 |
|
||
|
||
## 与传统扩展方式的区别
|
||
|
||
- **Chain-of-Thought**: 只能 depth（更长 token 序列）
|
||
- **Ensemble**: 只能 width（多个独立模型）
|
||
- **GRAM**: **depth x width**（单一模型的递归深度 x 轨迹数）
|
||
|
||
## 关键洞察
|
||
|
||
深度和宽度的边际收益不同：
|
||
- 深度对单解精炼最有效
|
||
- 宽度对多解覆盖和不确定性处理最有效
|
||
- 最优配置 = 任务依赖的资源分配
|
||
|
||
## 相关概念
|
||
|
||
- [[width-based-scaling]]
|
||
- [[deep-and-wide-reasoning]]
|
||
- [[gram-generative-recursive-reasoning|GRAM]]
|