20260617:目前有914 页

concepts/latent-reasoning.md

@@ -0,0 +1,50 @@
+---
+title: "潜在推理 (Latent Reasoning)"
+created: 2026-06-17
+updated: 2026-06-17
+type: concept
+tags: [reasoning, architecture, inference]
+sources: [raw/papers/zhang-tarpo-2026.md]
+confidence: high
+---
+
+# 潜在推理 (Latent Reasoning)
+
+潜在推理是一种推理范式，**将推理过程从离散 token 空间转移到连续表征空间**，克服了传统 [[chain-of-thought|思维链（CoT）]] 的信息瓶颈。
+
+## 动机
+
+在标准 CoT 中，高维 Transformer 隐藏状态必须在每一步坍缩为单个离散 token——这限制了推理的表达能力和信息容量。潜在推理直接在连续空间中操作这些隐藏状态，允许更丰富的推理轨迹。
+
+## 核心机制
+
+### 连续推理单元
+
+潜在推理的推理步骤使用**连续向量**而非离散 token：
+- **原始隐藏状态**：直接将 Transformer 最后一层的隐藏状态馈入后续步骤（如 [[coconut|COCONUT]]）
+- **概率加权嵌入混合**：使用 top-k token 嵌入的 softmax 加权组合（如 [[soft-token]]）
+
+### 推理模式
+
+- **纯潜在推理（Pure Latent）**：所有推理步骤都在潜空间中完成，不产生中间离散 token
+- **混合推理（[[hybrid-reasoning]]）**：在离散 token 生成和潜在推理之间动态切换
+
+## 优势与挑战
+
+**优势**：
+- 更高的表达能力和信息容量
+- 支持并行路径探索
+- Token 效率更高（推理压缩）
+
+**挑战**：
+- **表征流形不匹配**：原始隐藏状态可能不在 token embedding 空间中
+- **灾难性遗忘**：长时间连续推理可能导致信息丢失
+- **确定性困境**：连续表征天然确定性，限制了 RL 策略探索——这是 [[tarpo|TARPO]] 等混合方法的切入点
+
+## 参考
+
+- [[tarpo|TARPO]]
+- [[coconut|COCONUT]]
+- [[continuous-representation|连续表征]]
+- [[soft-token]]
+- [[hybrid-reasoning|混合推理]]