---
title: "Generative Reconstruction (Latent)"
created: 2026-06-25
updated: 2026-06-25
type: concept
tags: [latent-cot, reconstruction, decoder, representation-learning, mutual-information]
sources:
  - "[[latent-cot-supervision]]"
---

# Generative Reconstruction (GR)

**Generative Reconstruction (GR)** 是 [[space-supervision|Space Supervision]] 中的一种策略，通过辅助解码器从潜状态恢复显式推理步骤，在符号空间中做语义锚定。与 [[geometric-compression-latent|Geometric Compression (GC)]] 的刚性潜空间约束形成对比。

## 机制

在 Latent CoT 中，每个潜状态 L_t 对应一个显式推理步骤 S_t。GR 训练一个专用解码器 D_ψ：

```
L_GR = -log D_ψ(S_t | L_t)
```

即标准交叉熵重建损失——L_t 被鼓励保留足够信息来恢复原始文本。

## 信息论优势

GR 直接最小化条件熵 H(S_t | L_t)：

```
I(L_t; S_t) = H(S_t) - H(S_t | L_t)
```

由于 H(S_t) 固定，GR 严格最大化 I(L_t; S_t) 的变分下界。

## 为什么优于 Geometric Compression

| 维度 | GC (MSE) | GR (Reconstruction) |
|------|----------|---------------------|
| 对齐空间 | 潜空间（欧氏） | 符号空间（Token） |
| 损失 | MSE → 刚性几何约束 | CE → 灵活语义锚定 |
| 高维行为 | 允许误差分散到无关子空间 | 每个 token 位置独立受监督 |
| 流形效应 | 坍缩推理流形到静态点 | 保留内蕴维度 |

**核心问题**：高维空间中，MSE 无法约束方向对齐——误差可以分散到无关维度，保持低逐元素损失同时完全失去语义。

**GR 的解决方案**：通过在 token 空间中重建，每个输出维度（词表 token）独立受监督，迫使潜状态保留丰富的语义内容。

## 在 Latent CoT 中的效果

- PS-GR 达到最优信息保真度（最低 ULP 损失）
- 周期性校准：每一步的 GR 目标"重置"累积的信息衰减
- 语义锚定：L_t 保持可解码，即使在长推理链中

## 参考

- [[latent-cot-supervision]]
- [[space-supervision]]
- [[geometric-compression-latent]]
- [[unified-latent-probe]]