---
title: "Space Supervision"
created: 2026-06-25
updated: 2026-06-25
type: concept
tags: [latent-cot, supervision, representation-learning, mutual-information, semantic-anchoring]
sources:
  - "[[latent-cot-supervision]]"
---

# Space Supervision

**Space Supervision**（空间监督）是 [[latent-cot-supervision|Latent CoT 过程监督]] 的第二个维度，通过保持潜流形的语义结构来防止 [[dual-collapse|表征漂移]]。与 [[trajectory-supervision|Trajectory Supervision]] 互补，前者控制"信息何时注入"，后者控制"信息是否保留"。

## 信息论目标

从信息论角度，Space Supervision 的目标是最大化 I(L_t; S_t) —— 潜状态与显式推理步骤之间的互信息：

```
I(L_t; S_t) = H(S_t) - H(S_t | L_t)
```

由于 H(S_t) 对固定数据集是常数，最大化互信息等价于最小化条件熵 H(S_t | L_t)。

## 两种实现策略

### Geometric Compression (GC)

[[geometric-compression-latent|几何压缩]]：直接在潜空间中最小化 L_t 与编码后的 S_t 之间的几何距离（通常用 MSE + frozen encoder）。

- **类比**：JEPA-style 表示预测——在潜空间中预测目标表示
- **问题**：在高维流形中，MSE 是刚性低保真代理——最小化欧氏距离无法保证信息保留
- **后果**：将高维推理流形坍缩到稀疏的静态嵌入点，破坏细粒度语义保真度 → **性能下降**

### Generative Reconstruction (GR)

[[generative-reconstruction-latent|生成式重建]]：通过辅助解码器 D_ψ 从 L_t 恢复原始 token，在符号空间中做对齐。

```
L_GR = -log D_ψ(S_t | L_t)
```

- **类比**：Masked Autoencoder-style 重建
- **信息论优势**：直接最小化 H(S_t | L_t) → 最大化 I(L_t; S_t) 的严格变分下界
- **效果**：语义锚定（semantic tether）——不强制 L_t 符合固定几何，但确保语义内容可恢复

## GC vs GR 对比

| 维度 | GC | GR |
|------|-----|-----|
| 对齐空间 | 潜空间 | 符号空间 |
| 损失函数 | MSE（刚性） | Cross-Entropy（灵活） |
| 信息论保证 | 无（低保真代理） | 有（变分下界） |
| 对推理流形的影响 | 坍缩（destructive） | 保留（semantic tether） |
| 性能 | 比 outcome-only 更差 | 显著提升 |

## 参考

- [[latent-cot-supervision]]
- [[dual-collapse]]
- [[trajectory-supervision]]
- [[generative-reconstruction-latent]]
- [[geometric-compression-latent]]