64 lines
2.4 KiB
Markdown
64 lines
2.4 KiB
Markdown
---
|
||
title: "Space Supervision"
|
||
created: 2026-06-25
|
||
updated: 2026-06-25
|
||
type: concept
|
||
tags: [latent-cot, supervision, representation-learning, mutual-information, semantic-anchoring]
|
||
sources:
|
||
- "[[latent-cot-supervision]]"
|
||
---
|
||
|
||
# Space Supervision
|
||
|
||
**Space Supervision**（空间监督）是 [[latent-cot-supervision|Latent CoT 过程监督]] 的第二个维度，通过保持潜流形的语义结构来防止 [[dual-collapse|表征漂移]]。与 [[trajectory-supervision|Trajectory Supervision]] 互补，前者控制"信息何时注入"，后者控制"信息是否保留"。
|
||
|
||
## 信息论目标
|
||
|
||
从信息论角度，Space Supervision 的目标是最大化 I(L_t; S_t) —— 潜状态与显式推理步骤之间的互信息：
|
||
|
||
```
|
||
I(L_t; S_t) = H(S_t) - H(S_t | L_t)
|
||
```
|
||
|
||
由于 H(S_t) 对固定数据集是常数，最大化互信息等价于最小化条件熵 H(S_t | L_t)。
|
||
|
||
## 两种实现策略
|
||
|
||
### Geometric Compression (GC)
|
||
|
||
[[geometric-compression-latent|几何压缩]]：直接在潜空间中最小化 L_t 与编码后的 S_t 之间的几何距离（通常用 MSE + frozen encoder）。
|
||
|
||
- **类比**：JEPA-style 表示预测——在潜空间中预测目标表示
|
||
- **问题**：在高维流形中，MSE 是刚性低保真代理——最小化欧氏距离无法保证信息保留
|
||
- **后果**：将高维推理流形坍缩到稀疏的静态嵌入点，破坏细粒度语义保真度 → **性能下降**
|
||
|
||
### Generative Reconstruction (GR)
|
||
|
||
[[generative-reconstruction-latent|生成式重建]]：通过辅助解码器 D_ψ 从 L_t 恢复原始 token，在符号空间中做对齐。
|
||
|
||
```
|
||
L_GR = -log D_ψ(S_t | L_t)
|
||
```
|
||
|
||
- **类比**：Masked Autoencoder-style 重建
|
||
- **信息论优势**：直接最小化 H(S_t | L_t) → 最大化 I(L_t; S_t) 的严格变分下界
|
||
- **效果**：语义锚定（semantic tether）——不强制 L_t 符合固定几何，但确保语义内容可恢复
|
||
|
||
## GC vs GR 对比
|
||
|
||
| 维度 | GC | GR |
|
||
|------|-----|-----|
|
||
| 对齐空间 | 潜空间 | 符号空间 |
|
||
| 损失函数 | MSE（刚性） | Cross-Entropy（灵活） |
|
||
| 信息论保证 | 无（低保真代理） | 有（变分下界） |
|
||
| 对推理流形的影响 | 坍缩（destructive） | 保留（semantic tether） |
|
||
| 性能 | 比 outcome-only 更差 | 显著提升 |
|
||
|
||
## 参考
|
||
|
||
- [[latent-cot-supervision]]
|
||
- [[dual-collapse]]
|
||
- [[trajectory-supervision]]
|
||
- [[generative-reconstruction-latent]]
|
||
- [[geometric-compression-latent]]
|