20260625:很多新内容

concepts/space-supervision.md

@@ -0,0 +1,63 @@
+---
+title: "Space Supervision"
+created: 2026-06-25
+updated: 2026-06-25
+type: concept
+tags: [latent-cot, supervision, representation-learning, mutual-information, semantic-anchoring]
+sources:
+  - "[[latent-cot-supervision]]"
+---
+
+# Space Supervision
+
+**Space Supervision**（空间监督）是 [[latent-cot-supervision|Latent CoT 过程监督]] 的第二个维度，通过保持潜流形的语义结构来防止 [[dual-collapse|表征漂移]]。与 [[trajectory-supervision|Trajectory Supervision]] 互补，前者控制"信息何时注入"，后者控制"信息是否保留"。
+
+## 信息论目标
+
+从信息论角度，Space Supervision 的目标是最大化 I(L_t; S_t) —— 潜状态与显式推理步骤之间的互信息：
+
+```
+I(L_t; S_t) = H(S_t) - H(S_t | L_t)
+```
+
+由于 H(S_t) 对固定数据集是常数，最大化互信息等价于最小化条件熵 H(S_t | L_t)。
+
+## 两种实现策略
+
+### Geometric Compression (GC)
+
+[[geometric-compression-latent|几何压缩]]：直接在潜空间中最小化 L_t 与编码后的 S_t 之间的几何距离（通常用 MSE + frozen encoder）。
+
+- **类比**：JEPA-style 表示预测——在潜空间中预测目标表示
+- **问题**：在高维流形中，MSE 是刚性低保真代理——最小化欧氏距离无法保证信息保留
+- **后果**：将高维推理流形坍缩到稀疏的静态嵌入点，破坏细粒度语义保真度 → **性能下降**
+
+### Generative Reconstruction (GR)
+
+[[generative-reconstruction-latent|生成式重建]]：通过辅助解码器 D_ψ 从 L_t 恢复原始 token，在符号空间中做对齐。
+
+```
+L_GR = -log D_ψ(S_t | L_t)
+```
+
+- **类比**：Masked Autoencoder-style 重建
+- **信息论优势**：直接最小化 H(S_t | L_t) → 最大化 I(L_t; S_t) 的严格变分下界
+- **效果**：语义锚定（semantic tether）——不强制 L_t 符合固定几何，但确保语义内容可恢复
+
+## GC vs GR 对比
+
+| 维度 | GC | GR |
+|------|-----|-----|
+| 对齐空间 | 潜空间 | 符号空间 |
+| 损失函数 | MSE（刚性） | Cross-Entropy（灵活） |
+| 信息论保证 | 无（低保真代理） | 有（变分下界） |
+| 对推理流形的影响 | 坍缩（destructive） | 保留（semantic tether） |
+| 性能 | 比 outcome-only 更差 | 显著提升 |
+
+## 参考
+
+- [[latent-cot-supervision]]
+- [[dual-collapse]]
+- [[trajectory-supervision]]
+- [[generative-reconstruction-latent]]
+- [[geometric-compression-latent]]