2.4 KiB
2.4 KiB
title, created, updated, type, tags, sources
| title | created | updated | type | tags | sources | ||||||
|---|---|---|---|---|---|---|---|---|---|---|---|
| Space Supervision | 2026-06-25 | 2026-06-25 | concept |
|
|
Space Supervision
Space Supervision（空间监督）是 latent-cot-supervision 的第二个维度，通过保持潜流形的语义结构来防止 dual-collapse。与 trajectory-supervision 互补，前者控制"信息何时注入"，后者控制"信息是否保留"。
信息论目标
从信息论角度，Space Supervision 的目标是最大化 I(L_t; S_t) —— 潜状态与显式推理步骤之间的互信息：
I(L_t; S_t) = H(S_t) - H(S_t | L_t)
由于 H(S_t) 对固定数据集是常数，最大化互信息等价于最小化条件熵 H(S_t | L_t)。
两种实现策略
Geometric Compression (GC)
geometric-compression-latent：直接在潜空间中最小化 L_t 与编码后的 S_t 之间的几何距离（通常用 MSE + frozen encoder）。
- 类比：JEPA-style 表示预测——在潜空间中预测目标表示
- 问题：在高维流形中，MSE 是刚性低保真代理——最小化欧氏距离无法保证信息保留
- 后果：将高维推理流形坍缩到稀疏的静态嵌入点，破坏细粒度语义保真度 → 性能下降
Generative Reconstruction (GR)
generative-reconstruction-latent：通过辅助解码器 D_ψ 从 L_t 恢复原始 token，在符号空间中做对齐。
L_GR = -log D_ψ(S_t | L_t)
- 类比：Masked Autoencoder-style 重建
- 信息论优势：直接最小化 H(S_t | L_t) → 最大化 I(L_t; S_t) 的严格变分下界
- 效果：语义锚定（semantic tether）——不强制 L_t 符合固定几何，但确保语义内容可恢复
GC vs GR 对比
| 维度 | GC | GR |
|---|---|---|
| 对齐空间 | 潜空间 | 符号空间 |
| 损失函数 | MSE（刚性） | Cross-Entropy（灵活） |
| 信息论保证 | 无（低保真代理） | 有（变分下界） |
| 对推理流形的影响 | 坍缩（destructive） | 保留（semantic tether） |
| 性能 | 比 outcome-only 更差 | 显著提升 |