20260625:很多新内容

concepts/unified-latent-probe.md

@@ -0,0 +1,64 @@
+---
+title: "Unified Latent Probe (ULP)"
+created: 2026-06-25
+updated: 2026-06-25
+type: concept
+tags: [latent-cot, probing, mutual-information, evaluation, representation-analysis]
+sources:
+  - "[[latent-cot-supervision]]"
+---
+
+# Unified Latent Probe (ULP)
+
+**Unified Latent Probe (ULP)** 是 [[latent-cot-supervision|Latent CoT Supervision]] 论文中提出的评估工具，用于量化潜状态中保留的可恢复推理信息。
+
+## 设计原理
+
+ULP 是一个轻量参数化解码器 q_φ(S_t | L_t)，训练目标是最小化对显式推理步骤的重建损失：
+
+```
+L_Info(L_t, S_t) = E[-log q_φ(S_t | L_t)] ≥ H(S_t | L_t)
+```
+
+这个损失是条件熵 H(S_t | L_t) 的变分上界。因此：
+- L_Info 低 → H(S_t | L_t) 低 → I(L_t; S_t) 高 → 信息保真度高
+- L_Info 高 → 潜状态未能保留可恢复的推理语义
+
+## 使用方法
+
+1. 冻结所有 baseline 的最佳 checkpoint
+2. 收集它们生成的潜状态 {L_t}
+3. 训练一个共享架构的 ULP 在这些潜状态上
+4. 收敛后的 L_Info 提供跨方法可比的**信息度量**
+
+## 为什么比性能指标更精细
+
+性能（accuracy）反映的是"潜状态对 final answer 是否有用"，但可能被 shortcut 混淆。
+ULP 直接测量"潜状态是否编码了显式推理步骤的语义内容"——这是一个更纯粹的信息论信号。
+
+## 关键发现
+
+通过 ULP 揭示的**信息层次结构**（Information Hierarchy）：
+
+| 方法 | L_Info（探针损失） | Accuracy |
+|------|---------------------|----------|
+| OS-GC | 最高（最差） | 最低 |
+| OS-GR | 高 | 低 |
+| OS-LATENT | 中高 | 中低 |
+| PS-LATENT | 中 | 中 |
+| PS-GR | **最低（最优）** | **最高** |
+
+信息质量与推理精度呈严格的**反比关系**——这促成了 [[information-performance-binding|Information-Performance Binding]] 的发现。
+
+## 时空信息衰减
+
+ULP 还可以跟踪每个潜位置的信息保持：
+- 随链长度增长，L_Info 在后续位置系统性升高（信息衰减）
+- PS-GR 在每一步"重置"衰减 → 周期性校准
+- 未对齐方法（OS-LATENT, PS-GC）衰减更快 → 语义崩坏
+
+## 参考
+
+- [[latent-cot-supervision]]
+- [[information-performance-binding]]
+- [[space-supervision]]