---
title: "Unified Latent Probe (ULP)"
created: 2026-06-25
updated: 2026-06-25
type: concept
tags: [latent-cot, probing, mutual-information, evaluation, representation-analysis]
sources:
  - "[[latent-cot-supervision]]"
---

# Unified Latent Probe (ULP)

**Unified Latent Probe (ULP)** 是 [[latent-cot-supervision|Latent CoT Supervision]] 论文中提出的评估工具，用于量化潜状态中保留的可恢复推理信息。

## 设计原理

ULP 是一个轻量参数化解码器 q_φ(S_t | L_t)，训练目标是最小化对显式推理步骤的重建损失：

```
L_Info(L_t, S_t) = E[-log q_φ(S_t | L_t)] ≥ H(S_t | L_t)
```

这个损失是条件熵 H(S_t | L_t) 的变分上界。因此：
- L_Info 低 → H(S_t | L_t) 低 → I(L_t; S_t) 高 → 信息保真度高
- L_Info 高 → 潜状态未能保留可恢复的推理语义

## 使用方法

1. 冻结所有 baseline 的最佳 checkpoint
2. 收集它们生成的潜状态 {L_t}
3. 训练一个共享架构的 ULP 在这些潜状态上
4. 收敛后的 L_Info 提供跨方法可比的**信息度量**

## 为什么比性能指标更精细

性能（accuracy）反映的是"潜状态对 final answer 是否有用"，但可能被 shortcut 混淆。
ULP 直接测量"潜状态是否编码了显式推理步骤的语义内容"——这是一个更纯粹的信息论信号。

## 关键发现

通过 ULP 揭示的**信息层次结构**（Information Hierarchy）：

| 方法 | L_Info（探针损失） | Accuracy |
|------|---------------------|----------|
| OS-GC | 最高（最差） | 最低 |
| OS-GR | 高 | 低 |
| OS-LATENT | 中高 | 中低 |
| PS-LATENT | 中 | 中 |
| PS-GR | **最低（最优）** | **最高** |

信息质量与推理精度呈严格的**反比关系**——这促成了 [[information-performance-binding|Information-Performance Binding]] 的发现。

## 时空信息衰减

ULP 还可以跟踪每个潜位置的信息保持：
- 随链长度增长，L_Info 在后续位置系统性升高（信息衰减）
- PS-GR 在每一步"重置"衰减 → 周期性校准
- 未对齐方法（OS-LATENT, PS-GC）衰减更快 → 语义崩坏

## 参考

- [[latent-cot-supervision]]
- [[information-performance-binding]]
- [[space-supervision]]