78 lines
3.8 KiB
Markdown
78 lines
3.8 KiB
Markdown
---
|
||
title: "What Makes Effective Supervision in Latent Chain-of-Thought"
|
||
created: 2026-06-25
|
||
updated: 2026-06-25
|
||
type: paper
|
||
tags: [latent-cot, information-theory, mutual-information, reasoning, supervision, representation-learning]
|
||
sources:
|
||
- https://arxiv.org/abs/2606.20075
|
||
- https://github.com/EIT-NLP/Supervision-in-Latent-CoT
|
||
---
|
||
|
||
# Latent CoT Supervision
|
||
|
||
**Latent CoT Supervision** 是 ICML 2026 的工作（Chen et al.），从信息论角度系统分析了 Latent Chain-of-Thought 的有效监督机制。核心贡献在于识别 outcome supervision 的失败机理，并将过程监督分解为两个互补维度。
|
||
|
||
## 核心发现
|
||
|
||
### 1. Outcome Supervision 的双重崩溃
|
||
|
||
仅使用最终答案损失训练 Latent CoT 失败于两个机制：
|
||
|
||
| 机制 | 现象 | 后果 |
|
||
|------|------|------|
|
||
| **[[dual-collapse|梯度衰减]]** | 监督信号集中于 L1，L2...L6 梯度接近零 | 模型依赖浅层位置，深层不参与推理 |
|
||
| **[[dual-collapse|表征漂移]]** | 潜状态在训练中偏离语义参考区 | 失去语义锚定，进入无结构区域 |
|
||
|
||
两者的交互效应：梯度衰减导致深层潜状态未受充分训练 → 它们在参数空间中"漂移" → 最终 answer loss 通过捷径（shortcut）最小化，而非通过真正的多步推理。
|
||
|
||
### 2. 过程监督的二维分解
|
||
|
||
**[[trajectory-supervision|Trajectory Supervision]]**（轨迹监督）：
|
||
- 逐步注入推理信号：阶段 k 训练时，前 k 步使用连续潜状态 L_{≤k}，后续使用显式 token
|
||
- 目标：最大化局部互信息 I(L_{≤k}; S_{k+1})
|
||
- 关键发现：仅 Trajectory Supervision（无 Space Supervision）已显著优于 Outcome-only
|
||
|
||
**[[space-supervision|Space Supervision]]**（空间监督）：
|
||
- **[[geometric-compression-latent|Geometric Compression (GC)]]**：MSE 对齐潜状态到静态嵌入 → **破坏性约束**，坍缩高维推理流形
|
||
- **[[generative-reconstruction-latent|Generative Reconstruction (GR)]]**：辅助解码器从潜状态恢复文本 → **语义锚定**，保留信息容量
|
||
|
||
GR 的信息论优势：最小化 H(S_t | L_t) → 最大化 I(L_t; S_t) 的变分下界。
|
||
|
||
### 3. Unified Latent Probe (ULP)
|
||
|
||
[[unified-latent-probe|ULP]] 是一个轻量解码器 q_φ(S_t | L_t)，冻结模型后训练在所有 baseline 的潜状态上。
|
||
其重建损失 L_Info 提供了一个严格的信息度量：
|
||
- L_Info 低 → 潜状态保留了可恢复的推理语义
|
||
- L_Info 高 → 潜状态退化到高熵无结构区域
|
||
|
||
### 4. Information-Performance Binding
|
||
|
||
[[information-performance-binding]]：推理精度与 ULP 重建损失呈严格的**反比关系**。即推理能力被潜链中的互信息上界严格约束。
|
||
|
||
实验中 PS-GR（Trajectory + Generative Reconstruction）达到最优前沿：最大化 I(L_t; S_t) 并保持 I(L_{≤k}; S_{k+1}) 的可预测性。
|
||
|
||
## 方法论要点
|
||
|
||
- **渐进式训练**（Progressive Training）：从完全显式 CoT 逐步过渡到完全 Latent CoT
|
||
- **粒度（Granularity g）**：g 个 token 合并为一个潜向量。g=1（逐 token 潜向量）效果最优但计算昂贵
|
||
- **优化器重置**：过渡到连续状态时重置优化器 → "探索冲击"（exploration shock）帮助逃离局部最优
|
||
- **信息衰减**：自回归潜生成存在 position-wise 信息衰减，GR 通过可重建性约束周期性"重置"语义漂移
|
||
|
||
## 局限
|
||
|
||
- 模型规模仅限于 GPT-2，需在更大模型上验证
|
||
- 依赖过程标注（ground-truth reasoning steps），限制可扩展性
|
||
- MI 估计受限于变分探针容量，可能保守
|
||
|
||
## 参考
|
||
|
||
- [原始存档](raw/papers/latent-cot-supervision-2026.md)
|
||
- [[dual-collapse]]
|
||
- [[trajectory-supervision]]
|
||
- [[space-supervision]]
|
||
- [[unified-latent-probe]]
|
||
- [[information-performance-binding]]
|
||
- [[generative-reconstruction-latent]]
|
||
- [[geometric-compression-latent]]
|