myWiki/concepts/dual-collapse.md

title, created, updated, type, tags, sources

title	created	updated	type	tags	sources
Dual Collapse in Latent CoT	2026-06-25	2026-06-25	concept	latent-cot optimization gradient-flow representation-drift supervision	latent-cot-supervision

Dual Collapse in Latent CoT

Dual Collapse（双重崩溃）是 latent-cot-supervision 论文中诊断的 Outcome Supervision 失败的根源机制，由两个耦合的退化过程组成。

组件一：梯度衰减 (Gradient Attenuation)

仅使用最终 answer loss 时，反向传播的梯度沿潜链衰减：

G(t) = ||∂L_OS / ∂L_t||

实证发现：G(1) >> G(2) > ... > G(6) ≈ 0。

后果：

• 模型依赖 L1 承载几乎所有推理负担（structural shortcut）
• 深层潜状态实际上处于"未训练"状态
• 类似 gradient starvation (Pezeshki et al., 2021)：主导浅层特征抑制深层依赖的学习

组件二：表征漂移 (Representational Drift / Manifold Drift)

由于深层潜状态缺乏有效梯度信号，它们的表征在训练过程中偏离显式 CoT 嵌入所定义的语义空间：

• PCA 可视化显示潜轨迹从语义参考区向外发散
• 面积比达 460.3× —— 潜空间探索区域远大于语义有效区域
• 失去语义锚定后，潜状态进入无结构高熵区域

交互效应

两个机制的耦合形成恶性循环：

1. 梯度衰减 → 深层潜状态未受训练
2. 未受训练的潜状态漂移 → 对 answer loss 贡献降级
3. 贡献降级 → 分配更少梯度 → 进一步衰减

最终：模型通过捷径（shortcut）最小化损失，而非通过真正的多步推理。

解决方案

过程监督（Process Supervision）通过两个维度打断这个循环：

• trajectory-supervision：在每个推理步骤注入局部梯度信号，打破梯度衰减
• space-supervision：通过生成式重建锚定潜状态，防止表征漂移

参考

• latent-cot-supervision
• trajectory-supervision
• space-supervision