---
title: "Geometric Compression (Latent CoT)"
created: 2026-06-25
updated: 2026-06-25
type: concept
tags: [latent-cot, mse, representation-learning, compression, supervision]
sources:
  - "[[latent-cot-supervision]]"
---

# Geometric Compression (GC)

**Geometric Compression (GC)** 是 [[space-supervision|Space Supervision]] 中的一种策略，通过最小化潜状态与静态目标嵌入之间的几何距离来施加语义约束。[[latent-cot-supervision|Latent CoT Supervision]] 论文证明这是一种**破坏性约束**，会坍缩高维推理流形。

## 机制

使用 frozen encoder 将显式推理步骤 S_t 编码为静态嵌入 e_t，然后最小化 MSE：

```
L_GC = ||L_t - e_t||²
```

**动机**：如果 L_t 在欧氏空间上接近 S_t 的嵌入，它应该"编码了类似的语义"。

## 为什么失败

### 1. 信息论缺陷

MSE 是互信息 I(L_t; S_t) 的低保真代理：
- 最小化 ||L_t - e_t|| 不保证最大化 I(L_t; S_t)
- 在高维流形中，欧氏距离和语义相似性高度不一致

### 2. 优化缺陷

高维空间中 MSE 的失效模式：
- **方向不对齐**：误差可以分散到无关维度 → 低 MSE 但不保持语义
- **均值坍缩**：潜状态趋向于移动到目标嵌入的邻域均值，而非精确编码语义

### 3. 实证后果

- PS-GC 性能**低于** outcome-only 基线
- ULP 探针损失极高 → 潜状态无法恢复推理语义
- 潜流形被"压扁"到静态嵌入点

## 类比

论文将 GC 类比为 JEPA-style 表示预测：在潜空间中预测目标表示，而非重建原始观测。GC 的失败说明：

> 在潜空间中对齐静态表示是比符号空间中重建更弱的语义约束。

## 与 GR 的对比

[[generative-reconstruction-latent|Generative Reconstruction]] 通过在 token 空间重建实现更强的语义锚定，是 GC 的 superior alternative。

## 参考

- [[latent-cot-supervision]]
- [[space-supervision]]
- [[generative-reconstruction-latent]]
- [[information-performance-binding]]