---
title: "表征坍缩 (Representation Collapse)"
created: 2026-06-08
updated: 2026-06-08
type: concept
tags: [self-supervised-learning, JEPA, representation-learning, LeCun]
sources: [raw/articles/lecun-llm-boundary-future-2026.md]
---

# 表征坍缩 (Representation Collapse)

自监督学习中最棘手的问题之一，也是 [[jepa|JEPA]] 架构必须正面应对的核心挑战。

## 定义

神经网络训练中的一个"偷懒"现象：**模型将所有输入映射为高度相似或相同的向量**，使预测器始终"猜对"（损失下降），但实际上什么也没学到。

**特征**：
- 表征的有效维度（PCA检验）远低于名义维度
- 所有表征聚集在特征空间的狭窄低维区域
- 丧失了区分不同输入所需的信息量

## 经典案例

训练 JEPA 预测视频后续帧的表征 → 系统发现"把什么都映射成同一个向量"就是最优解：
- 预测器永远猜对 → 损失下降 ✓
- 但梯度包含了零信息 → 模型什么也没学到 ✗

## 三条解决路线

### 1. 对比学习 (Contrastive Learning)

**思路**：在表征空间制造"排斥力"——正样本对拉近，负样本对推开。

**局限（LeCun的观点）**：
- 高维空间随机采样到的负样本大多已是"easy negative"，对训练无效
- 困难负样本极度稀缺，随机采样几乎碰不到
- 欠采样仍崩塌，过度采样破坏语义结构
- **对比学习难以支撑大规模世界模型**

### 2. 蒸馏方法 (BYOL, DINO)

**思路**：两个编码器配合——在线网络（学生）做反向传播，目标网络（老师）通过 EMA 缓慢跟随。

**局限**：
- 损失函数不等于真实优化目标（"你以为在最小化的代价函数，实际上并不是"）
- 损失曲线无法判断训练状态是否健康
- "We don't like this method, but it works." — LeCun

### 3. 显式正则化 ← LeCun 最看好

**核心思路**：不靠间接机制防坍塌，直接在数学上规定"表征必须携带信息量"。

- [[vicreg|VICReg]]：方差+不变性+协方差三项约束
- [[sigreg|SIGReg]]：强制嵌入分布匹配各向同性高斯分布 $N(0,I)$

## 深层意义

表征坍缩暴露了自监督学习的**元问题**：当监督信号仅内生于数据本身，模型天然倾向最省力路径——将所有输入压缩为无信息的常量。三种路线殊途同归，都在强制表征空间保持丰富的几何结构。**这一问题的回答质量，直接决定 JEPA 路线能否从视觉预训练稳定扩展到端到端世界模型。**

## 来源

- [[lecun-llm-boundary-future|原始文章]]
- [[sigreg|SIGReg]]
- [[vicreg|VICReg]]
- [[jepa|JEPA]]