2.6 KiB
2.6 KiB
title, created, updated, type, tags, sources
| title | created | updated | type | tags | sources | |||||
|---|---|---|---|---|---|---|---|---|---|---|
| 表征坍缩 (Representation Collapse) | 2026-06-08 | 2026-06-08 | concept |
|
|
表征坍缩 (Representation Collapse)
自监督学习中最棘手的问题之一，也是 jepa 架构必须正面应对的核心挑战。
定义
神经网络训练中的一个"偷懒"现象：模型将所有输入映射为高度相似或相同的向量，使预测器始终"猜对"（损失下降），但实际上什么也没学到。
特征：
- 表征的有效维度（PCA检验）远低于名义维度
- 所有表征聚集在特征空间的狭窄低维区域
- 丧失了区分不同输入所需的信息量
经典案例
训练 JEPA 预测视频后续帧的表征 → 系统发现"把什么都映射成同一个向量"就是最优解：
- 预测器永远猜对 → 损失下降 ✓
- 但梯度包含了零信息 → 模型什么也没学到 ✗
三条解决路线
1. 对比学习 (Contrastive Learning)
思路：在表征空间制造"排斥力"——正样本对拉近，负样本对推开。
局限（LeCun的观点）：
- 高维空间随机采样到的负样本大多已是"easy negative"，对训练无效
- 困难负样本极度稀缺，随机采样几乎碰不到
- 欠采样仍崩塌，过度采样破坏语义结构
- 对比学习难以支撑大规模世界模型
2. 蒸馏方法 (BYOL, DINO)
思路：两个编码器配合——在线网络（学生）做反向传播，目标网络（老师）通过 EMA 缓慢跟随。
局限：
- 损失函数不等于真实优化目标（"你以为在最小化的代价函数，实际上并不是"）
- 损失曲线无法判断训练状态是否健康
- "We don't like this method, but it works." — LeCun
3. 显式正则化 ← LeCun 最看好
核心思路：不靠间接机制防坍塌，直接在数学上规定"表征必须携带信息量"。
深层意义
表征坍缩暴露了自监督学习的元问题：当监督信号仅内生于数据本身，模型天然倾向最省力路径——将所有输入压缩为无信息的常量。三种路线殊途同归，都在强制表征空间保持丰富的几何结构。这一问题的回答质量，直接决定 JEPA 路线能否从视觉预训练稳定扩展到端到端世界模型。