---
title: "VICReg (Variance-Invariance-Covariance Regularization)"
created: 2026-06-08
updated: 2026-06-08
type: concept
tags: [regularization, self-supervised-learning, JEPA, representation-learning]
sources: [raw/articles/lecun-llm-boundary-future-2026.md]
---

# VICReg (Variance-Invariance-Covariance Regularization)

**方差-不变性-协方差正则化**，端到端 JEPA 模型（如 PLDM）采用的防[[representation-collapse|表征坍缩]]方案。不依赖负样本，直接在表征的统计特性上施加约束。

## 三项损失

$$\mathcal{L}_{VICReg} = \underbrace{\lambda \mathcal{L}_{inv}}_{\text{不变性}} + \underbrace{\mu \mathcal{L}_{var}}_{\text{方差}} + \underbrace{\nu \mathcal{L}_{cov}}_{\text{协方差}}$$

### 1. 不变性 (Invariance)

$$\mathcal{L}_{inv} = \frac{1}{n} \sum_{i=1}^{n} \|s_i - s'_i\|^2$$

同一输入的不同增强/视角，编码器输出应相似。保证表征对无关变换（光照、裁剪、视角）具有鲁棒性。

### 2. 方差 (Variance)

$$\mathcal{L}_{var} = \frac{1}{d} \sum_{j=1}^{d} \max(0, \gamma - \sqrt{\text{Var}(s_j) + \epsilon})$$

逐维度计算标准差，强制大于阈值 $\gamma$。**防止所有样本挤在同一数值上**——强迫编码器利用每一个维度携带信息。

### 3. 协方差 (Covariance)

$$\mathcal{L}_{cov} = \sum_{j \neq k} C(S)^2_{jk}$$

批次表征协方差矩阵的非对角元素平方和。**防止维度之间"串供"**——所有信息压缩在2-3个维度，其他维度冗余。强迫各维度独立携带不同信息，提高有效容量。

## 效果与局限

✅ 效果：成功对抗表征坍塌，被 PLDM 等模型采用

❌ 局限：
- 扩展到世界模型时需组合多个损失项，超参数数量增加（PLDM 需 6 个可调超参）
- 各项损失之间互相拉扯，训练不稳定

## 演进：VICReg → [[sigreg|SIGReg]]

VICReg 已有成熟工作但超参数过多。SIGReg 在其基础上精化：将三项启发式约束统一为**一个数学上更干净的分布匹配问题**——强制嵌入分布匹配各向同性高斯分布。LeWorldModel 用 SIGReg 将超参数从 6 个压缩到 1 个 $\lambda$。

## 来源

- [[lecun-llm-boundary-future|原始文章]]
- [[sigreg|SIGReg]]
- [[representation-collapse|表征坍缩]]
- [[jepa|JEPA]]