20260617:目前有914 页

concepts/jepa.md

@@ -0,0 +1,72 @@
+---
+title: "JEPA (Joint Embedding Predictive Architecture)"
+created: 2026-06-08
+updated: 2026-06-08
+type: concept
+tags: [world-model, LeCun, self-supervised-learning, representation-learning]
+sources: [raw/articles/lecun-llm-boundary-future-2026.md, https://arxiv.org/abs/2301.08243, https://arxiv.org/abs/2603.19312]
+---
+
+# JEPA (Joint Embedding Predictive Architecture)
+
+**联合嵌入预测架构**，Yann LeCun 提出的自监督学习范式，是构建 [[world-model-lecun|世界模型]] 的核心方法论。
+
+## 核心思想
+
+**在抽象表征空间（而非像素或 token 空间）中做预测。** 与传统生成模型不同，JEPA 不试图重建输入细节，而是学习"什么样的表征是可预测的"。
+
+## 数学框架
+
+给定数据样本的两个不同视角 $O_t$ 和 $O_{t+1}$：
+
+$$Z_t = Enc(O_t), \quad Z_{t+1} = Enc(O_{t+1})$$
+
+$$\hat{Z}_{t+1} = Pred(Z_t, a_t)$$
+
+训练目标：最小化预测表征与真实表征的误差（非像素重建）：
+$$\mathcal{L} = \|\hat{Z}_{t+1} - sg(Z_{t+1})\|^2$$
+
+其中 $sg(\cdot)$ 表示 **stop-gradient**——防止预测器通过解码捷径"偷懒"，强制真正学会从 $s_x$ 推断 $s_y$。
+
+## 与生成式模型的关键分叉
+
+| 维度 | 生成式世界模型 (Genie/Sora/Dreamer) | JEPA |
+|------|-----------------------------------|------|
+| 训练目标 | 最大似然重建像素/token | 语义层可预测性 |
+| 预测空间 | 像素空间（196K维） | 潜在空间（192维） |
+| 容量分配 | 浪费于纹理、光照、水面折射等不可预测细节 | 集中于因果结构 |
+| 规划能力 | 潜空间与决策脱节 | 潜空间可直接做轨迹优化 |
+| 典型代表 | Sora, DreamerV3, Genie | I-JEPA, V-JEPA, LeWorldModel |
+
+## 为什么不在像素空间预测？
+
+**水瓶类比**：推一个无盖水瓶的底部，它会在桌面滑动；推顶部，它可能翻倒——但你永远无法精确预测倒向哪个方向。像素空间的**不可约不确定性**（桌面微观摩擦、空气扰动、液体湍流）意味着建模 $P(pixel_{t+1}|action_t)$ 要求掌握从分子动力学到流体力学的全部物理知识。
+
+## 核心组成
+
+1. **联合编码器 (Joint Encoder)**：将 $x$ 和 $y$ 映射到同一潜在空间 $s_x$, $s_y$（共享权重）
+2. **预测器 (Predictor)**：基于 $s_x$ 和可选动作条件 $a_t$，在潜在空间预测 $\hat{s}_y$
+3. **Stop-Gradient**：防止梯度通过 $s_y$ 回传——这是反[[representation-collapse|表征坍缩]]的关键技巧
+
+## 防坍塌挑战
+
+JEPA 训练面临的核心挑战是 **[[representation-collapse|表征坍缩]]**：模型将所有输入映射为同一向量，损失函数依然下降但什么也没学到。解决方案从对比学习 → 蒸馏方法(BYOL/DINO) → 显式正则化([[vicreg|VICReg]] → [[sigreg|SIGReg]])逐步演进。
+
+## 从JEPA到世界模型
+
+当 $a_t$ 扩展为动作条件时，JEPA 从表征学习工具变为世界模型：
+> 给定当前状态表征 + 候选动作 → 预测未来状态表征
+
+智能体可在想象的行动空间中迭代搜索最优动作序列——这正是 [[objective-driven-ai|目标驱动AI]] 的核心。
+
+## 代表性工作
+
+- **I-JEPA (2023)**：从图像学习语义表征
+- **V-JEPA (2024)**：从视频学习视觉表征
+- **[[leworldmodel|LeWorldModel]] (2026)**：首个端到端训练的 JEPA 世界模型，15M 参数从原始像素稳定训练
+
+## 来源
+
+- [[lecun-llm-boundary-future|LeCun 论 LLM 的边界与未来架构]]
+- LeCun et al., *A Path Towards Autonomous Machine Intelligence*
+- LeWorldModel: https://arxiv.org/abs/2603.19312