20260625:很多新内容

concepts/leakage-free-state-prediction.md

@@ -0,0 +1,40 @@
+---
+title: "Leakage-Free State Prediction"
+created: 2026-06-24
+updated: 2026-06-24
+type: concept
+tags: ["jepa", "pretraining", "world-model", "information-leakage"]
+sources:
+  - "[[vla-jepa-2026]]"
+---
+
+# Leakage-Free State Prediction
+
+Leakage-Free State Prediction 是 VLA-JEPA 的核心设计原则：未来帧仅作为监督目标，永不作为模型输入。这是对当前 latent-action 预训练方法中信息泄漏问题的直接修复。
+
+## 问题：信息泄漏
+
+传统 latent-action 方法将当前观察和未来观察同时馈入同一模块，或允许未来上下文影响学习的 latent action。这创造了捷径：latent action 可以简单地编码未来本身，而非捕获状态转移。
+
+## VLA-JEPA 的方案
+
+```
+传统方法（有泄漏）：                 VLA-JEPA（无泄漏）：
+  I_t + I_{t+1} → latent action      I_t → latent action
+  （未来可影响编码）                   I_{t+1} → target（stop-grad）
+                                     latent action → predict target
+```
+
+Target encoder 被冻结（stop-gradient），仅用于产生监督信号。Student 无法"看到"未来。
+
+## 效果
+
+- Latent action 被迫编码真正的动态信息而非捷径
+- 对相机运动和背景变化天然鲁棒
+- 学到的表示更具语义抽象性
+
+## 参考
+- [[vla-jepa-2026]]
+- [[jepa]]
+- [[information-leakage-vla]]
+- [[latent-action-pretraining]]