---
title: "Leakage-Free State Prediction"
created: 2026-06-24
updated: 2026-06-24
type: concept
tags: ["jepa", "pretraining", "world-model", "information-leakage"]
sources:
  - "[[vla-jepa-2026]]"
---

# Leakage-Free State Prediction

Leakage-Free State Prediction 是 VLA-JEPA 的核心设计原则：未来帧仅作为监督目标，永不作为模型输入。这是对当前 latent-action 预训练方法中信息泄漏问题的直接修复。

## 问题：信息泄漏

传统 latent-action 方法将当前观察和未来观察同时馈入同一模块，或允许未来上下文影响学习的 latent action。这创造了捷径：latent action 可以简单地编码未来本身，而非捕获状态转移。

## VLA-JEPA 的方案

```
传统方法（有泄漏）：                 VLA-JEPA（无泄漏）：
  I_t + I_{t+1} → latent action      I_t → latent action
  （未来可影响编码）                   I_{t+1} → target（stop-grad）
                                     latent action → predict target
```

Target encoder 被冻结（stop-gradient），仅用于产生监督信号。Student 无法"看到"未来。

## 效果

- Latent action 被迫编码真正的动态信息而非捷径
- 对相机运动和背景变化天然鲁棒
- 学到的表示更具语义抽象性

## 参考
- [[vla-jepa-2026]]
- [[jepa]]
- [[information-leakage-vla]]
- [[latent-action-pretraining]]