41 lines
1.4 KiB
Markdown
41 lines
1.4 KiB
Markdown
---
|
||
title: "Leakage-Free State Prediction"
|
||
created: 2026-06-24
|
||
updated: 2026-06-24
|
||
type: concept
|
||
tags: ["jepa", "pretraining", "world-model", "information-leakage"]
|
||
sources:
|
||
- "[[vla-jepa-2026]]"
|
||
---
|
||
|
||
# Leakage-Free State Prediction
|
||
|
||
Leakage-Free State Prediction 是 VLA-JEPA 的核心设计原则：未来帧仅作为监督目标，永不作为模型输入。这是对当前 latent-action 预训练方法中信息泄漏问题的直接修复。
|
||
|
||
## 问题：信息泄漏
|
||
|
||
传统 latent-action 方法将当前观察和未来观察同时馈入同一模块，或允许未来上下文影响学习的 latent action。这创造了捷径：latent action 可以简单地编码未来本身，而非捕获状态转移。
|
||
|
||
## VLA-JEPA 的方案
|
||
|
||
```
|
||
传统方法（有泄漏）： VLA-JEPA（无泄漏）：
|
||
I_t + I_{t+1} → latent action I_t → latent action
|
||
（未来可影响编码） I_{t+1} → target（stop-grad）
|
||
latent action → predict target
|
||
```
|
||
|
||
Target encoder 被冻结（stop-gradient），仅用于产生监督信号。Student 无法"看到"未来。
|
||
|
||
## 效果
|
||
|
||
- Latent action 被迫编码真正的动态信息而非捷径
|
||
- 对相机运动和背景变化天然鲁棒
|
||
- 学到的表示更具语义抽象性
|
||
|
||
## 参考
|
||
- [[vla-jepa-2026]]
|
||
- [[jepa]]
|
||
- [[information-leakage-vla]]
|
||
- [[latent-action-pretraining]]
|