37 lines
1.3 KiB
Markdown
37 lines
1.3 KiB
Markdown
---
|
||
title: "Information Leakage in VLA"
|
||
created: 2026-06-24
|
||
updated: 2026-06-24
|
||
type: concept
|
||
tags: ["vla", "pretraining", "information-leakage", "shortcut-learning"]
|
||
sources:
|
||
- "[[vla-jepa-2026]]"
|
||
---
|
||
|
||
# Information Leakage in VLA Pretraining
|
||
|
||
Information Leakage 是 VLA latent-action 预训练中的关键失败模式：当训练允许未来信息进入 latent action 编码器时，模型学到的是"编码未来"而非"捕获转移动态"的捷径。
|
||
|
||
## 发生机制
|
||
|
||
传统 latent-action 方法将当前和未来观察同时馈入同一模块：
|
||
- I_t + I_{t+1} → latent action → 重建/预测目标
|
||
- latent action 可以直接编码 I_{t+1} 的信息
|
||
- 学到的"动作"语义空洞：能匹配训练损失，但不包含控制所需的有意义转移因子
|
||
|
||
## VLA-JEPA 的消除
|
||
|
||
通过严格的 architecture constraint：
|
||
- Target encoder 从未来帧产生 latent target → stop-gradient
|
||
- Student 仅见当前 → 未来不可访问
|
||
- Student 必须在"看不见未来"的条件下预测 target
|
||
|
||
## 与其他泄漏问题的对比
|
||
|
||
不同于 NLP 中的 token 泄漏或 CV 中的 augmentation 泄漏，VLA 的信息泄漏特指**时序未来信息**污染了应编码动态的表示。
|
||
|
||
## 参考
|
||
- [[vla-jepa-2026]]
|
||
- [[latent-action-pretraining]]
|
||
- [[leakage-free-state-prediction]]
|