1.3 KiB
1.3 KiB
title, created, updated, type, tags, sources
| title | created | updated | type | tags | sources | |||||
|---|---|---|---|---|---|---|---|---|---|---|
| Information Leakage in VLA | 2026-06-24 | 2026-06-24 | concept |
|
|
Information Leakage in VLA Pretraining
Information Leakage 是 VLA latent-action 预训练中的关键失败模式：当训练允许未来信息进入 latent action 编码器时，模型学到的是"编码未来"而非"捕获转移动态"的捷径。
发生机制
传统 latent-action 方法将当前和未来观察同时馈入同一模块：
- I_t + I_{t+1} → latent action → 重建/预测目标
- latent action 可以直接编码 I_{t+1} 的信息
- 学到的"动作"语义空洞：能匹配训练损失，但不包含控制所需的有意义转移因子
VLA-JEPA 的消除
通过严格的 architecture constraint：
- Target encoder 从未来帧产生 latent target → stop-gradient
- Student 仅见当前 → 未来不可访问
- Student 必须在"看不见未来"的条件下预测 target
与其他泄漏问题的对比
不同于 NLP 中的 token 泄漏或 CV 中的 augmentation 泄漏，VLA 的信息泄漏特指时序未来信息污染了应编码动态的表示。