---
title: "VLA-JEPA (Sun et al., 2026)"
created: 2026-06-24
updated: 2026-06-24
type: paper
tags: ["vla", "jepa", "world-model", "robot-learning", "pretraining", "latent-action"]
sources:
  - "https://arxiv.org/abs/2602.10098"
code: "https://github.com/ginwind/VLA-JEPA/"
---

# VLA-JEPA

> Sun*, Zhang*, Qi, Ren, Liu, Zhu, Sun, Jin†, Chen† | arXiv:2602.10098 | cs.RO / cs.CV | Feb 2026

## 问题

[[vla-vision-language-action|VLA]] 的 [[latent-action-pretraining|latent-action 预训练]] 从互联网视频学习机器人策略是一个有吸引力的方向。但当前的 latent-action 目标存在系统性缺陷：锚定在**像素变化**而非**动作相关的状态转移**上。

四种失败模式：

| 模式 | 描述 |
|------|------|
| [[appearance-bias-vla|外观偏见]] | 像素级目标偏向纹理/光照/背景，而非可控自由度 |
| 噪声运动放大 | 相机运动和无关背景变化主导信号 |
| [[information-leakage-vla|信息泄漏]] | 未来帧作为输入 → latent action 坍缩为编码未来而非转移动态 |
| 多阶段复杂性 | 三阶段+流水线的工程脆弱性 |

## 核心方案：[[leakage-free-state-prediction|Leakage-free State Prediction]]

VLA-JEPA 将 [[jepa|JEPA]] 范式引入 VLA：**在 latent space 预测而非 pixel space**。

### 架构

- **VLM Backbone**：Qwen3-VL-2B，输出 latent action tokens
- **[[latent-world-model|Latent World Model]]**：V-JEPA2 encoder（frozen target）+ autoregressive Transformer（predictor）
- **Action Head**：[[flow-matching|Conditional Flow-Matching]]

### 关键设计

```
Target Encoder (frozen, no grad)     Student (VLM backbone)
      ↓                                    ↓
  Future frames → latent targets       Current observation only
      ↓                                    ↓
              JEPA alignment loss
         (predict in latent space)
```

**未来帧仅作监督目标，永不作为输入**——消除信息泄漏捷径。

### 训练

- 预训练：Something-Something-v2（220K 人类视频）+ Droid（76K 机器人轨迹）
- 微调：LIBERO（~2K 专家演示）/ Fractal + BridgeV2 / 100 真实演示
- 8×A100，Qwen3-VL-2B backbone

## 关键结果

### LIBERO

| Method | Spatial | Object | Goal | Long | Avg |
|--------|---------|--------|------|------|-----|
| VLA-JEPA | 96.2 | 99.6 | 99.6 | 97.2 | **98.2** |
| π0.5 | 97.5 | 91.5 | 74.5 | 90.1 | 88.9 |
| OpenVLA-OFT | 97.6 | 97.9 | 94.5 | 96.8 | 96.7 |

### SimplerEnv
Google Robot 平均最高；WidowX 平均第二。使用 villa-X 不到 1% 的训练数据。

### Robustness (LIBERO-Plus)
在 7 个扰动维度（光照/纹理/颜色/相机/…）下保持强劲性能。

## 核心洞察

1. **JEPA 的 embodied 应用** — 将 JEPA 从视频表示学习扩展到机器人动作策略，证明了 latent-space prediction 对 embodied AI 的通用价值
2. **信息泄漏是根本问题** — 当前 latent-action 方法的失败根源不是模型容量不足，而是架构缺陷（未来信息泄漏）。修复架构比堆数据更有效
3. **数据效率** — 用更少数据超越用更多数据的对比方法，证明学对目标比学更多数据更重要

## 来源
[原始存档](raw/papers/vla-jepa-2026.md) | [arXiv](https://arxiv.org/abs/2602.10098) | [GitHub](https://github.com/ginwind/VLA-JEPA/)