---
title: "VLA-JEPA: Enhancing VLA with Latent World Model"
author: "Jingwen Sun*, Wenyao Zhang*, Zekun Qi, Shaojie Ren, Zezhi Liu, Hanxin Zhu, Guangzhong Sun, Xin Jin†, Zhibo Chen†"
source: "arXiv 2602.10098v2"
date: "2026-02-10 (updated 2026-02-14)"
type: paper
venue: "arXiv (cs.RO, cs.CV)"
tags: ["vla", "jepa", "world-model", "robot-learning", "pretraining", "latent-action"]
code: "https://github.com/ginwind/VLA-JEPA/"
---

# VLA-JEPA: Enhancing Vision-Language-Action Model with Latent World Model

> Sun*, Zhang*, Qi, Ren, Liu, Zhu, Sun, Jin†, Chen†
> USTC / SJTU / Tsinghua / EIT / UCAS / Nankai | arXiv:2602.10098v2 | cs.RO / cs.CV

## 核心问题

当前 VLA 的 latent-action 预训练目标学错了东西：它们锚定在像素变化而非动作相关的状态转移上，导致四种失败模式：
1. 像素级目标偏向外观而非动作语义
2. 真实视频中相机运动和背景变化主导信号
3. 信息泄漏使 latent action 坍缩为捷径（编码未来而非转移动态）
4. 多阶段训练流水线复杂且脆弱

## 核心方案：Leakage-free State Prediction

VLA-JEPA 将 JEPA 范式引入 VLA 预训练：
- Target encoder 从未来帧产生 latent target（仅作监督，永不作为输入）
- Student 仅见当前观察
- 在 latent space（非 pixel space）预测——天然鲁棒于相机运动和背景变化
- 简单两阶段：JEPA 预训练 → Action-head 微调

架构：Qwen3-VL-2B (VLM backbone) + V-JEPA2 encoder (world model) + Flow-Matching action head

## 关键结果

- **LIBERO**：SOTA 平均成功率，4 个 task suite 中 2 个最优
- **SimplerEnv**：Google Robot 最高平均成功率，WidowX 第二
- **LIBERO-Plus**：7 个扰动维度下的强劲鲁棒性
- **数据效率**：使用远少于对比方法的训练数据达到更优性能
- **Real-world Franka**：真实机器人验证成功