---
title: "World Models in RL"
created: 2026-06-10
updated: 2026-06-10
type: concept
tags: ["model-based-rl", "deep-rl", "world-models", "planning"]
sources: ["[[predictive-representations-scalable-mtrl]]"]
---

# World Models in RL

**World Models** 是 model-based RL 中学习环境动力学模型的范式：agent 在潜空间中学习转移函数，并利用该模型进行规划或模拟。

## 代表性方法

| 方法 | 核心 |
|------|------|
| Dreamer (Hafner et al.) | RSSM + 潜空间想象 |
| TD-MPC2 | 时差学习 + MPC 规划 |
| Newt (Hansen et al., 2026) | 大规模多任务 world model |

## 优势

1. **密集监督**：预测未来状态提供丰富的学习信号
2. **样本效率**：潜空间 rollout 减少环境交互需求
3. **规划能力**：可以进行 lookahead 决策

## 代价

1. **计算开销**：潜空间 rollout 和规划增加 wall-clock 时间
2. **模型误差累积**：rollout 越长，预测越不准确
3. **超参数敏感性**：规划 horizon、rollout 次数等
4. **实现复杂度**：需要维护 world model + policy + value

## 核心争议

[[predictive-representations-scalable-mtrl|Obando-Ceron et al. (2026)]] 提出：world model 的好处**主要来自预测表征学习**，而非规划本身。MR.Q（无规划，仅预测表征）在效率和性能上均超越 Newt（world model + 规划）。

这暗示当前的 model-based RL 方法可能是"杀鸡用牛刀"——规划是不必要的计算负担。

## 参考
- [[predictive-representations-scalable-mtrl|Scalable Multitask Deep RL]]
- [[model-free-rl|Model-Free RL]]
- [[predictive-representation-learning|Predictive Representation Learning]]