---
title: "Real-World RL（真机强化学习）"
created: 2026-06-29
updated: 2026-06-29
type: concept
tags: [reinforcement-learning, robotics, safety, embodied-intelligence]
sources: [[real-world-safe-exploration-see-2026]]
confidence: high
---

# Real-World RL（真机强化学习）

> [[reinforcement-learning|强化学习]] 在**物理世界真实环境**中的直接训练范式。与仿真训练的本质区别：**没有"重来"按钮**，每次交互都可能有真实代价。

## 与仿真训练的对立

| 维度 | 仿真训练 | 真机 RL |
|------|---------|---------|
| 试错成本 | 近乎零 | 机器损坏 / 人员伤亡 |
| 数据效率 | 可无限采样 | 每次交互昂贵 |
| 安全机制 | 可选 | **绝对必需** |
| 动力学精度 | 受仿真器 fidelity 限制 | 天然精确 |

## 核心挑战

[[safe-exploration|安全探索]] 是真机 RL 的首要难题——不仅最终策略要安全，**整个训练过程的每一刻都不能违反安全约束**。

## 两种训练模式

- **OTOI**（Offline Training, Online Implementation）：仿真训练 → 线上部署，无需安全探索
- **SOTI**（Simultaneous Online Training and Implementation）：边训练边部署，**必须安全探索**

大多数真实机器人/自动驾驶场景只能走 SOTI 路线。

## 相关概念

- [[safe-exploration|安全探索]]
- [[safe-equilibrium-exploration|SEE 论文]]
- [[feasible-zone|可行域]]
- [[reinforcement-learning|强化学习]]