41 lines
1.4 KiB
Markdown
41 lines
1.4 KiB
Markdown
---
|
||
title: "Real-World RL（真机强化学习）"
|
||
created: 2026-06-29
|
||
updated: 2026-06-29
|
||
type: concept
|
||
tags: [reinforcement-learning, robotics, safety, embodied-intelligence]
|
||
sources: [[real-world-safe-exploration-see-2026]]
|
||
confidence: high
|
||
---
|
||
|
||
# Real-World RL（真机强化学习）
|
||
|
||
> [[reinforcement-learning|强化学习]] 在**物理世界真实环境**中的直接训练范式。与仿真训练的本质区别：**没有"重来"按钮**，每次交互都可能有真实代价。
|
||
|
||
## 与仿真训练的对立
|
||
|
||
| 维度 | 仿真训练 | 真机 RL |
|
||
|------|---------|---------|
|
||
| 试错成本 | 近乎零 | 机器损坏 / 人员伤亡 |
|
||
| 数据效率 | 可无限采样 | 每次交互昂贵 |
|
||
| 安全机制 | 可选 | **绝对必需** |
|
||
| 动力学精度 | 受仿真器 fidelity 限制 | 天然精确 |
|
||
|
||
## 核心挑战
|
||
|
||
[[safe-exploration|安全探索]] 是真机 RL 的首要难题——不仅最终策略要安全，**整个训练过程的每一刻都不能违反安全约束**。
|
||
|
||
## 两种训练模式
|
||
|
||
- **OTOI**（Offline Training, Online Implementation）：仿真训练 → 线上部署，无需安全探索
|
||
- **SOTI**（Simultaneous Online Training and Implementation）：边训练边部署，**必须安全探索**
|
||
|
||
大多数真实机器人/自动驾驶场景只能走 SOTI 路线。
|
||
|
||
## 相关概念
|
||
|
||
- [[safe-exploration|安全探索]]
|
||
- [[safe-equilibrium-exploration|SEE 论文]]
|
||
- [[feasible-zone|可行域]]
|
||
- [[reinforcement-learning|强化学习]]
|