1.4 KiB
1.4 KiB
title, created, updated, type, tags, sources, confidence
| title | created | updated | type | tags | sources | confidence | ||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|
| Real-World RL（真机强化学习） | 2026-06-29 | 2026-06-29 | concept |
|
|
high |
Real-World RL（真机强化学习）
reinforcement-learning 在物理世界真实环境中的直接训练范式。与仿真训练的本质区别：没有"重来"按钮，每次交互都可能有真实代价。
与仿真训练的对立
| 维度 | 仿真训练 | 真机 RL |
|---|---|---|
| 试错成本 | 近乎零 | 机器损坏 / 人员伤亡 |
| 数据效率 | 可无限采样 | 每次交互昂贵 |
| 安全机制 | 可选 | 绝对必需 |
| 动力学精度 | 受仿真器 fidelity 限制 | 天然精确 |
核心挑战
safe-exploration 是真机 RL 的首要难题——不仅最终策略要安全，整个训练过程的每一刻都不能违反安全约束。
两种训练模式
- OTOI（Offline Training, Online Implementation）：仿真训练 → 线上部署，无需安全探索
- SOTI（Simultaneous Online Training and Implementation）：边训练边部署，必须安全探索
大多数真实机器人/自动驾驶场景只能走 SOTI 路线。