20260706:新增一些文章

concepts/real-world-rl.md

@@ -0,0 +1,40 @@
+---
+title: "Real-World RL（真机强化学习）"
+created: 2026-06-29
+updated: 2026-06-29
+type: concept
+tags: [reinforcement-learning, robotics, safety, embodied-intelligence]
+sources: [[real-world-safe-exploration-see-2026]]
+confidence: high
+---
+
+# Real-World RL（真机强化学习）
+
+> [[reinforcement-learning|强化学习]] 在**物理世界真实环境**中的直接训练范式。与仿真训练的本质区别：**没有"重来"按钮**，每次交互都可能有真实代价。
+
+## 与仿真训练的对立
+
+| 维度 | 仿真训练 | 真机 RL |
+|------|---------|---------|
+| 试错成本 | 近乎零 | 机器损坏 / 人员伤亡 |
+| 数据效率 | 可无限采样 | 每次交互昂贵 |
+| 安全机制 | 可选 | **绝对必需** |
+| 动力学精度 | 受仿真器 fidelity 限制 | 天然精确 |
+
+## 核心挑战
+
+[[safe-exploration|安全探索]] 是真机 RL 的首要难题——不仅最终策略要安全，**整个训练过程的每一刻都不能违反安全约束**。
+
+## 两种训练模式
+
+- **OTOI**（Offline Training, Online Implementation）：仿真训练 → 线上部署，无需安全探索
+- **SOTI**（Simultaneous Online Training and Implementation）：边训练边部署，**必须安全探索**
+
+大多数真实机器人/自动驾驶场景只能走 SOTI 路线。
+
+## 相关概念
+
+- [[safe-exploration|安全探索]]
+- [[safe-equilibrium-exploration|SEE 论文]]
+- [[feasible-zone|可行域]]
+- [[reinforcement-learning|强化学习]]