20260706:新增一些文章

articles/real-world-safe-exploration-see-2026.md

@@ -0,0 +1,61 @@
+---
+title: "真机强化学习的安全探索均衡 — 机器之心报道"
+created: 2026-06-29
+updated: 2026-06-29
+type: article
+tags: [safe-reinforcement-learning, safe-exploration, real-world-rl, embodied-intelligence]
+sources: [https://mp.weixin.qq.com/s/nE9gq1bStIg1qhWpIRvQHQ]
+authors: ["机器之心 / 数据派THU"]
+platform: 数据派THU
+---
+
+# 真机强化学习的安全探索均衡
+
+> 来源：[机器之心 / 数据派THU](https://mp.weixin.qq.com/s/nE9gq1bStIg1qhWpIRvQHQ)，论文原文：[[safe-equilibrium-exploration|IEEE TPAMI 2026]]
+
+## 一句话
+
+对清华大学李升波教授团队 SEE 论文的中文科普解读：首次揭示 [[safe-exploration|安全探索]] 的理论收敛边界——可行域与不确定模型的[[equilibrium-safe-exploration|均衡]]，并给出单调收敛的严格证明。
+
+## 核心故事
+
+### 问题：真机 RL 没有"重来"按钮
+
+[[real-world-rl|真机强化学习]] 与仿真训练的本质区别：物理世界不允许无限试错。无限制探索 → 机器损坏 / 人员伤亡。
+
+### 主流思路：步步为营
+
+将探索限制在 [[feasible-zone|可行区域]] 内 → 收集数据 → 降低[[uncertain-model|模型不确定性]] → 扩展可行区域 → 循环。
+
+### 悬而未决的问题
+
+这个"滚雪球"过程**会不会收敛？收敛到哪里？理论上能探索多大？**
+
+- Andreas Krause (ETH): Lyapunov 函数 + 高斯过程
+- Claire Tomlin (Berkeley): HJ 可达性分析
+
+但收敛性始终未解决。
+
+### 清华的答案：安全探索均衡
+
+[[safe-equilibrium-exploration|SEE 算法]] 两步交替：
+
+1. **求区域**：固定模型，求解 [[risky-bellman-equation|风险贝尔曼方程]]，得最大可行域
+2. **求模型**：固定区域，将最小不确定模型问题转化为 [[clique-decision-problem|团判定问题]]
+
+理论保证：模型误差**单调减小**，可行域**单调扩展**，必然收敛到均衡。
+
+### 实验结果
+
+- 双积分器、倒立摆、独轮车三类任务
+- **零约束违反**
+- 独轮车仅 10 次迭代即达 95.78% 区域召回率
+
+## 相关概念
+
+- [[safe-equilibrium-exploration|SEE 论文]]
+- [[safe-exploration|安全探索]]
+- [[feasible-zone|可行域]]
+- [[equilibrium-safe-exploration|安全探索均衡]]
+- [[real-world-rl|真机强化学习]]
+- [[risky-bellman-equation|风险贝尔曼方程]]