1.2 KiB
1.2 KiB
title, source, author, date, platform
| title | source | author | date | platform |
|---|---|---|---|---|
| 真机RL安全探索均衡 (Raw) | https://mp.weixin.qq.com/s/nE9gq1bStIg1qhWpIRvQHQ | 机器之心 / 数据派THU | 2026-06-29 |
真机强化学习的安全探索均衡
背景
具身智能爆发式演进，RL 是核心驱动算法。真机 RL 是终极考验——物理世界不允许无限试错。
安全探索基本思想
将探索严格限制在「可行区域」内 → 收集数据 → 降低模型误差 → 扩展可行区域 → 循环。
前人工作
- Andreas Krause (ETH): Lyapunov 函数 + 高斯过程
- Claire Tomlin (Berkeley): HJ 可达性分析
- 未解决问题：收敛性、收敛边界
清华 SEE 论文
首次证明安全探索必然收敛到「均衡」——可行域与不确定模型的不动点。
SEE 算法：
- 固定模型 → 求解 Risky Bellman Equation → 最大可行域
- 固定区域 → Clique Decision Problem → 最小不确定模型
理论性质：单调 + 收敛。
实验
双积分器、倒立摆、独轮车。零约束违反，10 次迭代内收敛。
意义
厘清"安全探索到底在探索什么"，为真机 RL 建立数学安全底座。