2.3 KiB
2.3 KiB
title, created, updated, type, tags, sources, authors, platform
| title | created | updated | type | tags | sources | authors | platform | ||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| 真机强化学习的安全探索均衡 — 机器之心报道 | 2026-06-29 | 2026-06-29 | article |
|
|
|
数据派THU |
真机强化学习的安全探索均衡
一句话
对清华大学李升波教授团队 SEE 论文的中文科普解读：首次揭示 safe-exploration 的理论收敛边界——可行域与不确定模型的equilibrium-safe-exploration，并给出单调收敛的严格证明。
核心故事
问题：真机 RL 没有"重来"按钮
real-world-rl 与仿真训练的本质区别：物理世界不允许无限试错。无限制探索 → 机器损坏 / 人员伤亡。
主流思路：步步为营
将探索限制在 feasible-zone 内 → 收集数据 → 降低uncertain-model → 扩展可行区域 → 循环。
悬而未决的问题
这个"滚雪球"过程会不会收敛？收敛到哪里？理论上能探索多大？
- Andreas Krause (ETH): Lyapunov 函数 + 高斯过程
- Claire Tomlin (Berkeley): HJ 可达性分析
但收敛性始终未解决。
清华的答案：安全探索均衡
safe-equilibrium-exploration 两步交替：
- 求区域：固定模型，求解 risky-bellman-equation，得最大可行域
- 求模型：固定区域，将最小不确定模型问题转化为 clique-decision-problem
理论保证：模型误差单调减小，可行域单调扩展，必然收敛到均衡。
实验结果
- 双积分器、倒立摆、独轮车三类任务
- 零约束违反
- 独轮车仅 10 次迭代即达 95.78% 区域召回率