2.5 KiB
2.5 KiB
title, created, updated, type, tags, sources, authors, venue, doi, year
| title | created | updated | type | tags | sources | authors | venue | doi | year | |||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| Safe Equilibrium Exploration: On the Equilibrium between Feasible Zone and Uncertain Model in Safe Exploration | 2026-06-29 | 2026-06-29 | paper |
|
|
|
IEEE TPAMI 48(7), 8344-8360 (2026) | 10.1109/TPAMI.2026.3669907 | 2026 |
Safe Equilibrium Exploration (SEE)
arXiv: 2602.00636v2, cs.LG, IEEE TPAMI 2026
一句话
首次揭示 safe-exploration 的目标不是最大化可行域，而是找到可行域与不确定模型之间的均衡——两者相互依存：更大可行域 → 更精确模型 → 进而探索更大可行域。
核心贡献
均衡视角
传统 safe RL 方法将安全探索视为"在满足约束的前提下最大化可行域"。本文证明：由于模型不确定性与探索区域相互耦合，真正的目标是找到两者的 equilibrium-safe-exploration。
SEE 算法
safe-equilibrium-exploration 交替执行：
- 在当前 uncertain-model 下找到最大 feasible-zone
- 在可行域内收集数据，精化模型
- 重复直至收敛到均衡
理论保证
- 不确定模型单调精化
- 可行域单调扩展
- 两者均收敛到安全探索均衡
技术要点
- 图建模：将不确定模型表述为图，可行域为图上满足约束的子图
- 与现有方法的关系：safety-filter 类方法依赖人类设计的约束定义可行域（CBF, Safety Index），而 SEE 自动发现最大可行域
- 训练模式：针对 SOTI（Simultaneous Online Training and Implementation）模式，高保真 sim 不可用时的真实场景
实验
经典控制任务上，SEE 在零约束违反的前提下成功扩展可行域，并在少量迭代内达到安全探索均衡。