62 lines
2.5 KiB
Markdown
62 lines
2.5 KiB
Markdown
---
|
||
title: "Safe Equilibrium Exploration: On the Equilibrium between Feasible Zone and Uncertain Model in Safe Exploration"
|
||
created: 2026-06-29
|
||
updated: 2026-06-29
|
||
type: paper
|
||
tags: [safe-reinforcement-learning, safe-exploration, feasible-zone, equilibrium, control]
|
||
sources: [https://arxiv.org/abs/2602.00636]
|
||
authors: ["Yujie Yang (Tsinghua)", "Zhilong Zheng (Tsinghua)", "Shengbo Eben Li (Tsinghua)"]
|
||
venue: IEEE TPAMI 48(7), 8344-8360 (2026)
|
||
doi: 10.1109/TPAMI.2026.3669907
|
||
year: 2026
|
||
---
|
||
|
||
# Safe Equilibrium Exploration (SEE)
|
||
|
||
> arXiv: [2602.00636v2](https://arxiv.org/abs/2602.00636), cs.LG, IEEE TPAMI 2026
|
||
|
||
## 一句话
|
||
|
||
首次揭示 [[safe-exploration|安全探索]] 的**目标不是最大化可行域，而是找到可行域与不确定模型之间的均衡**——两者相互依存：更大可行域 → 更精确模型 → 进而探索更大可行域。
|
||
|
||
## 核心贡献
|
||
|
||
### 均衡视角
|
||
|
||
传统 safe RL 方法将安全探索视为"在满足约束的前提下最大化可行域"。本文证明：由于模型不确定性与探索区域相互耦合，真正的目标是找到两者的 [[equilibrium-safe-exploration|均衡点]]。
|
||
|
||
### SEE 算法
|
||
|
||
[[safe-equilibrium-exploration|SEE (Safe Equilibrium Exploration)]] 交替执行：
|
||
1. 在当前 [[uncertain-model|不确定模型]] 下找到最大 [[feasible-zone|可行域]]
|
||
2. 在可行域内收集数据，精化模型
|
||
3. 重复直至收敛到均衡
|
||
|
||
### 理论保证
|
||
|
||
- 不确定模型**单调精化**
|
||
- 可行域**单调扩展**
|
||
- 两者均收敛到安全探索均衡
|
||
|
||
## 技术要点
|
||
|
||
- **图建模**：将不确定模型表述为图，可行域为图上满足约束的子图
|
||
- **与现有方法的关系**：[[safety-filter|Safety Filter]] 类方法依赖人类设计的约束定义可行域（CBF, Safety Index），而 SEE 自动发现最大可行域
|
||
- **训练模式**：针对 SOTI（Simultaneous Online Training and Implementation）模式，高保真 sim 不可用时的真实场景
|
||
|
||
## 实验
|
||
|
||
经典控制任务上，SEE 在**零约束违反**的前提下成功扩展可行域，并在少量迭代内达到安全探索均衡。
|
||
|
||
## 相关概念
|
||
|
||
- [[safe-exploration|安全探索]]
|
||
- [[feasible-zone|可行域]]
|
||
- [[equilibrium-safe-exploration|安全探索均衡]]
|
||
- [[safe-equilibrium-exploration|SEE 算法]]
|
||
- [[safety-filter|Safety Filter]]
|
||
- [[control-barrier-function|控制屏障函数]]
|
||
- [[uncertain-model|不确定模型]]
|
||
- [[reinforcement-learning|强化学习]]
|
||
- [[real-world-safe-exploration-see-2026|机器之心科普报道]]
|