43 lines
2.4 KiB
Markdown
43 lines
2.4 KiB
Markdown
---
|
||
title: "Safe Equilibrium Exploration — Review"
|
||
created: 2026-06-29
|
||
type: review
|
||
paper: safe-equilibrium-exploration
|
||
---
|
||
|
||
# 📌 基本信息
|
||
|
||
- **论文**：On the Equilibrium between Feasible Zone and Uncertain Model in Safe Exploration
|
||
- **作者**：Yujie Yang, Zhilong Zheng, Shengbo Eben Li (清华大学车辆与运载学院)
|
||
- **领域**：安全强化学习 / Safe RL（cs.LG）
|
||
- **发表**：IEEE TPAMI 48(7), 8344-8360 (2026)
|
||
- **arXiv**：2602.00636v2
|
||
- **添加时间**：2026-06-29
|
||
|
||
# 🎯 核心概念
|
||
|
||
1. **安全探索均衡** — 可行域与不确定模型之间的不动点：更大可行域 ⇄ 更精确模型，互为因果
|
||
2. **SEE 算法** — 交替进行可行域扩展和模型精化，理论保证单调收敛
|
||
3. **可行域** — 状态-动作空间的安全子集，传统方法依赖人工设计，SEE 自动发现
|
||
4. **不确定模型** — 带不确定性量化的环境模型，精度和可行域大小形成循环依赖
|
||
5. **Safety Filter** — 动作监控与干预模块，用 CBF/QP 实现安全约束
|
||
|
||
# 🔗 概念网络
|
||
|
||
- **核心连接**：[[equilibrium-safe-exploration|安全探索均衡]] ↔ [[feasible-zone|可行域]] ↔ [[uncertain-model|不确定模型]] ↔ [[safe-equilibrium-exploration|SEE 算法]]
|
||
- **已有网络对接**：接入 [[reinforcement-learning|强化学习]] 概念树，首次建立 safe RL 分支
|
||
- **方法链**：[[safety-filter|Safety Filter]] ↔ [[control-barrier-function|CBF]]（背景方法）↔ SEE（新方法）
|
||
- **新增连接**：6 概念 + 1 论文，零断链
|
||
|
||
# 📚 Wiki 集成
|
||
|
||
- 新增页面：8 个（1 论文 `safe-equilibrium-exploration` + 6 概念 + 1 Review）
|
||
- 新增概念：safe-exploration、feasible-zone、equilibrium-safe-exploration、safe-equilibrium-exploration (SEE)、safety-filter、control-barrier-function、uncertain-model
|
||
- 链接完整性：100% 零断链
|
||
- 总规模：1331 → 1339 页
|
||
|
||
# 💡 关键洞察
|
||
|
||
1. **视角转换的价值**：从"最大化可行域"到"寻找可行域-模型均衡"——这不仅是算法改进，而是对安全探索问题本质的重新定义。均衡视角揭示了为什么以往方法无法突破：它们忽略了可行域与模型精度的耦合
|
||
2. **优雅的理论结构**：单调精化 + 单调扩展 + 收敛到不动点的证明，使 SEE 不仅是实用算法，更是一个概念上完整闭合的理论框架。这对 safe RL 领域的后续研究有范式意义
|