60 lines
1.7 KiB
Markdown
60 lines
1.7 KiB
Markdown
---
|
||
title: "SEE: Safe Equilibrium Exploration"
|
||
created: 2026-06-29
|
||
updated: 2026-06-29
|
||
type: concept
|
||
tags: [safe-reinforcement-learning, algorithm, equilibrium, exploration]
|
||
sources: [[safe-equilibrium-exploration]]
|
||
confidence: high
|
||
---
|
||
|
||
# SEE (Safe Equilibrium Exploration)
|
||
|
||
> Yang et al. (2026) 提出的首个面向 [[equilibrium-safe-exploration|安全探索均衡]] 的算法框架。交替执行可行域扩展和模型精化，收敛到均衡点。
|
||
|
||
## 算法流程
|
||
|
||
```
|
||
初始化: Z₀ = 安全初始区域, M₀ = 初始模型
|
||
|
||
循环直到收敛:
|
||
1. Zone Expansion: 在 M_k 下计算最大可行域 Z_{k+1}
|
||
2. Model Refinement: 在 Z_{k+1} 内收集数据，更新 M_{k+1}
|
||
```
|
||
|
||
## 关键技术
|
||
|
||
### 图建模
|
||
|
||
将 [[uncertain-model|不确定模型]] 表述为**图**：
|
||
- 节点 = 状态-动作对
|
||
- 边 = 可能的转移（带不确定性范围）
|
||
- 可行域 = 图上满足安全约束的连通子图
|
||
|
||
### 单调性保证
|
||
|
||
- Zone Expansion 保证 Z_{k+1} ⊇ Z_k（单调扩展）
|
||
- Model Refinement 保证 M_{k+1} 的不确定性 ≤ M_k（单调精化）
|
||
|
||
## 实验结果
|
||
|
||
在经典控制任务上：
|
||
- **零约束违反**：训练全程无安全违规
|
||
- **快速收敛**：少量迭代（< 10 轮）即达到均衡
|
||
- **显著扩展**：可行域相比初始安全区域大幅增长
|
||
|
||
## 与 Safety Filter 的对比
|
||
|
||
| 维度 | [[safety-filter|Safety Filter]] | SEE |
|
||
|------|------------|-----|
|
||
| 约束来源 | 人类设计 | 自动发现 |
|
||
| 可行域 | 固定、保守 | 动态扩展、最优 |
|
||
| 模型假设 | 隐式（已知动力学） | 显式建模不确定性 |
|
||
|
||
## 相关概念
|
||
|
||
- [[safe-exploration|安全探索]]
|
||
- [[equilibrium-safe-exploration|安全探索均衡]]
|
||
- [[feasible-zone|可行域]]
|
||
- [[uncertain-model|不确定模型]]
|