---
title: "SEE: Safe Equilibrium Exploration"
created: 2026-06-29
updated: 2026-06-29
type: concept
tags: [safe-reinforcement-learning, algorithm, equilibrium, exploration]
sources: [[safe-equilibrium-exploration]]
confidence: high
---

# SEE (Safe Equilibrium Exploration)

> Yang et al. (2026) 提出的首个面向 [[equilibrium-safe-exploration|安全探索均衡]] 的算法框架。交替执行可行域扩展和模型精化，收敛到均衡点。

## 算法流程

```
初始化: Z₀ = 安全初始区域, M₀ = 初始模型

循环直到收敛:
  1. Zone Expansion: 在 M_k 下计算最大可行域 Z_{k+1}
  2. Model Refinement: 在 Z_{k+1} 内收集数据，更新 M_{k+1}
```

## 关键技术

### 图建模

将 [[uncertain-model|不确定模型]] 表述为**图**：
- 节点 = 状态-动作对
- 边 = 可能的转移（带不确定性范围）
- 可行域 = 图上满足安全约束的连通子图

### 单调性保证

- Zone Expansion 保证 Z_{k+1} ⊇ Z_k（单调扩展）
- Model Refinement 保证 M_{k+1} 的不确定性 ≤ M_k（单调精化）

## 实验结果

在经典控制任务上：
- **零约束违反**：训练全程无安全违规
- **快速收敛**：少量迭代（< 10 轮）即达到均衡
- **显著扩展**：可行域相比初始安全区域大幅增长

## 与 Safety Filter 的对比

| 维度 | [[safety-filter|Safety Filter]] | SEE |
|------|------------|-----|
| 约束来源 | 人类设计 | 自动发现 |
| 可行域 | 固定、保守 | 动态扩展、最优 |
| 模型假设 | 隐式（已知动力学） | 显式建模不确定性 |

## 相关概念

- [[safe-exploration|安全探索]]
- [[equilibrium-safe-exploration|安全探索均衡]]
- [[feasible-zone|可行域]]
- [[uncertain-model|不确定模型]]