---
title: "Safe Equilibrium Exploration: On the Equilibrium between Feasible Zone and Uncertain Model in Safe Exploration"
created: 2026-06-29
updated: 2026-06-29
type: paper
tags: [safe-reinforcement-learning, safe-exploration, feasible-zone, equilibrium, control]
sources: [https://arxiv.org/abs/2602.00636]
authors: ["Yujie Yang (Tsinghua)", "Zhilong Zheng (Tsinghua)", "Shengbo Eben Li (Tsinghua)"]
venue: IEEE TPAMI 48(7), 8344-8360 (2026)
doi: 10.1109/TPAMI.2026.3669907
year: 2026
---

# Safe Equilibrium Exploration (SEE)

> arXiv: [2602.00636v2](https://arxiv.org/abs/2602.00636), cs.LG, IEEE TPAMI 2026

## 一句话

首次揭示 [[safe-exploration|安全探索]] 的**目标不是最大化可行域，而是找到可行域与不确定模型之间的均衡**——两者相互依存：更大可行域 → 更精确模型 → 进而探索更大可行域。

## 核心贡献

### 均衡视角

传统 safe RL 方法将安全探索视为"在满足约束的前提下最大化可行域"。本文证明：由于模型不确定性与探索区域相互耦合，真正的目标是找到两者的 [[equilibrium-safe-exploration|均衡点]]。

### SEE 算法

[[safe-equilibrium-exploration|SEE (Safe Equilibrium Exploration)]] 交替执行：
1. 在当前 [[uncertain-model|不确定模型]] 下找到最大 [[feasible-zone|可行域]]
2. 在可行域内收集数据，精化模型
3. 重复直至收敛到均衡

### 理论保证

- 不确定模型**单调精化**
- 可行域**单调扩展**
- 两者均收敛到安全探索均衡

## 技术要点

- **图建模**：将不确定模型表述为图，可行域为图上满足约束的子图
- **与现有方法的关系**：[[safety-filter|Safety Filter]] 类方法依赖人类设计的约束定义可行域（CBF, Safety Index），而 SEE 自动发现最大可行域
- **训练模式**：针对 SOTI（Simultaneous Online Training and Implementation）模式，高保真 sim 不可用时的真实场景

## 实验

经典控制任务上，SEE 在**零约束违反**的前提下成功扩展可行域，并在少量迭代内达到安全探索均衡。

## 相关概念

- [[safe-exploration|安全探索]]
- [[feasible-zone|可行域]]
- [[equilibrium-safe-exploration|安全探索均衡]]
- [[safe-equilibrium-exploration|SEE 算法]]
- [[safety-filter|Safety Filter]]
- [[control-barrier-function|控制屏障函数]]
- [[uncertain-model|不确定模型]]
- [[reinforcement-learning|强化学习]]
- [[real-world-safe-exploration-see-2026|机器之心科普报道]]