52 lines
1.7 KiB
Markdown
52 lines
1.7 KiB
Markdown
---
|
||
title: "Equilibrium of Safe Exploration（安全探索均衡）"
|
||
created: 2026-06-29
|
||
updated: 2026-06-29
|
||
type: concept
|
||
tags: [safe-reinforcement-learning, equilibrium, exploration, convergence]
|
||
sources: [[safe-equilibrium-exploration]]
|
||
confidence: high
|
||
---
|
||
|
||
# Equilibrium of Safe Exploration
|
||
|
||
> Yang et al. (2026) 首次揭示 [[safe-exploration|安全探索]] 的真正目标：不是单方面最大化 [[feasible-zone|可行域]]，而是找到可行域与 [[uncertain-model|不确定模型]] 之间的**不动点**。
|
||
|
||
## 均衡定义
|
||
|
||
记 Z 为可行域，M 为不确定模型。均衡点 (Z*, M*) 满足：
|
||
|
||
1. **Z* 是 M* 下的最大可行域**：给定当前模型精度，不能再安全地扩展
|
||
2. **M* 是 Z* 内数据的最精确模型**：在可行域内收集的所有数据已被充分利用
|
||
|
||
## 相互依存关系
|
||
|
||
```
|
||
更大的可行域 ──→ 更多探索数据 ──→ 更精确的模型
|
||
↓
|
||
更精确的模型 ──→ 更准确的约束推断 ──→ 更大的可行域
|
||
```
|
||
|
||
## 收敛保证
|
||
|
||
[[safe-equilibrium-exploration|SEE 算法]] 的理论保证：
|
||
|
||
- 不确定模型**单调精化**（不确定性单调递减）
|
||
- 可行域**单调扩展**（永不收缩）
|
||
- 两者在有限步内收敛到均衡
|
||
|
||
## 与传统观点的区别
|
||
|
||
| 传统观点 | 均衡观点 |
|
||
|---------|---------|
|
||
| 安全探索 = 最大化可行域 | 安全探索 = 找到可行域-模型不动点 |
|
||
| 可行域和模型独立优化 | 二者交替、相互增强 |
|
||
| 隐式假设模型已足够精确 | 显式建模模型不确定性 |
|
||
|
||
## 相关概念
|
||
|
||
- [[safe-exploration|安全探索]]
|
||
- [[feasible-zone|可行域]]
|
||
- [[safe-equilibrium-exploration|SEE 算法]]
|
||
- [[uncertain-model|不确定模型]]
|