20260706:新增一些文章

This commit is contained in:
2026-07-06 10:14:02 +08:00
parent 6021dea160
commit 24b006225b
194 changed files with 8512 additions and 91 deletions

View File

@@ -0,0 +1,59 @@
---
title: "SEE: Safe Equilibrium Exploration"
created: 2026-06-29
updated: 2026-06-29
type: concept
tags: [safe-reinforcement-learning, algorithm, equilibrium, exploration]
sources: [[safe-equilibrium-exploration]]
confidence: high
---
# SEE (Safe Equilibrium Exploration)
> Yang et al. (2026) 提出的首个面向 [[equilibrium-safe-exploration|安全探索均衡]] 的算法框架。交替执行可行域扩展和模型精化,收敛到均衡点。
## 算法流程
```
初始化: Z₀ = 安全初始区域, M₀ = 初始模型
循环直到收敛:
1. Zone Expansion: 在 M_k 下计算最大可行域 Z_{k+1}
2. Model Refinement: 在 Z_{k+1} 内收集数据,更新 M_{k+1}
```
## 关键技术
### 图建模
将 [[uncertain-model|不确定模型]] 表述为**图**
- 节点 = 状态-动作对
- 边 = 可能的转移(带不确定性范围)
- 可行域 = 图上满足安全约束的连通子图
### 单调性保证
- Zone Expansion 保证 Z_{k+1} ⊇ Z_k单调扩展
- Model Refinement 保证 M_{k+1} 的不确定性 ≤ M_k单调精化
## 实验结果
在经典控制任务上:
- **零约束违反**:训练全程无安全违规
- **快速收敛**:少量迭代(< 10 即达到均衡
- **显著扩展**可行域相比初始安全区域大幅增长
## 与 Safety Filter 的对比
| 维度 | [[safety-filter|Safety Filter]] | SEE |
|------|------------|-----|
| 约束来源 | 人类设计 | 自动发现 |
| 可行域 | 固定保守 | 动态扩展最优 |
| 模型假设 | 隐式已知动力学 | 显式建模不确定性 |
## 相关概念
- [[safe-exploration|安全探索]]
- [[equilibrium-safe-exploration|安全探索均衡]]
- [[feasible-zone|可行域]]
- [[uncertain-model|不确定模型]]