37 lines
1.5 KiB
Markdown
37 lines
1.5 KiB
Markdown
---
|
||
title: "Safe Exploration（安全探索）"
|
||
created: 2026-06-29
|
||
updated: 2026-06-29
|
||
type: concept
|
||
tags: [safe-reinforcement-learning, exploration, safety, RL]
|
||
sources: [[safe-equilibrium-exploration]]
|
||
confidence: high
|
||
---
|
||
|
||
# Safe Exploration（安全探索）
|
||
|
||
> [[reinforcement-learning|强化学习]] 中确保训练过程**零约束违反**的探索机制。核心方法是将探索限制在 [[feasible-zone|可行域]] 内。Yang et al. (2026) 首次揭示其目标是找到可行域与 [[uncertain-model|不确定模型]] 之间的 [[equilibrium-safe-exploration|均衡]]。
|
||
|
||
## 两种训练模式
|
||
|
||
| 模式 | 全称 | 安全探索需求 |
|
||
|------|------|-------------|
|
||
| OTOI | Offline Training, Online Implementation | 无需（在 sim 中训练） |
|
||
| SOTI | Simultaneous Online Training and Implementation | **必需**（在真实环境交互） |
|
||
|
||
OTOI 依赖高保真仿真器；SOTI 适用于仿真器不可用的真实场景（机器人、自动驾驶）。
|
||
|
||
## 核心挑战
|
||
|
||
- **可行域-模型耦合**：只能在可行域内收集数据 → 域外环境未知 → 模型不确定 → 不敢扩展可行域
|
||
- 传统方法（[[safety-filter|Safety Filter]]）依赖人类设计的约束，可行域保守且不完整
|
||
- [[safe-equilibrium-exploration|SEE]] 首次打破这一循环，同时优化可行域和模型精度
|
||
|
||
## 相关概念
|
||
|
||
- [[feasible-zone|可行域]]
|
||
- [[equilibrium-safe-exploration|安全探索均衡]]
|
||
- [[safe-equilibrium-exploration|SEE 算法]]
|
||
- [[safety-filter|Safety Filter]]
|
||
- [[reinforcement-learning|强化学习]]
|