---
title: "Safe Exploration（安全探索）"
created: 2026-06-29
updated: 2026-06-29
type: concept
tags: [safe-reinforcement-learning, exploration, safety, RL]
sources: [[safe-equilibrium-exploration]]
confidence: high
---

# Safe Exploration（安全探索）

> [[reinforcement-learning|强化学习]] 中确保训练过程**零约束违反**的探索机制。核心方法是将探索限制在 [[feasible-zone|可行域]] 内。Yang et al. (2026) 首次揭示其目标是找到可行域与 [[uncertain-model|不确定模型]] 之间的 [[equilibrium-safe-exploration|均衡]]。

## 两种训练模式

| 模式 | 全称 | 安全探索需求 |
|------|------|-------------|
| OTOI | Offline Training, Online Implementation | 无需（在 sim 中训练） |
| SOTI | Simultaneous Online Training and Implementation | **必需**（在真实环境交互） |

OTOI 依赖高保真仿真器；SOTI 适用于仿真器不可用的真实场景（机器人、自动驾驶）。

## 核心挑战

- **可行域-模型耦合**：只能在可行域内收集数据 → 域外环境未知 → 模型不确定 → 不敢扩展可行域
- 传统方法（[[safety-filter|Safety Filter]]）依赖人类设计的约束，可行域保守且不完整
- [[safe-equilibrium-exploration|SEE]] 首次打破这一循环，同时优化可行域和模型精度

## 相关概念

- [[feasible-zone|可行域]]
- [[equilibrium-safe-exploration|安全探索均衡]]
- [[safe-equilibrium-exploration|SEE 算法]]
- [[safety-filter|Safety Filter]]
- [[reinforcement-learning|强化学习]]