37 lines
1.3 KiB
Markdown
37 lines
1.3 KiB
Markdown
---
|
||
title: "Feasible Zone（可行域）"
|
||
created: 2026-06-29
|
||
updated: 2026-06-29
|
||
type: concept
|
||
tags: [safe-reinforcement-learning, safety, constraint, RL]
|
||
sources: [[safe-equilibrium-exploration]]
|
||
confidence: high
|
||
---
|
||
|
||
# Feasible Zone（可行域）
|
||
|
||
> [[safe-exploration|安全探索]] 中的核心概念：状态-动作空间的子集，从其中任意点出发存在策略能保证所有未来状态满足安全约束。
|
||
|
||
## 定义
|
||
|
||
在约束 MDP 中，可行域 Z 满足：∀(s,a) ∈ Z，∃ 策略 π 使得将所有未来轨迹保持在约束满足区域内。
|
||
|
||
## 关键属性
|
||
|
||
1. **安全保证**：只要在 Z 内行动，永远不会违反约束
|
||
2. **大小决定效用**：Z 太小 → 策略无法完成任务；Z 越大 → 收集高奖励数据的可能越大
|
||
3. **与模型耦合**：Z 的识别依赖于环境模型的精度；模型只在 Z 内准确 → 形成循环
|
||
|
||
## 传统方法的局限
|
||
|
||
- [[safety-filter|Safety Filter]] 依赖人类设计的约束定义 Z → 保守且不完整
|
||
- [[control-barrier-function|CBF]] 提供数学保证但需要系统动力学知识
|
||
- [[safe-equilibrium-exploration|SEE]] 自动发现最大可行域，无需人工设计
|
||
|
||
## 相关概念
|
||
|
||
- [[safe-exploration|安全探索]]
|
||
- [[equilibrium-safe-exploration|安全探索均衡]]
|
||
- [[safety-filter|Safety Filter]]
|
||
- [[uncertain-model|不确定模型]]
|