Files
myWiki/concepts/equilibrium-safe-exploration.md

1.7 KiB
Raw Blame History

title, created, updated, type, tags, sources, confidence
title created updated type tags sources confidence
Equilibrium of Safe Exploration安全探索均衡 2026-06-29 2026-06-29 concept
safe-reinforcement-learning
equilibrium
exploration
convergence
safe-equilibrium-exploration
high

Equilibrium of Safe Exploration

Yang et al. (2026) 首次揭示 safe-exploration 的真正目标:不是单方面最大化 feasible-zone,而是找到可行域与 uncertain-model 之间的不动点

均衡定义

记 Z 为可行域M 为不确定模型。均衡点 (Z*, M*) 满足:

  1. Z 是 M 下的最大可行域**:给定当前模型精度,不能再安全地扩展
  2. M 是 Z 内数据的最精确模型**:在可行域内收集的所有数据已被充分利用

相互依存关系

更大的可行域 ──→ 更多探索数据 ──→ 更精确的模型
                                      ↓
更精确的模型 ──→ 更准确的约束推断 ──→ 更大的可行域

收敛保证

safe-equilibrium-exploration 的理论保证:

  • 不确定模型单调精化(不确定性单调递减)
  • 可行域单调扩展(永不收缩)
  • 两者在有限步内收敛到均衡

与传统观点的区别

传统观点 均衡观点
安全探索 = 最大化可行域 安全探索 = 找到可行域-模型不动点
可行域和模型独立优化 二者交替、相互增强
隐式假设模型已足够精确 显式建模模型不确定性

相关概念