20260706:新增一些文章

This commit is contained in:
2026-07-06 10:14:02 +08:00
parent 6021dea160
commit 24b006225b
194 changed files with 8512 additions and 91 deletions

View File

@@ -0,0 +1,47 @@
---
title: "Uncertain Model不确定模型"
created: 2026-06-29
updated: 2026-06-29
type: concept
tags: [safe-reinforcement-learning, model-uncertainty, exploration]
sources: [[safe-equilibrium-exploration]]
confidence: high
---
# Uncertain Model不确定模型
> [[safe-exploration|安全探索]] 中,对环境转移动力学的估计模型,不仅预测状态转移,还**量化预测的不确定性**。
## 在 SEE 中的角色
[[safe-equilibrium-exploration|SEE 算法]] 中,不确定模型 M 是交替优化的两个对象之一:
1. M 的精度决定了可以安全扩展的 [[feasible-zone|可行域]] 大小
2. 可行域的大小决定了可以用来精化 M 的数据量
3. 均衡点即 M 和 Z 的不动点
## 图建模
在 SEE 的图公式中M 被表述为**不确定性图**
- 每条边代表可能的转移
- 边上标注不确定性范围
- 可行域 = 图中所有路径均满足安全约束的子图
## 单调精化
SEE 理论保证 M 的不确定性**单调递减**:随着可行域扩展和更多数据收集,模型精度持续提升,不会退步。
## 与标准 Model-based RL 的区别
| 标准 MBRL | SEE 不确定模型 |
|-----------|---------------|
| 追求预测精度 | 追求不确定性量化 |
| 全局模型 | 可行域内精确、域外保守 |
| 无安全考量 | 不确定性直接决定可行域边界 |
## 相关概念
- [[safe-exploration|安全探索]]
- [[equilibrium-safe-exploration|安全探索均衡]]
- [[feasible-zone|可行域]]
- [[safe-equilibrium-exploration|SEE]]