20260706:新增一些文章
This commit is contained in:
47
concepts/uncertain-model.md
Normal file
47
concepts/uncertain-model.md
Normal file
@@ -0,0 +1,47 @@
|
||||
---
|
||||
title: "Uncertain Model(不确定模型)"
|
||||
created: 2026-06-29
|
||||
updated: 2026-06-29
|
||||
type: concept
|
||||
tags: [safe-reinforcement-learning, model-uncertainty, exploration]
|
||||
sources: [[safe-equilibrium-exploration]]
|
||||
confidence: high
|
||||
---
|
||||
|
||||
# Uncertain Model(不确定模型)
|
||||
|
||||
> [[safe-exploration|安全探索]] 中,对环境转移动力学的估计模型,不仅预测状态转移,还**量化预测的不确定性**。
|
||||
|
||||
## 在 SEE 中的角色
|
||||
|
||||
[[safe-equilibrium-exploration|SEE 算法]] 中,不确定模型 M 是交替优化的两个对象之一:
|
||||
|
||||
1. M 的精度决定了可以安全扩展的 [[feasible-zone|可行域]] 大小
|
||||
2. 可行域的大小决定了可以用来精化 M 的数据量
|
||||
3. 均衡点即 M 和 Z 的不动点
|
||||
|
||||
## 图建模
|
||||
|
||||
在 SEE 的图公式中,M 被表述为**不确定性图**:
|
||||
- 每条边代表可能的转移
|
||||
- 边上标注不确定性范围
|
||||
- 可行域 = 图中所有路径均满足安全约束的子图
|
||||
|
||||
## 单调精化
|
||||
|
||||
SEE 理论保证 M 的不确定性**单调递减**:随着可行域扩展和更多数据收集,模型精度持续提升,不会退步。
|
||||
|
||||
## 与标准 Model-based RL 的区别
|
||||
|
||||
| 标准 MBRL | SEE 不确定模型 |
|
||||
|-----------|---------------|
|
||||
| 追求预测精度 | 追求不确定性量化 |
|
||||
| 全局模型 | 可行域内精确、域外保守 |
|
||||
| 无安全考量 | 不确定性直接决定可行域边界 |
|
||||
|
||||
## 相关概念
|
||||
|
||||
- [[safe-exploration|安全探索]]
|
||||
- [[equilibrium-safe-exploration|安全探索均衡]]
|
||||
- [[feasible-zone|可行域]]
|
||||
- [[safe-equilibrium-exploration|SEE]]
|
||||
Reference in New Issue
Block a user