48 lines
1.5 KiB
Markdown
48 lines
1.5 KiB
Markdown
---
|
||
title: "Uncertain Model（不确定模型）"
|
||
created: 2026-06-29
|
||
updated: 2026-06-29
|
||
type: concept
|
||
tags: [safe-reinforcement-learning, model-uncertainty, exploration]
|
||
sources: [[safe-equilibrium-exploration]]
|
||
confidence: high
|
||
---
|
||
|
||
# Uncertain Model（不确定模型）
|
||
|
||
> [[safe-exploration|安全探索]] 中，对环境转移动力学的估计模型，不仅预测状态转移，还**量化预测的不确定性**。
|
||
|
||
## 在 SEE 中的角色
|
||
|
||
[[safe-equilibrium-exploration|SEE 算法]] 中，不确定模型 M 是交替优化的两个对象之一：
|
||
|
||
1. M 的精度决定了可以安全扩展的 [[feasible-zone|可行域]] 大小
|
||
2. 可行域的大小决定了可以用来精化 M 的数据量
|
||
3. 均衡点即 M 和 Z 的不动点
|
||
|
||
## 图建模
|
||
|
||
在 SEE 的图公式中，M 被表述为**不确定性图**：
|
||
- 每条边代表可能的转移
|
||
- 边上标注不确定性范围
|
||
- 可行域 = 图中所有路径均满足安全约束的子图
|
||
|
||
## 单调精化
|
||
|
||
SEE 理论保证 M 的不确定性**单调递减**：随着可行域扩展和更多数据收集，模型精度持续提升，不会退步。
|
||
|
||
## 与标准 Model-based RL 的区别
|
||
|
||
| 标准 MBRL | SEE 不确定模型 |
|
||
|-----------|---------------|
|
||
| 追求预测精度 | 追求不确定性量化 |
|
||
| 全局模型 | 可行域内精确、域外保守 |
|
||
| 无安全考量 | 不确定性直接决定可行域边界 |
|
||
|
||
## 相关概念
|
||
|
||
- [[safe-exploration|安全探索]]
|
||
- [[equilibrium-safe-exploration|安全探索均衡]]
|
||
- [[feasible-zone|可行域]]
|
||
- [[safe-equilibrium-exploration|SEE]]
|