---
title: "Uncertain Model（不确定模型）"
created: 2026-06-29
updated: 2026-06-29
type: concept
tags: [safe-reinforcement-learning, model-uncertainty, exploration]
sources: [[safe-equilibrium-exploration]]
confidence: high
---

# Uncertain Model（不确定模型）

> [[safe-exploration|安全探索]] 中，对环境转移动力学的估计模型，不仅预测状态转移，还**量化预测的不确定性**。

## 在 SEE 中的角色

[[safe-equilibrium-exploration|SEE 算法]] 中，不确定模型 M 是交替优化的两个对象之一：

1. M 的精度决定了可以安全扩展的 [[feasible-zone|可行域]] 大小
2. 可行域的大小决定了可以用来精化 M 的数据量
3. 均衡点即 M 和 Z 的不动点

## 图建模

在 SEE 的图公式中，M 被表述为**不确定性图**：
- 每条边代表可能的转移
- 边上标注不确定性范围
- 可行域 = 图中所有路径均满足安全约束的子图

## 单调精化

SEE 理论保证 M 的不确定性**单调递减**：随着可行域扩展和更多数据收集，模型精度持续提升，不会退步。

## 与标准 Model-based RL 的区别

| 标准 MBRL | SEE 不确定模型 |
|-----------|---------------|
| 追求预测精度 | 追求不确定性量化 |
| 全局模型 | 可行域内精确、域外保守 |
| 无安全考量 | 不确定性直接决定可行域边界 |

## 相关概念

- [[safe-exploration|安全探索]]
- [[equilibrium-safe-exploration|安全探索均衡]]
- [[feasible-zone|可行域]]
- [[safe-equilibrium-exploration|SEE]]