33 lines
1.1 KiB
Markdown
33 lines
1.1 KiB
Markdown
---
|
||
title: "Risky Bellman Equation（风险贝尔曼方程）"
|
||
created: 2026-06-29
|
||
updated: 2026-06-29
|
||
type: concept
|
||
tags: [safe-reinforcement-learning, bellman-equation, risk, control]
|
||
sources: [[safe-equilibrium-exploration]]
|
||
confidence: high
|
||
---
|
||
|
||
# Risky Bellman Equation
|
||
|
||
> [[safe-equilibrium-exploration|SEE 算法]] 中用于计算最大 [[feasible-zone|可行域]] 的核心方程——在模型不确定性下，量化状态-动作对的"风险"（最坏情况下的约束违反可能性）。
|
||
|
||
## 在 SEE 中的作用
|
||
|
||
SEE 的第 1 步：固定 [[uncertain-model|不确定模型]] M，通过求解 Risky Bellman Equation，判定哪些状态-动作对在 M 的最坏情况假设下仍能保持安全。
|
||
|
||
## 与传统 Bellman 方程的区别
|
||
|
||
| 传统 Bellman | Risky Bellman |
|
||
|-------------|---------------|
|
||
| 优化期望累积奖励 | 评估最坏情况约束违反 |
|
||
| 确定性转移 | 不确定性范围转移 |
|
||
| 收敛到最优价值函数 | 收敛到最大可行域 |
|
||
|
||
## 相关概念
|
||
|
||
- [[safe-equilibrium-exploration|SEE]]
|
||
- [[feasible-zone|可行域]]
|
||
- [[uncertain-model|不确定模型]]
|
||
- [[equilibrium-safe-exploration|安全探索均衡]]
|