---
title: "Risky Bellman Equation（风险贝尔曼方程）"
created: 2026-06-29
updated: 2026-06-29
type: concept
tags: [safe-reinforcement-learning, bellman-equation, risk, control]
sources: [[safe-equilibrium-exploration]]
confidence: high
---

# Risky Bellman Equation

> [[safe-equilibrium-exploration|SEE 算法]] 中用于计算最大 [[feasible-zone|可行域]] 的核心方程——在模型不确定性下，量化状态-动作对的"风险"（最坏情况下的约束违反可能性）。

## 在 SEE 中的作用

SEE 的第 1 步：固定 [[uncertain-model|不确定模型]] M，通过求解 Risky Bellman Equation，判定哪些状态-动作对在 M 的最坏情况假设下仍能保持安全。

## 与传统 Bellman 方程的区别

| 传统 Bellman | Risky Bellman |
|-------------|---------------|
| 优化期望累积奖励 | 评估最坏情况约束违反 |
| 确定性转移 | 不确定性范围转移 |
| 收敛到最优价值函数 | 收敛到最大可行域 |

## 相关概念

- [[safe-equilibrium-exploration|SEE]]
- [[feasible-zone|可行域]]
- [[uncertain-model|不确定模型]]
- [[equilibrium-safe-exploration|安全探索均衡]]