---
title: "部分可观测马尔可夫决策过程 (POMDP)"
created: 2026-06-10
updated: 2026-06-10
type: concept
tags: ["reinforcement-learning", "partial-observability", "planning"]
sources: ["[[minimax-policy-regret-pomg]]"]
---

# 部分可观测马尔可夫决策过程 (POMDP)

**POMDP** 是将部分可观测性引入 MDP 的通用框架：智能体不能直接观测状态，只能获得噪声观测信号。

## 与 MDP 的区别

| MDP | POMDP |
|-----|-------|
| 状态完全可观测 | 状态部分可观测 |
| 策略 = pi(s) -> a | 策略 = pi(tau) -> a（基于历史） |
| 值函数定义在状态上 | 值函数定义在信念状态上 |

## 核心挑战

1. **信念追踪**：从观测历史推断潜状态分布
2. **历史依赖策略**：最优策略可能需要无限记忆
3. **维度诅咒**：信念空间是 (|S|-1) 维单纯形

## 可处理性条件

并非所有 POMDP 都同样困难。关键结构条件：

- **[[weak-revealing-condition|Weak Revealing]]**（Liu et al., 2022a）：观测信息量足够识别动力学
- **[[observable-operator-model|OOM]] 表示**：算子化动力学，维度独立于 |S|
- **Block MDP**：观测唯一确定块的身份

## 到 POMG 的扩展

[[partially-observable-markov-game|POMG]] 将 POMDP 扩展到博弈论设定——对手的行为影响动力学且策略性响应。这引入了 [[policy-regret|策略后悔]]、[[causal-decomposition-pomg|因果分解]]等新挑战。

## 参考
- [[minimax-policy-regret-pomg|Minimax-Optimal Policy Regret in POMGs]]
- [[partially-observable-markov-game|POMG]]
- [[observable-operator-model|OOM]]
- [[weak-revealing-condition|Weak Revealing]]