---
title: "潜在得分 MDP (Latent-Score MDP)"
created: 2026-06-17
updated: 2026-06-17
type: concept
tags: [mdp, reinforcement-learning, operations-research]
sources: [raw/papers/chen-bellman-taylor-score-2026.md]
confidence: high
---

# 潜在得分 MDP (Latent-Score MDP)

潜在得分 MDP 是 [[bellman-taylor-score-decoding|BTSD]] 框架通过 [[action-decoder|动作解码器]] 从原始 MDP 诱导出的**等价决策问题**——其动作空间是欧氏得分空间 R^d 而非原始约束动作集。

## 诱导过程

原始 MDP: M = (S, {A(s)}, P, r, γ) → 解码器 Γ(s,z) → M̃:

```
M̃ = (S, Z, P̃, r̃, γ)

其中:
- Z ⊆ R^d : 得分空间（无约束欧氏空间）
- r̃(s,z) = r(s, Γ(s,z)) : 诱导奖励
- P̃(s'|s,z) = P(s'|s, Γ(s,z)) : 诱导转移核
```

## 关键性质

1. **标准化接口**：动作空间是固定维度的连续空间，任何连续动作 DRL 都可用
2. **可行性外置**：解码器 Γ 精确保证可行性，DLR 策略无需处理约束
3. **无需求导解码器**：策略梯度 `∇log π(z|s)` 不涉及解码器
4. **近似最优性**：M̃ 的最优策略近似原始 M 的最优策略（差距由 Taylor 余项控制）

## 与原始 MDP 的差距

并非原始 M 的所有策略都能在 M̃ 中表示——解码器诱导的策略类是受限的。但 Taylor 展开的局部性质保证这个局限在合理范围内。

## 参考

- [[bellman-taylor-score-decoding|BTSD]]
- [[action-decoder|动作解码器]]
- [[state-dependent-feasible-action-sets|状态依赖可行动作集]]