---
title: "Bellman–Taylor Score Decoding for MDPs with State-Dependent Feasible Action Sets"
created: 2026-06-17
updated: 2026-06-17
type: paper
tags: [reinforcement-learning, operations-research, mdp, action-interface, queueing]
sources: [raw/papers/chen-bellman-taylor-score-2026.md]
confidence: high
---

# Bellman–Taylor 得分解码：为状态依赖可行动作集 MDP 连接标准 DRL

> Yi Chen, Rushuai Yang, Qiang Chen, Dongyan (Lucy) Huo — HKUST, 2026
> arXiv: [2606.10979](https://arxiv.org/abs/2606.10979)

## 核心问题

运筹学中的 MDP 有**状态依赖、隐式定义的可行动作集**——由容量、兼容性和整数约束定义，不能简单枚举或嵌入欧氏空间。标准 DRL 假设固定的有限动作目录或连续欧氏空间，两者都不匹配。如何不改 DRL 算法而解决此接口不兼容？

## 方法论

### Bellman-Taylor 得分解码

核心思路：**标准化学习接口，而非操作动作空间**。

1. 对最优 Q 函数做 Taylor 展开：
   ```
   Q*(s,a) ≈ ψ_s(a) + γ⟨∇G*_s(x_ref), φ_s(a)⟩ + const
   ```
2. 定义**动作解码器** `Γ(s,z) = argmax_{a∈A(s)} [ψ_s(a) + ⟨z, φ_s(a)⟩]`
3. 策略学习得分向量 z ∈ R^d（无约束欧氏空间）
4. 解码器在**前向传播**中将 z 映射为可行动作 a

### 潜在得分 MDP

通过解码器诱导出 `M̃ = (S, Z, P̃, r̃, γ)`：
- 动作空间从 A(s) 变为 Z ⊆ R^d
- `r̃(s,z) = r(s, Γ(s,z))`
- `P̃(s'|s,z) = P(s'|s, Γ(s,z))`

标准 PPO 可直接在 M̃ 上训练，**无需对解码器求导**。

### 性能保证

最优性差距分解为两项：
```
J(π*) - J(π_decode) ≤ ε_approx + ε_learn
```
- `ε_approx`：Taylor 余项控制的**结构近似误差**
- `ε_learn`：标准 DRL 的**算法学习误差**

### 高阶推广

保留 Taylor 展开的高阶项 → 更丰富的解码器特征 → 更好地逼近非线性延续价值函数。

## 应用：排队网络控制

应用于多类别多服务池排队系统：
- 策略学到**状态依赖的指数型调度规则**
- 解码器按总得分最大原则选择可行的调度动作
- 不引入任何排队特化的方差削减技术
- 小规模实例接近最优，大规模系统显著优于基准

## 关键优势

| 特性 | 传统方案 | BTSD |
|------|---------|------|
| 动作空间 | 需枚举/嵌入 | 欧氏得分空间 |
| 可行性 | 掩码/投影/修复 | 解码器精确保证 |
| 训练 | 需对优化层求导 | 前向解码，无需梯度 |
| 通用性 | 问题特化架构 | 同一框架适配 |

## 参考

- [[bellman-taylor-score-decoding|BTSD 框架]]
- [[latent-score-mdp|潜在得分 MDP]]
- [[state-dependent-feasible-action-sets|状态依赖可行动作集]]
- [[queueing-network-control|排队网络控制]]
- 来源：[原始存档](raw/papers/chen-bellman-taylor-score-2026.md)