---
title: "Bellman-Taylor 得分解码 (BTSD)"
created: 2026-06-17
updated: 2026-06-17
type: concept
tags: [reinforcement-learning, mdp, action-interface, operations-research]
sources: [raw/papers/chen-bellman-taylor-score-2026.md]
confidence: high
---

# Bellman-Taylor 得分解码 (BTSD)

BTSD 是 [[bellman-taylor-score-decoding|Chen et al. (2026)]] 提出的框架，通过**Taylor 展开最优 Q 函数**将 MDP 的动作空间从复杂约束空间转换为无约束欧氏得分空间。

## 核心机制

```
原始 MDP (s, a ∈ A(s) 受约束)  →  Taylor 展开 Q*  →  得分 MDP (s, z ∈ R^d)
```

1. **Taylor 近似**：`Q*(s,a) ≈ ψ_s(a) + γ⟨∇G*_s, φ_s(a)⟩ + const`
2. **动作解码器**：`Γ(s,z) = argmax [ψ_s(a) + ⟨z, φ_s(a)⟩]`
3. **策略学习**：π̃ 输出得分 z ∈ R^d（无约束连续动作）
4. **前向解码**：解码器 Γ(s,z) 将 z 映射为可行动作 a

## 与优化层的区别

| 方法 | 解码器角色 | 梯度需求 |
|------|----------|---------|
| Differentiable Optimization | 可训练层 | 需通过优化器反向传播 |
| BTSD | 固定 action-selection map | 仅前向传播，无需梯度 |

## 性能保证

最优性差距 `J* − J_decode ≤ ε_approx + ε_learn`：
- `ε_approx` 由 Taylor 余项控制
- `ε_learn` 是标准 DRL 的泛化误差

## 参考

- [[latent-score-mdp|潜在得分 MDP]]
- [[action-decoder|动作解码器]]
- [[taylor-expansion-q-function|Q 函数 Taylor 展开]]
- [[bellman-taylor-score-decoding|BTSD 论文]]