51 lines
1.5 KiB
Markdown
51 lines
1.5 KiB
Markdown
---
|
||
title: "后动作配置 (Post-Action Configuration)"
|
||
created: 2026-06-17
|
||
updated: 2026-06-17
|
||
type: concept
|
||
tags: [mdp, reinforcement-learning, operations-research]
|
||
sources: [raw/papers/chen-bellman-taylor-score-2026.md]
|
||
confidence: high
|
||
---
|
||
|
||
# 后动作配置 (Post-Action Configuration)
|
||
|
||
后动作配置是 [[bellman-taylor-score-decoding|BTSD]] 框架中的关键结构表示——捕获系统在**动作执行后、不确定性实现前**的中间状态。
|
||
|
||
## 定义
|
||
|
||
给定状态 s 和自然动作 a：
|
||
|
||
```
|
||
φ_s(a) ∈ X_s ⊆ R^{d_s}
|
||
```
|
||
|
||
`φ_s(a)` 是确定性的中间配置。完整转移：`s' = Ξ_s(φ_s(a), ξ_s)`，其中 `ξ_s` 是外生扰动。
|
||
|
||
## 为什么重要
|
||
|
||
`φ_s(a)` 是**Taylor 展开 Q 函数的锚点**：
|
||
|
||
```
|
||
Q*(s,a) ≈ ψ_s(a) + γ⟨∇G*_s, φ_s(a) - x_ref⟩ + const
|
||
```
|
||
|
||
得分 z 的语义解释 = `γ ∇G*_s`：后动作配置对下游价值的**边际贡献**。
|
||
|
||
## 在排队网络中的实例
|
||
|
||
- 状态 s：当前队列长度 + 服务器可用性
|
||
- 动作 a：调度/分配决策
|
||
- `φ_s(a)`：执行动作后、新到达/服务完成前的队列配置
|
||
- 得分 z：各队列的后动作边际价值估计
|
||
|
||
## 与延续价值函数的关系
|
||
|
||
`G*_s(x) = E[V* (Ξ_s(x, ξ_s))]` 是后动作配置 x 的期望下游回报。φ_s(a) 决定了延续价值的输入，使得 BTSD 框架中的得分解码具有明确的经济含义。
|
||
|
||
## 参考
|
||
|
||
- [[continuation-value-function|延续价值函数]]
|
||
- [[bellman-taylor-score-decoding|BTSD]]
|
||
- [[taylor-expansion-q-function|Q 函数 Taylor 展开]]
|