---
title: "延续价值函数 (Continuation Value Function)"
created: 2026-06-17
updated: 2026-06-17
type: concept
tags: [reinforcement-learning, mdp, theory, value-function]
sources: [raw/papers/chen-bellman-taylor-score-2026.md]
confidence: high
---

# 延续价值函数 (Continuation Value Function)

延续价值函数 `G*_s(x)` 是 [[bellman-taylor-score-decoding|BTSD]] 框架 Taylor 展开的核心对象——它衡量系统在**后动作配置 x** 下的期望下游回报。

## 定义

```
G*_s(x) = E_ξ[ V*( Ξ_s(x, ξ_s) ) ]
```

其中 `x = φ_s(a)` 是后动作配置，`ξ_s` 是外生扰动，`V*` 是最优值函数。

## 在 Q 函数中的作用

Q 函数的分解：

```
Q*(s,a) = ψ_s(a) + γ G*_s(φ_s(a))
         ^^^^^^^^   ^^^^^^^^^^^^^^^^
         即时奖励     延续价值
```

延续价值捕获了动作 a 在未来产生的影响——BTSD 框架的核心就是**用 Taylor 展开近似 G*_s**。

## 性质

- G*_s 的**光滑度**决定了 Taylor 近似的精确度
- 在排队系统中，G*_s 通常接近线性 → 一阶 Taylor 几近精确
- 非线性程度越高，需要保留的高阶项越多
- 最优策略的得分 `z* = γ ∇G*_s(x_ref)`：**边际延续价值**

## 与策略梯度的区别

标准策略梯度直接优化 V^π → 需要探索复杂的动作空间。BTSD 通过近似 G*_s 将动作选择简化为得分驱动的优化问题。

## 参考

- [[taylor-expansion-q-function|Q 函数 Taylor 展开]]
- [[post-action-configuration|后动作配置]]
- [[bellman-taylor-score-decoding|BTSD]]