---
title: "Value-Aware Supervised Learning (VSL)"
created: 2026-06-28
updated: 2026-06-28
type: concept
tags: [generative-recommendation, online-learning, value-modeling]
sources: [GR4AD]
---
# Value-Aware Supervised Learning (VSL)

VSL 是 [[GR4AD]] 提出的价值感知监督学习框架，将广告业务价值信号注入生成式推荐的训练过程。

## 核心组件

**1. 下一 token 预测（NTP）**：标准自回归 UA-SID 预测
$$\mathcal{L}_{SID} = -\sum_{t=1}^T \log P_\theta(s_t | X, s_{<t})$$

**2. eCPM token 预测**：在 UA-SID 序列末尾追加一个特殊的 eCPM 预测 token，训练模型同时预测广告价值。这一设计将业务目标直接编码为生成目标的一部分。

$$\mathcal{L}_{eCPM} = \text{MSE}(\hat{v}, v^*)$$

总 NTP 损失：$\mathcal{L}_{NTP} = \mathcal{L}_{SID} + \lambda_e \mathcal{L}_{eCPM}$

**3. 价值感知样本加权**：广告训练样本的价值分布高度偏斜。VSL 对每个样本施加双重加权：
$$w = w_{user} \cdot w_{behavior}$$

- $w_{user}$：用户长期广告价值（高价值用户 → 更高权重）
- $w_{behavior}$：互动深度（购买 > 点击，深层行为 → 更高权重）

**4. 辅助 MTP 损失**：为[[lazyar|LazyAR]]的前 $K$ 层共享段引入额外的多 token 预测损失，要求 trunk 状态在不依赖自回归信号的条件下直接预测目标 token，增强共享段表示的预测能力。仅训练时使用。

$$\mathcal{L}_{VSL} = \mathbb{E}_D \left[w (\mathcal{L}_{NTP} + \lambda_{mtp} \mathcal{L}_{MTP})\right]$$

## 与标准 SFT 的区别

标准 SFT 对所有样本一视同仁。VSL 通过价值感知加权和 eCPM token 将业务目标直接嵌入监督信号，使模型即使在不使用 RL 的情况下也能感知广告价值差异。

## 参考

- [[GR4AD]]
- [[rspo|RSPO]]
- [[unified-vsl-rspo|统一 VSL-RSPO 学习]]