43 lines
1.8 KiB
Markdown
43 lines
1.8 KiB
Markdown
---
|
||
title: "Value-Aware Supervised Learning (VSL)"
|
||
created: 2026-06-28
|
||
updated: 2026-06-28
|
||
type: concept
|
||
tags: [generative-recommendation, online-learning, value-modeling]
|
||
sources: [GR4AD]
|
||
---
|
||
# Value-Aware Supervised Learning (VSL)
|
||
|
||
VSL 是 [[GR4AD]] 提出的价值感知监督学习框架，将广告业务价值信号注入生成式推荐的训练过程。
|
||
|
||
## 核心组件
|
||
|
||
**1. 下一 token 预测（NTP）**：标准自回归 UA-SID 预测
|
||
$$\mathcal{L}_{SID} = -\sum_{t=1}^T \log P_\theta(s_t | X, s_{<t})$$
|
||
|
||
**2. eCPM token 预测**：在 UA-SID 序列末尾追加一个特殊的 eCPM 预测 token，训练模型同时预测广告价值。这一设计将业务目标直接编码为生成目标的一部分。
|
||
|
||
$$\mathcal{L}_{eCPM} = \text{MSE}(\hat{v}, v^*)$$
|
||
|
||
总 NTP 损失：$\mathcal{L}_{NTP} = \mathcal{L}_{SID} + \lambda_e \mathcal{L}_{eCPM}$
|
||
|
||
**3. 价值感知样本加权**：广告训练样本的价值分布高度偏斜。VSL 对每个样本施加双重加权：
|
||
$$w = w_{user} \cdot w_{behavior}$$
|
||
|
||
- $w_{user}$：用户长期广告价值（高价值用户 → 更高权重）
|
||
- $w_{behavior}$：互动深度（购买 > 点击，深层行为 → 更高权重）
|
||
|
||
**4. 辅助 MTP 损失**：为[[lazyar|LazyAR]]的前 $K$ 层共享段引入额外的多 token 预测损失，要求 trunk 状态在不依赖自回归信号的条件下直接预测目标 token，增强共享段表示的预测能力。仅训练时使用。
|
||
|
||
$$\mathcal{L}_{VSL} = \mathbb{E}_D \left[w (\mathcal{L}_{NTP} + \lambda_{mtp} \mathcal{L}_{MTP})\right]$$
|
||
|
||
## 与标准 SFT 的区别
|
||
|
||
标准 SFT 对所有样本一视同仁。VSL 通过价值感知加权和 eCPM token 将业务目标直接嵌入监督信号，使模型即使在不使用 RL 的情况下也能感知广告价值差异。
|
||
|
||
## 参考
|
||
|
||
- [[GR4AD]]
|
||
- [[rspo|RSPO]]
|
||
- [[unified-vsl-rspo|统一 VSL-RSPO 学习]]
|