1.8 KiB
1.8 KiB
title, created, updated, type, tags, sources
| title | created | updated | type | tags | sources | ||||
|---|---|---|---|---|---|---|---|---|---|
| Value-Aware Supervised Learning (VSL) | 2026-06-28 | 2026-06-28 | concept |
|
|
Value-Aware Supervised Learning (VSL)
VSL 是 GR4AD 提出的价值感知监督学习框架，将广告业务价值信号注入生成式推荐的训练过程。
核心组件
1. 下一 token 预测（NTP）：标准自回归 UA-SID 预测
\mathcal{L}_{SID} = -\sum_{t=1}^T \log P_\theta(s_t | X, s_{<t})
2. eCPM token 预测：在 UA-SID 序列末尾追加一个特殊的 eCPM 预测 token，训练模型同时预测广告价值。这一设计将业务目标直接编码为生成目标的一部分。
\mathcal{L}_{eCPM} = \text{MSE}(\hat{v}, v^*)
总 NTP 损失：\mathcal{L}_{NTP} = \mathcal{L}_{SID} + \lambda_e \mathcal{L}_{eCPM}
3. 价值感知样本加权：广告训练样本的价值分布高度偏斜。VSL 对每个样本施加双重加权：
w = w_{user} \cdot w_{behavior}
- $w_{user}$：用户长期广告价值（高价值用户 → 更高权重）
- $w_{behavior}$：互动深度（购买 > 点击，深层行为 → 更高权重）
4. 辅助 MTP 损失：为lazyar的前 K 层共享段引入额外的多 token 预测损失，要求 trunk 状态在不依赖自回归信号的条件下直接预测目标 token，增强共享段表示的预测能力。仅训练时使用。
\mathcal{L}_{VSL} = \mathbb{E}_D \left[w (\mathcal{L}_{NTP} + \lambda_{mtp} \mathcal{L}_{MTP})\right]
与标准 SFT 的区别
标准 SFT 对所有样本一视同仁。VSL 通过价值感知加权和 eCPM token 将业务目标直接嵌入监督信号，使模型即使在不使用 RL 的情况下也能感知广告价值差异。