20260706:新增一些文章

concepts/value-aware-supervised-learning.md

@@ -0,0 +1,42 @@
+---
+title: "Value-Aware Supervised Learning (VSL)"
+created: 2026-06-28
+updated: 2026-06-28
+type: concept
+tags: [generative-recommendation, online-learning, value-modeling]
+sources: [GR4AD]
+---
+# Value-Aware Supervised Learning (VSL)
+
+VSL 是 [[GR4AD]] 提出的价值感知监督学习框架，将广告业务价值信号注入生成式推荐的训练过程。
+
+## 核心组件
+
+**1. 下一 token 预测（NTP）**：标准自回归 UA-SID 预测
+$$\mathcal{L}_{SID} = -\sum_{t=1}^T \log P_\theta(s_t | X, s_{<t})$$
+
+**2. eCPM token 预测**：在 UA-SID 序列末尾追加一个特殊的 eCPM 预测 token，训练模型同时预测广告价值。这一设计将业务目标直接编码为生成目标的一部分。
+
+$$\mathcal{L}_{eCPM} = \text{MSE}(\hat{v}, v^*)$$
+
+总 NTP 损失：$\mathcal{L}_{NTP} = \mathcal{L}_{SID} + \lambda_e \mathcal{L}_{eCPM}$
+
+**3. 价值感知样本加权**：广告训练样本的价值分布高度偏斜。VSL 对每个样本施加双重加权：
+$$w = w_{user} \cdot w_{behavior}$$
+
+- $w_{user}$：用户长期广告价值（高价值用户 → 更高权重）
+- $w_{behavior}$：互动深度（购买 > 点击，深层行为 → 更高权重）
+
+**4. 辅助 MTP 损失**：为[[lazyar|LazyAR]]的前 $K$ 层共享段引入额外的多 token 预测损失，要求 trunk 状态在不依赖自回归信号的条件下直接预测目标 token，增强共享段表示的预测能力。仅训练时使用。
+
+$$\mathcal{L}_{VSL} = \mathbb{E}_D \left[w (\mathcal{L}_{NTP} + \lambda_{mtp} \mathcal{L}_{MTP})\right]$$
+
+## 与标准 SFT 的区别
+
+标准 SFT 对所有样本一视同仁。VSL 通过价值感知加权和 eCPM token 将业务目标直接嵌入监督信号，使模型即使在不使用 RL 的情况下也能感知广告价值差异。
+
+## 参考
+
+- [[GR4AD]]
+- [[rspo|RSPO]]
+- [[unified-vsl-rspo|统一 VSL-RSPO 学习]]