20260706:新增一些文章

concepts/unified-vsl-rspo.md

@@ -0,0 +1,42 @@
+---
+title: "Unified VSL-RSPO Learning"
+created: 2026-06-28
+updated: 2026-06-28
+type: concept
+tags: [generative-recommendation, online-learning, multi-objective-optimization]
+sources: [GR4AD]
+---
+# Unified VSL-RSPO Learning
+
+统一 VSL-RSPO 学习是 [[GR4AD]] 的在线学习框架，将[[value-aware-supervised-learning|VSL]]和[[rspo|RSPO]]紧密集成到单一训练流中，实现模仿与探索的动态平衡。
+
+## 动机
+
+LLM 训练中，预训练 → SFT → RL 通常分阶段进行。但在生产推荐场景中，模型通过在线学习持续更新，必须将 VSL 和 RSPO 联合训练。关键挑战：如何动态平衡"模仿历史分布"（VSL）和"向高价值方向探索"（RSPO）。
+
+## 对齐分数
+
+引入样本级对齐分数，度量模型当前偏好与奖励信号之间的失配程度。对于大小为 $n$ 的候选列表，令 $r_p(i)$ 和 $r_v(i)$ 分别为候选 $i$ 按模型似然 $p_\theta(y_i|X)$ 和奖励 $v_i$（eCPM）的排序：
+
+$$A(i) = \frac{|r_p(i) - r_v(i)|}{n-1}, \quad A(i) \in [0, 1]$$
+
+- $A(i)$ 大 → 模型排序偏离奖励排序，VSL 权重增大（需要更好的模仿）
+- $A(i)$ 小 → 模型已基本对齐，RSPO 权重增大（进行价值优化）
+
+## 动态加权
+
+$$w_{VSL}^{(i)} = w_0 \cdot \exp(A(i) \cdot \log(1+v_i))$$
+$$w_{RL}^{(i)} = w_0 \cdot Z_{\max}(1 - A(i))$$
+
+S 形加权方案使得：
+- 高价值 item + 低对齐 → VSL 强驱动
+- 已对齐序列 → RSPO 主导优化
+
+最终目标：
+$$\mathcal{L} = \mathbb{E}_{i \sim D}\left[w_{VSL}^{(i)} \mathcal{L}_{VSL}^{(i)} + w_{RL}^{(i)} \mathcal{L}_{RSPO}^{(i)}\right]$$
+
+## 参考
+
+- [[GR4AD]]
+- [[value-aware-supervised-learning|VSL]]
+- [[rspo|RSPO]]