---
title: "Unified VSL-RSPO Learning"
created: 2026-06-28
updated: 2026-06-28
type: concept
tags: [generative-recommendation, online-learning, multi-objective-optimization]
sources: [GR4AD]
---
# Unified VSL-RSPO Learning

统一 VSL-RSPO 学习是 [[GR4AD]] 的在线学习框架，将[[value-aware-supervised-learning|VSL]]和[[rspo|RSPO]]紧密集成到单一训练流中，实现模仿与探索的动态平衡。

## 动机

LLM 训练中，预训练 → SFT → RL 通常分阶段进行。但在生产推荐场景中，模型通过在线学习持续更新，必须将 VSL 和 RSPO 联合训练。关键挑战：如何动态平衡"模仿历史分布"（VSL）和"向高价值方向探索"（RSPO）。

## 对齐分数

引入样本级对齐分数，度量模型当前偏好与奖励信号之间的失配程度。对于大小为 $n$ 的候选列表，令 $r_p(i)$ 和 $r_v(i)$ 分别为候选 $i$ 按模型似然 $p_\theta(y_i|X)$ 和奖励 $v_i$（eCPM）的排序：

$$A(i) = \frac{|r_p(i) - r_v(i)|}{n-1}, \quad A(i) \in [0, 1]$$

- $A(i)$ 大 → 模型排序偏离奖励排序，VSL 权重增大（需要更好的模仿）
- $A(i)$ 小 → 模型已基本对齐，RSPO 权重增大（进行价值优化）

## 动态加权

$$w_{VSL}^{(i)} = w_0 \cdot \exp(A(i) \cdot \log(1+v_i))$$
$$w_{RL}^{(i)} = w_0 \cdot Z_{\max}(1 - A(i))$$

S 形加权方案使得：
- 高价值 item + 低对齐 → VSL 强驱动
- 已对齐序列 → RSPO 主导优化

最终目标：
$$\mathcal{L} = \mathbb{E}_{i \sim D}\left[w_{VSL}^{(i)} \mathcal{L}_{VSL}^{(i)} + w_{RL}^{(i)} \mathcal{L}_{RSPO}^{(i)}\right]$$

## 参考

- [[GR4AD]]
- [[value-aware-supervised-learning|VSL]]
- [[rspo|RSPO]]