43 lines
1.6 KiB
Markdown
43 lines
1.6 KiB
Markdown
---
|
||
title: "Unified VSL-RSPO Learning"
|
||
created: 2026-06-28
|
||
updated: 2026-06-28
|
||
type: concept
|
||
tags: [generative-recommendation, online-learning, multi-objective-optimization]
|
||
sources: [GR4AD]
|
||
---
|
||
# Unified VSL-RSPO Learning
|
||
|
||
统一 VSL-RSPO 学习是 [[GR4AD]] 的在线学习框架，将[[value-aware-supervised-learning|VSL]]和[[rspo|RSPO]]紧密集成到单一训练流中，实现模仿与探索的动态平衡。
|
||
|
||
## 动机
|
||
|
||
LLM 训练中，预训练 → SFT → RL 通常分阶段进行。但在生产推荐场景中，模型通过在线学习持续更新，必须将 VSL 和 RSPO 联合训练。关键挑战：如何动态平衡"模仿历史分布"（VSL）和"向高价值方向探索"（RSPO）。
|
||
|
||
## 对齐分数
|
||
|
||
引入样本级对齐分数，度量模型当前偏好与奖励信号之间的失配程度。对于大小为 $n$ 的候选列表，令 $r_p(i)$ 和 $r_v(i)$ 分别为候选 $i$ 按模型似然 $p_\theta(y_i|X)$ 和奖励 $v_i$（eCPM）的排序：
|
||
|
||
$$A(i) = \frac{|r_p(i) - r_v(i)|}{n-1}, \quad A(i) \in [0, 1]$$
|
||
|
||
- $A(i)$ 大 → 模型排序偏离奖励排序，VSL 权重增大（需要更好的模仿）
|
||
- $A(i)$ 小 → 模型已基本对齐，RSPO 权重增大（进行价值优化）
|
||
|
||
## 动态加权
|
||
|
||
$$w_{VSL}^{(i)} = w_0 \cdot \exp(A(i) \cdot \log(1+v_i))$$
|
||
$$w_{RL}^{(i)} = w_0 \cdot Z_{\max}(1 - A(i))$$
|
||
|
||
S 形加权方案使得：
|
||
- 高价值 item + 低对齐 → VSL 强驱动
|
||
- 已对齐序列 → RSPO 主导优化
|
||
|
||
最终目标：
|
||
$$\mathcal{L} = \mathbb{E}_{i \sim D}\left[w_{VSL}^{(i)} \mathcal{L}_{VSL}^{(i)} + w_{RL}^{(i)} \mathcal{L}_{RSPO}^{(i)}\right]$$
|
||
|
||
## 参考
|
||
|
||
- [[GR4AD]]
|
||
- [[value-aware-supervised-learning|VSL]]
|
||
- [[rspo|RSPO]]
|