1.6 KiB
1.6 KiB
title, created, updated, type, tags, sources
| title | created | updated | type | tags | sources | ||||
|---|---|---|---|---|---|---|---|---|---|
| Unified VSL-RSPO Learning | 2026-06-28 | 2026-06-28 | concept |
|
|
Unified VSL-RSPO Learning
统一 VSL-RSPO 学习是 GR4AD 的在线学习框架，将value-aware-supervised-learning和rspo紧密集成到单一训练流中，实现模仿与探索的动态平衡。
动机
LLM 训练中，预训练 → SFT → RL 通常分阶段进行。但在生产推荐场景中，模型通过在线学习持续更新，必须将 VSL 和 RSPO 联合训练。关键挑战：如何动态平衡"模仿历史分布"（VSL）和"向高价值方向探索"（RSPO）。
对齐分数
引入样本级对齐分数，度量模型当前偏好与奖励信号之间的失配程度。对于大小为 n 的候选列表，令 r_p(i) 和 r_v(i) 分别为候选 i 按模型似然 p_\theta(y_i|X) 和奖励 $v_i$（eCPM）的排序：
A(i) = \frac{|r_p(i) - r_v(i)|}{n-1}, \quad A(i) \in [0, 1]
A(i)大 → 模型排序偏离奖励排序，VSL 权重增大（需要更好的模仿）A(i)小 → 模型已基本对齐，RSPO 权重增大（进行价值优化）
动态加权
w_{VSL}^{(i)} = w_0 \cdot \exp(A(i) \cdot \log(1+v_i))
w_{RL}^{(i)} = w_0 \cdot Z_{\max}(1 - A(i))
S 形加权方案使得：
- 高价值 item + 低对齐 → VSL 强驱动
- 已对齐序列 → RSPO 主导优化
最终目标：
\mathcal{L} = \mathbb{E}_{i \sim D}\left[w_{VSL}^{(i)} \mathcal{L}_{VSL}^{(i)} + w_{RL}^{(i)} \mathcal{L}_{RSPO}^{(i)}\right]