48 lines
2.1 KiB
Markdown
48 lines
2.1 KiB
Markdown
---
|
||
title: "RSPO (Ranking-Guided Softmax Preference Optimization)"
|
||
created: 2026-06-28
|
||
updated: 2026-06-28
|
||
type: concept
|
||
tags: [generative-recommendation, reinforcement-learning, list-wise-optimization, ndcg]
|
||
sources: [GR4AD]
|
||
---
|
||
# Ranking-Guided Softmax Preference Optimization (RSPO)
|
||
|
||
RSPO 是 [[GR4AD]] 提出的排序引导 list-wise 强化学习算法，用于在生成式推荐中显式优化列表级业务目标（NDCG、eCPM）。
|
||
|
||
## 动机
|
||
|
||
LLM 领域的偏好优化方法（DPO、GRPO、SimPO）是为单输出对齐设计的。推荐系统需要生成**排序列表**，per-item 奖励无法完整捕捉列表级优化目标。此外，训练样本不仅来自自生成 log，还包含其他生产管线收集的数据，参考分布可能缺失或过期。
|
||
|
||
## 目标函数
|
||
|
||
RSPO 的核心损失基于 LambdaRank 的 pairwise NDCG 优化思想：
|
||
|
||
$$\mathcal{L}_{RSPO} = -\mathbb{E}_{i,j}\left[\Delta_{ij} \cdot \log \sigma\left(\beta \log \frac{p_\theta(y_i|X)}{p_{ref}(y_i|X)} - \beta \log \frac{p_\theta(y_j|X)}{p_{ref}(y_j|X)}\right)\right]$$
|
||
|
||
其中 $\Delta_{ij} = |G_i - G_j| \cdot \left|\frac{1}{D_{|i-j|+1}}\right|$ 是 Lambda 权重——位置差异越大、增益差异越大的 item pair 获得越高的优化权重。$G_i = 2^{v_i} - 1$ 将价值 $v_i$（eCPM）映射为增益。
|
||
|
||
理论保证：$\mathcal{L}_{RSPO}$ 是 NDCG 代价的上界。
|
||
|
||
## 参考门控机制
|
||
|
||
训练样本来自异构来源，不是所有样本都有可靠的参考分布 $p_{ref}$：
|
||
|
||
$$C_{ij} = \begin{cases} 1 & \text{if } \frac{1}{|\mathbb{E}_i \cup \{y_i\}|} \sum_{y_t} \left|\log \frac{p_\theta(y_t|X)}{p_{ref}(y_t|X)}\right| < \delta \\ 0 & \text{otherwise} \end{cases}$$
|
||
|
||
当当前模型与参考分布偏差过大时，关闭参考约束以避免噪音正则化。
|
||
|
||
## 与 DPO/GRPO 的对比
|
||
|
||
| 方法 | 优化粒度 | 排序感知 | 参考门控 |
|
||
|------|---------|---------|---------|
|
||
| DPO | pairwise preference | 否 | 否 |
|
||
| GRPO | group-wise relative | 否 | 否 |
|
||
| **RSPO** | **list-wise Lambda** | **是（NDCG-aware）** | **是（自适应门控）** |
|
||
|
||
## 参考
|
||
|
||
- [[GR4AD]]
|
||
- [[value-aware-supervised-learning|VSL]]
|
||
- [[unified-vsl-rspo|统一 VSL-RSPO 学习]]
|