Ranking-Guided Softmax Preference Optimization (RSPO)

RSPO 是 GR4AD 提出的排序引导 list-wise 强化学习算法，用于在生成式推荐中显式优化列表级业务目标（NDCG、eCPM）。

动机

LLM 领域的偏好优化方法（DPO、GRPO、SimPO）是为单输出对齐设计的。推荐系统需要生成排序列表，per-item 奖励无法完整捕捉列表级优化目标。此外，训练样本不仅来自自生成 log，还包含其他生产管线收集的数据，参考分布可能缺失或过期。

目标函数

RSPO 的核心损失基于 LambdaRank 的 pairwise NDCG 优化思想：

\mathcal{L}_{RSPO} = -\mathbb{E}_{i,j}\left[\Delta_{ij} \cdot \log \sigma\left(\beta \log \frac{p_\theta(y_i|X)}{p_{ref}(y_i|X)} - \beta \log \frac{p_\theta(y_j|X)}{p_{ref}(y_j|X)}\right)\right]

其中 \Delta_{ij} = |G_i - G_j| \cdot \left|\frac{1}{D_{|i-j|+1}}\right| 是 Lambda 权重——位置差异越大、增益差异越大的 item pair 获得越高的优化权重。G_i = 2^{v_i} - 1 将价值 $v_i$（eCPM）映射为增益。

理论保证：\mathcal{L}_{RSPO} 是 NDCG 代价的上界。

参考门控机制

训练样本来自异构来源，不是所有样本都有可靠的参考分布 $p_{ref}$：

C_{ij} = \begin{cases} 1 & \text{if } \frac{1}{|\mathbb{E}_i \cup \{y_i\}|} \sum_{y_t} \left|\log \frac{p_\theta(y_t|X)}{p_{ref}(y_t|X)}\right| < \delta \\ 0 & \text{otherwise} \end{cases}

当当前模型与参考分布偏差过大时，关闭参考约束以避免噪音正则化。

与 DPO/GRPO 的对比

方法	优化粒度	排序感知	参考门控
DPO	pairwise preference	否	否
GRPO	group-wise relative	否	否
RSPO	list-wise Lambda	是（NDCG-aware）	是（自适应门控）

2.1 KiB Raw Permalink Blame History Unescape Escape

Ranking-Guided Softmax Preference Optimization (RSPO)

动机

目标函数

参考门控机制

与 DPO/GRPO 的对比

参考

2.1 KiB

Raw Permalink Blame History