20260706:新增一些文章

concepts/rspo.md

@@ -0,0 +1,47 @@
+---
+title: "RSPO (Ranking-Guided Softmax Preference Optimization)"
+created: 2026-06-28
+updated: 2026-06-28
+type: concept
+tags: [generative-recommendation, reinforcement-learning, list-wise-optimization, ndcg]
+sources: [GR4AD]
+---
+# Ranking-Guided Softmax Preference Optimization (RSPO)
+
+RSPO 是 [[GR4AD]] 提出的排序引导 list-wise 强化学习算法，用于在生成式推荐中显式优化列表级业务目标（NDCG、eCPM）。
+
+## 动机
+
+LLM 领域的偏好优化方法（DPO、GRPO、SimPO）是为单输出对齐设计的。推荐系统需要生成**排序列表**，per-item 奖励无法完整捕捉列表级优化目标。此外，训练样本不仅来自自生成 log，还包含其他生产管线收集的数据，参考分布可能缺失或过期。
+
+## 目标函数
+
+RSPO 的核心损失基于 LambdaRank 的 pairwise NDCG 优化思想：
+
+$$\mathcal{L}_{RSPO} = -\mathbb{E}_{i,j}\left[\Delta_{ij} \cdot \log \sigma\left(\beta \log \frac{p_\theta(y_i|X)}{p_{ref}(y_i|X)} - \beta \log \frac{p_\theta(y_j|X)}{p_{ref}(y_j|X)}\right)\right]$$
+
+其中 $\Delta_{ij} = |G_i - G_j| \cdot \left|\frac{1}{D_{|i-j|+1}}\right|$ 是 Lambda 权重——位置差异越大、增益差异越大的 item pair 获得越高的优化权重。$G_i = 2^{v_i} - 1$ 将价值 $v_i$（eCPM）映射为增益。
+
+理论保证：$\mathcal{L}_{RSPO}$ 是 NDCG 代价的上界。
+
+## 参考门控机制
+
+训练样本来自异构来源，不是所有样本都有可靠的参考分布 $p_{ref}$：
+
+$$C_{ij} = \begin{cases} 1 & \text{if } \frac{1}{|\mathbb{E}_i \cup \{y_i\}|} \sum_{y_t} \left|\log \frac{p_\theta(y_t|X)}{p_{ref}(y_t|X)}\right| < \delta \\ 0 & \text{otherwise} \end{cases}$$
+
+当当前模型与参考分布偏差过大时，关闭参考约束以避免噪音正则化。
+
+## 与 DPO/GRPO 的对比
+
+| 方法 | 优化粒度 | 排序感知 | 参考门控 |
+|------|---------|---------|---------|
+| DPO | pairwise preference | 否 | 否 |
+| GRPO | group-wise relative | 否 | 否 |
+| **RSPO** | **list-wise Lambda** | **是（NDCG-aware）** | **是（自适应门控）** |
+
+## 参考
+
+- [[GR4AD]]
+- [[value-aware-supervised-learning|VSL]]
+- [[unified-vsl-rspo|统一 VSL-RSPO 学习]]