20260706:新增一些文章

papers/GR4AD.md

@@ -0,0 +1,61 @@
+---
+title: "GR4AD: Generative Recommendation for Large-Scale Advertising"
+created: 2026-06-28
+updated: 2026-06-28
+type: paper
+tags: [generative-recommendation, advertising, production-system, kuaishou]
+sources: [arxiv:2602.22732]
+---
+
+# GR4AD: Generative Recommendation for Large-Scale Advertising
+
+## 元数据
+
+- **标题**: Generative Recommendation for Large-Scale Advertising
+- **作者**: Ben Xue, Dan Liu, Lixiang Wang, Mingjie Sun, Peng Wang, Pengfei Zhang 等 (Kuaishou Technology)
+- **arXiv**: [2602.22732](https://arxiv.org/abs/2602.22732)
+- **发表**: 2026-02-26 (v3: 2026-04-02)
+- **领域**: cs.IR, cs.LG
+- **状态**: Under review
+
+## 摘要
+
+GR4AD 是一个面向大规模广告的**生产级生成式推荐系统**，在架构、学习和推理三个维度协同设计。核心创新：(1) **UA-SID**——基于端到端微调广告 MLLM 的统一语义 ID tokenization；(2) **LazyAR**——懒惰自回归解码器，通过延迟注入释放自回归依赖以提升推理吞吐；(3) **VSL + RSPO**——价值感知监督学习与排序引导 list-wise RL 的统一在线学习；(4) **DBS**——动态束搜索服务，自适应束宽和流量感知调度。在快手广告系统全量部署，服务 4 亿+ 用户，线上 A/B 测试显示相对 DLRM 堆栈广告收入提升 4.2%。
+
+## 核心贡献
+
+### 1. 广告原生 Tokenization：UA-SID
+
+传统 Semantic ID 未建模广告特有的业务信号（转化类型、广告主账户等）。[[ua-sid|UA-SID]]通过端到端微调广告 MLLM（指令微调 + 共现学习）生成统一嵌入，再经[[mgmr-rq-kmeans|MGMR RQ-Kmeans]]量化为多粒度多分辨率离散 ID 序列，显著降低碰撞率并提升 codebook 利用率。
+
+### 2. 高效解码器架构：LazyAR
+
+标准自回归解码每级 UA-SID 需完整 $L$ 层计算（$T \cdot L$）。[[lazyar|LazyAR]]将前 $K$ 层设为级别共享段（trunk），仅在 $L-K$ 层注入前级 token 嵌入，计算量降至 $K + T \cdot (L-K)$。配合辅助 MTP 损失补偿表示质量，实现近翻倍 QPS。
+
+### 3. 价值感知在线学习：VSL + RSPO
+
+[[value-aware-supervised-learning|VSL]]通过 eCPM token 预测和价值感知样本加权，将业务信号嵌入 SFT。[[rspo|RSPO]]在此基础上进行 LambdaRank 驱动的 list-wise RL，显式优化 NDCG。[[unified-vsl-rspo|统一 VSL-RSPO 学习]]通过样本级对齐分数动态平衡模仿与探索。
+
+### 4. 系统效率优化
+
+[[dynamic-beam-serving|DBS]]（DBW + TABS）自适应调整束宽度，[[beam-shared-kv-caching|Beam-Shared KV Caching]]消除束间冗余 KV 缓存，[[reco-result-cache|Recommendation Result Cache]]短 TTL 缓存复用 session 内重复请求。
+
+## 关键结果
+
+| 组件 | ΔRevenue | ΔQPS |
+|------|---------|------|
+| DLRM (Base) | — | — |
+| OneRec-V2 (GR-Base) | +1.68% | — |
+| + UA-SID | +1.92% | 0% |
+| + VSL + RSPO (UVR) | +4.01% | -25% |
+| **GR4AD (UVR + DBS + LazyAR)** | **+4.28%** | **+117%** |
+
+除收入外，中小企业广告投放量 +17.5%，转化率 +10.17%，低活跃用户转化率 +7.28%。
+
+## 概念网络
+
+**架构轴**：[[generative-recommendation|生成式推荐（Generative Recommendation）]] → [[semantic-id|语义 ID（Semantic ID）]] → [[ua-sid|UA-SID]] → [[mgmr-rq-kmeans|MGMR RQ-Kmeans]] → [[lazyar|LazyAR]]
+
+**学习轴**：[[value-aware-supervised-learning|VSL]] → [[rspo|RSPO]] → [[unified-vsl-rspo|统一 VSL-RSPO 学习]]
+
+**服务轴**：[[dynamic-beam-serving|DBS]] → [[beam-shared-kv-caching|Beam-Shared KV Caching]] → [[reco-result-cache|Recommendation Result Cache]]