62 lines
3.5 KiB
Markdown
62 lines
3.5 KiB
Markdown
---
|
||
title: "GR4AD: Generative Recommendation for Large-Scale Advertising"
|
||
created: 2026-06-28
|
||
updated: 2026-06-28
|
||
type: paper
|
||
tags: [generative-recommendation, advertising, production-system, kuaishou]
|
||
sources: [arxiv:2602.22732]
|
||
---
|
||
|
||
# GR4AD: Generative Recommendation for Large-Scale Advertising
|
||
|
||
## 元数据
|
||
|
||
- **标题**: Generative Recommendation for Large-Scale Advertising
|
||
- **作者**: Ben Xue, Dan Liu, Lixiang Wang, Mingjie Sun, Peng Wang, Pengfei Zhang 等 (Kuaishou Technology)
|
||
- **arXiv**: [2602.22732](https://arxiv.org/abs/2602.22732)
|
||
- **发表**: 2026-02-26 (v3: 2026-04-02)
|
||
- **领域**: cs.IR, cs.LG
|
||
- **状态**: Under review
|
||
|
||
## 摘要
|
||
|
||
GR4AD 是一个面向大规模广告的**生产级生成式推荐系统**，在架构、学习和推理三个维度协同设计。核心创新：(1) **UA-SID**——基于端到端微调广告 MLLM 的统一语义 ID tokenization；(2) **LazyAR**——懒惰自回归解码器，通过延迟注入释放自回归依赖以提升推理吞吐；(3) **VSL + RSPO**——价值感知监督学习与排序引导 list-wise RL 的统一在线学习；(4) **DBS**——动态束搜索服务，自适应束宽和流量感知调度。在快手广告系统全量部署，服务 4 亿+ 用户，线上 A/B 测试显示相对 DLRM 堆栈广告收入提升 4.2%。
|
||
|
||
## 核心贡献
|
||
|
||
### 1. 广告原生 Tokenization：UA-SID
|
||
|
||
传统 Semantic ID 未建模广告特有的业务信号（转化类型、广告主账户等）。[[ua-sid|UA-SID]]通过端到端微调广告 MLLM（指令微调 + 共现学习）生成统一嵌入，再经[[mgmr-rq-kmeans|MGMR RQ-Kmeans]]量化为多粒度多分辨率离散 ID 序列，显著降低碰撞率并提升 codebook 利用率。
|
||
|
||
### 2. 高效解码器架构：LazyAR
|
||
|
||
标准自回归解码每级 UA-SID 需完整 $L$ 层计算（$T \cdot L$）。[[lazyar|LazyAR]]将前 $K$ 层设为级别共享段（trunk），仅在 $L-K$ 层注入前级 token 嵌入，计算量降至 $K + T \cdot (L-K)$。配合辅助 MTP 损失补偿表示质量，实现近翻倍 QPS。
|
||
|
||
### 3. 价值感知在线学习：VSL + RSPO
|
||
|
||
[[value-aware-supervised-learning|VSL]]通过 eCPM token 预测和价值感知样本加权，将业务信号嵌入 SFT。[[rspo|RSPO]]在此基础上进行 LambdaRank 驱动的 list-wise RL，显式优化 NDCG。[[unified-vsl-rspo|统一 VSL-RSPO 学习]]通过样本级对齐分数动态平衡模仿与探索。
|
||
|
||
### 4. 系统效率优化
|
||
|
||
[[dynamic-beam-serving|DBS]]（DBW + TABS）自适应调整束宽度，[[beam-shared-kv-caching|Beam-Shared KV Caching]]消除束间冗余 KV 缓存，[[reco-result-cache|Recommendation Result Cache]]短 TTL 缓存复用 session 内重复请求。
|
||
|
||
## 关键结果
|
||
|
||
| 组件 | ΔRevenue | ΔQPS |
|
||
|------|---------|------|
|
||
| DLRM (Base) | — | — |
|
||
| OneRec-V2 (GR-Base) | +1.68% | — |
|
||
| + UA-SID | +1.92% | 0% |
|
||
| + VSL + RSPO (UVR) | +4.01% | -25% |
|
||
| **GR4AD (UVR + DBS + LazyAR)** | **+4.28%** | **+117%** |
|
||
|
||
除收入外，中小企业广告投放量 +17.5%，转化率 +10.17%，低活跃用户转化率 +7.28%。
|
||
|
||
## 概念网络
|
||
|
||
**架构轴**：[[generative-recommendation|生成式推荐（Generative Recommendation）]] → [[semantic-id|语义 ID（Semantic ID）]] → [[ua-sid|UA-SID]] → [[mgmr-rq-kmeans|MGMR RQ-Kmeans]] → [[lazyar|LazyAR]]
|
||
|
||
**学习轴**：[[value-aware-supervised-learning|VSL]] → [[rspo|RSPO]] → [[unified-vsl-rspo|统一 VSL-RSPO 学习]]
|
||
|
||
**服务轴**：[[dynamic-beam-serving|DBS]] → [[beam-shared-kv-caching|Beam-Shared KV Caching]] → [[reco-result-cache|Recommendation Result Cache]]
|