GR4AD: Generative Recommendation for Large-Scale Advertising

元数据

标题: Generative Recommendation for Large-Scale Advertising
作者: Ben Xue, Dan Liu, Lixiang Wang, Mingjie Sun, Peng Wang, Pengfei Zhang 等 (Kuaishou Technology)
arXiv: 2602.22732
发表: 2026-02-26 (v3: 2026-04-02)
领域: cs.IR, cs.LG
状态: Under review

摘要

GR4AD 是一个面向大规模广告的生产级生成式推荐系统，在架构、学习和推理三个维度协同设计。核心创新：(1) UA-SID——基于端到端微调广告 MLLM 的统一语义 ID tokenization；(2) LazyAR——懒惰自回归解码器，通过延迟注入释放自回归依赖以提升推理吞吐；(3) VSL + RSPO——价值感知监督学习与排序引导 list-wise RL 的统一在线学习；(4) DBS——动态束搜索服务，自适应束宽和流量感知调度。在快手广告系统全量部署，服务 4 亿+ 用户，线上 A/B 测试显示相对 DLRM 堆栈广告收入提升 4.2%。

核心贡献

1. 广告原生 Tokenization：UA-SID

传统 Semantic ID 未建模广告特有的业务信号（转化类型、广告主账户等）。ua-sid通过端到端微调广告 MLLM（指令微调 + 共现学习）生成统一嵌入，再经mgmr-rq-kmeans量化为多粒度多分辨率离散 ID 序列，显著降低碰撞率并提升 codebook 利用率。

2. 高效解码器架构：LazyAR

标准自回归解码每级 UA-SID 需完整 L 层计算（$T \cdot L$）。lazyar将前 K 层设为级别共享段（trunk），仅在 L-K 层注入前级 token 嵌入，计算量降至 $K + T \cdot (L-K)$。配合辅助 MTP 损失补偿表示质量，实现近翻倍 QPS。

3. 价值感知在线学习：VSL + RSPO

value-aware-supervised-learning通过 eCPM token 预测和价值感知样本加权，将业务信号嵌入 SFT。rspo在此基础上进行 LambdaRank 驱动的 list-wise RL，显式优化 NDCG。unified-vsl-rspo通过样本级对齐分数动态平衡模仿与探索。

4. 系统效率优化

dynamic-beam-serving（DBW + TABS）自适应调整束宽度，beam-shared-kv-caching消除束间冗余 KV 缓存，reco-result-cache短 TTL 缓存复用 session 内重复请求。

关键结果

组件	ΔRevenue	ΔQPS
DLRM (Base)	—	—
OneRec-V2 (GR-Base)	+1.68%	—
+ UA-SID	+1.92%	0%
+ VSL + RSPO (UVR)	+4.01%	-25%
GR4AD (UVR + DBS + LazyAR)	+4.28%	+117%

除收入外，中小企业广告投放量 +17.5%，转化率 +10.17%，低活跃用户转化率 +7.28%。

概念网络

架构轴：generative-recommendation → semantic-id → ua-sid → mgmr-rq-kmeans → lazyar

学习轴：value-aware-supervised-learning → rspo → unified-vsl-rspo

服务轴：dynamic-beam-serving → beam-shared-kv-caching → reco-result-cache

3.5 KiB Raw Permalink Blame History Unescape Escape