27 lines
1.0 KiB
Markdown
27 lines
1.0 KiB
Markdown
---
|
||
title: "Recommendation Result Cache (Reco Result Cache)"
|
||
created: 2026-06-28
|
||
updated: 2026-06-28
|
||
type: concept
|
||
tags: [generative-recommendation, serving-optimization, caching]
|
||
sources: [GR4AD]
|
||
---
|
||
# Recommendation Result Cache
|
||
|
||
推荐结果缓存是 [[GR4AD]] 中针对推荐场景的短 TTL 缓存优化。单个用户可能在短时间内发起多次广告请求，而在此期间用户意图和候选广告池通常保持稳定。
|
||
|
||
## 设计
|
||
|
||
- **缓存粒度**：以（用户上下文 + 请求特征）为键，缓存已生成的广告推荐列表
|
||
- **TTL（Time-to-Live）**：短周期（如 1 分钟），在用户意图稳定期间复用，意图变化后自动过期
|
||
- **命中效果**：后续请求直接复用缓存结果，无需经过推理管线
|
||
|
||
## 推理成本节约
|
||
|
||
广告推荐中，用户在一次 session 内可能触发多次请求（页面滑动、刷新等）。缓存将这些"重复"请求从推理服务器卸载，显著降低计算资源消耗而不降低服务质量。
|
||
|
||
## 参考
|
||
|
||
- [[GR4AD]]
|
||
- [[dynamic-beam-serving|DBS]]
|