1.0 KiB
1.0 KiB
title, created, updated, type, tags, sources
| title | created | updated | type | tags | sources | ||||
|---|---|---|---|---|---|---|---|---|---|
| Recommendation Result Cache (Reco Result Cache) | 2026-06-28 | 2026-06-28 | concept |
|
|
Recommendation Result Cache
推荐结果缓存是 GR4AD 中针对推荐场景的短 TTL 缓存优化。单个用户可能在短时间内发起多次广告请求，而在此期间用户意图和候选广告池通常保持稳定。
设计
- 缓存粒度：以（用户上下文 + 请求特征）为键，缓存已生成的广告推荐列表
- TTL（Time-to-Live）：短周期（如 1 分钟），在用户意图稳定期间复用，意图变化后自动过期
- 命中效果：后续请求直接复用缓存结果，无需经过推理管线
推理成本节约
广告推荐中，用户在一次 session 内可能触发多次请求（页面滑动、刷新等）。缓存将这些"重复"请求从推理服务器卸载，显著降低计算资源消耗而不降低服务质量。