20260706:新增一些文章

This commit is contained in:
2026-07-06 10:14:02 +08:00
parent 6021dea160
commit 24b006225b
194 changed files with 8512 additions and 91 deletions

View File

@@ -0,0 +1,26 @@
---
title: "Recommendation Result Cache (Reco Result Cache)"
created: 2026-06-28
updated: 2026-06-28
type: concept
tags: [generative-recommendation, serving-optimization, caching]
sources: [GR4AD]
---
# Recommendation Result Cache
推荐结果缓存是 [[GR4AD]] 中针对推荐场景的短 TTL 缓存优化。单个用户可能在短时间内发起多次广告请求,而在此期间用户意图和候选广告池通常保持稳定。
## 设计
- **缓存粒度**:以(用户上下文 + 请求特征)为键,缓存已生成的广告推荐列表
- **TTLTime-to-Live**:短周期(如 1 分钟),在用户意图稳定期间复用,意图变化后自动过期
- **命中效果**:后续请求直接复用缓存结果,无需经过推理管线
## 推理成本节约
广告推荐中,用户在一次 session 内可能触发多次请求(页面滑动、刷新等)。缓存将这些"重复"请求从推理服务器卸载,显著降低计算资源消耗而不降低服务质量。
## 参考
- [[GR4AD]]
- [[dynamic-beam-serving|DBS]]