20260601

concepts/distributed-prompt-caching.md

@@ -0,0 +1,44 @@
+---
+title: "Distributed Prompt Caching (分布式提示词缓存)"
+created: 2026-05-29
+updated: 2026-05-29
+type: concept
+tags: ["distributed-systems", "prompt-caching", "LLM", "agent"]
+sources: ["https://mp.weixin.qq.com/s/MUWV7eug14bktUMlqsxfQw"]
+---
+
+# Distributed Prompt Caching (分布式提示词缓存)
+
+**Distributed Prompt Caching** 是将单机 [[prompt-caching]] 机制扩展到多机分布式集群的技术体系，解决跨物理节点的上下文缓存同步问题。在量化交易、多 Agent 协作等分布式场景中至关重要。
+
+## 核心挑战
+
+- **[[cache-cold-start|缓存冷启动]]**：新节点缺少已有会话的前缀哈希，导致全额 Token 重传和秒级重算
+- **跨服务商缓存割裂**：不同 LLM 供应商的缓存实现机制完全不同（Session ID vs Trie 树匹配）
+- **一致性风险**：多节点并发更新同一上下文时可能发生缓存"分叉"
+
+## 解决架构
+
+分布式 Prompt Caching 依赖三个核心组件：
+1. **[[global-context-hash-tree]]** — 基于 SHA-256 的会话唯一标识
+2. **[[distributed-cache-routing]]** — Redis 骨干网状态路由表
+3. **[[active-cache-warmup]]** — 预测性跨机预热
+
+## 与单机 Prompt Caching 的对比
+
+| 维度 | 单机 | 分布式 |
+|------|------|--------|
+| 缓存范围 | 单实例进程内 | 跨物理节点 + 跨服务商 |
+| 标识机制 | 前缀字节匹配 | SHA-256 复合键 |
+| 预热方式 | 被动（首次请求即缓存） | 主动（Shadow Calling） |
+| 一致性 | 无需处理 | 乐观锁 + 版本号 |
+
+## 核心原则
+
+> 用**空间的确定性**（高带宽内网 + Redis 路由）换取**时间的确定性**（消除秒级重算延迟）
+
+## 相关
+
+- [[distributed-agent-cache-sync-2026]] — 原始文章
+- [[prompt-caching]] — 单机 Prompt Caching
+- [[active-cache-warmup]] — 跨机预热机制