myWiki/concepts/cache-cold-start.md

title, created, updated, type, tags, sources

title	created	updated	type	tags	sources
Cache Cold-Start (缓存冷启动)	2026-05-29	2026-05-29	concept	distributed-systems caching LLM latency	https://mp.weixin.qq.com/s/MUWV7eug14bktUMlqsxfQw

Cache Cold-Start (缓存冷启动)

Cache Cold-Start 指在分布式 distributed-prompt-caching 环境中，当一个 Agent 节点尝试接入已有会话但本地无前缀缓存时，必须跨越网络重新传输全部历史 Token 并触发 LLM 端完整前缀重算的现象。

在量化交易中的影响

典型场景：信号挖掘节点已积累 150k Token 的热上下文 → 高波动行情触发横向扩展 → 验证节点发起首次 API 调用 → 发生 Cache Cold-Start：

• 网络传输：物理上重新发送 150k Token
• 计算重算：LLM 服务端完整前缀重算（数秒）
• 后果：信号时效性彻底丧失

解决方案

1. 主动预热（active-cache-warmup）：在需要前通过 Shadow Calling 预填充缓存
2. 分布式路由（distributed-cache-routing）：通过 Redis 路由表查询热节点位置
3. 降级策略（context-pruning）：冷启动不可避时，裁剪上下文至最小可接受范围

相关

• distributed-prompt-caching — 分布式缓存体系
• shadow-calling — 消除冷启动的核心机制
• context-pruning — 冷启动时的降级方案