1.4 KiB
1.4 KiB
title, created, updated, type, tags, sources
| title | created | updated | type | tags | sources | |||||
|---|---|---|---|---|---|---|---|---|---|---|
| Cache-Safe Forking（缓存安全分叉） | 2026-05-11 | 2026-05-11 | concept |
|
|
Cache-Safe Forking（缓存安全分叉）
定义
Cache-Safe Forking 是一种在 context-compression 过程中保持 prompt-caching 命中的技术，通过复用父会话的完整前缀避免压缩操作触发缓存失效。
算法
- 复用父会话属性：新请求对象包含与父会话完全相同的 System Prompt、Tools 定义、Session 配置
- 强制拼接历史：将父会话的完整 Message 历史直接拷贝到新请求
- 追加总结指令：在历史末尾追加 User Message：「基于上述历史，执行压缩总结」
效果
由于新请求的前缀（历史 + 系统指令）与父会话最后状态几乎完全重叠，API 层自动命中缓存，总结过程仅需计算最后追加的几百个 Token——将压缩成本降低一个数量级。
应用场景
- 长对话的自动总结
- meta-jctrader 中 AI Judge 的长期运行评估
- agentic-systems 中无视上下文长度限制的持续推理