20260514:增加新内容
This commit is contained in:
36
concepts/cache-safe-forking.md
Normal file
36
concepts/cache-safe-forking.md
Normal file
@@ -0,0 +1,36 @@
|
||||
---
|
||||
title: "Cache-Safe Forking(缓存安全分叉)"
|
||||
created: 2026-05-11
|
||||
updated: 2026-05-11
|
||||
type: concept
|
||||
tags: [agent-architecture, context-management, caching-optimization]
|
||||
sources: [[prompt-caching-architecture]]
|
||||
---
|
||||
|
||||
# Cache-Safe Forking(缓存安全分叉)
|
||||
|
||||
## 定义
|
||||
|
||||
Cache-Safe Forking 是一种在 [[context-compression|上下文压缩]] 过程中保持 [[prompt-caching|缓存]] 命中的技术,通过复用父会话的完整前缀避免压缩操作触发缓存失效。
|
||||
|
||||
## 算法
|
||||
|
||||
1. **复用父会话属性**:新请求对象包含与父会话完全相同的 System Prompt、Tools 定义、Session 配置
|
||||
2. **强制拼接历史**:将父会话的完整 Message 历史直接拷贝到新请求
|
||||
3. **追加总结指令**:在历史末尾追加 User Message:「基于上述历史,执行压缩总结」
|
||||
|
||||
## 效果
|
||||
|
||||
由于新请求的前缀(历史 + 系统指令)与父会话最后状态几乎完全重叠,API 层自动命中缓存,总结过程仅需计算最后追加的几百个 Token——将压缩成本降低一个数量级。
|
||||
|
||||
## 应用场景
|
||||
|
||||
- 长对话的自动总结
|
||||
- [[meta-jctrader|Meta-JCTrader]] 中 AI Judge 的长期运行评估
|
||||
- [[agentic-systems|Agent 系统]] 中无视上下文长度限制的持续推理
|
||||
|
||||
## 相关概念
|
||||
|
||||
- [[context-compression|上下文压缩]]
|
||||
- [[prompt-caching|Prompt Caching]]
|
||||
- [[agentic-systems|Agentic Systems]]
|
||||
Reference in New Issue
Block a user