70 lines
3.2 KiB
Markdown
70 lines
3.2 KiB
Markdown
---
|
||
title: "分布式Agent缓存同步：从单机到多机的Prompt Caching架构升级"
|
||
created: 2026-05-29
|
||
updated: 2026-05-29
|
||
type: article
|
||
source: "微信公众号"
|
||
url: "https://mp.weixin.qq.com/s/MUWV7eug14bktUMlqsxfQw"
|
||
tags: ["distributed-systems", "prompt-caching", "quant-trading", "agent", "redis", "rdma"]
|
||
---
|
||
|
||
# 分布式Agent缓存同步
|
||
|
||
> **来源**: 微信公众号技术文章 (LLM + 量化交易系列) | 收录时间: 2026-05-29
|
||
|
||
## 核心问题
|
||
|
||
在高频量化系统的分布式多机架构中，[[prompt-caching]] 面临一个根本性挑战：单机的前缀匹配缓存机制被物理网络彻底割裂。当一个节点上的 Agent 已经积累了 150k Token 的"热"上下文时，另一个节点发起的协作请求将遭遇**全额冷启动**——秒级延迟在高频交易中不可接受。
|
||
|
||
## 解决方案架构
|
||
|
||
### 1. 全局上下文哈希树
|
||
每个 Agent 不直接构建 Prompt 字符串，而是在本地构建逻辑 ContextNode 树：
|
||
```
|
||
Global Layer SHA → Project Layer SHA → Session Layer SHA → Current Turn SHA
|
||
```
|
||
四个 SHA-256 哈希组合成 128 字节的复合键，作为会话在分布式网络中的唯一标识符。
|
||
|
||
参见 [[global-context-hash-tree]]
|
||
|
||
### 2. Redis 分布式状态路由
|
||
基于 Redis 集群维护 `Cache_Routing_Table`，异步记录每个前缀的物理分布（node_ip, service_provider, status, expire_time），使任何节点可通过哈希检索获知某前缀在哪些节点处于 "HOT" 状态。
|
||
|
||
参见 [[distributed-cache-routing]]
|
||
|
||
### 3. 主动预热流水线
|
||
核心创新是 **Shadow Calling**——在交易临界点到来前，预测性地向目标节点发送 `max_tokens=1` 的影子请求，填充其缓存前缀后丢弃输出。三步法：前缀拓扑合成 → 异步影子调用 → 状态置标。
|
||
|
||
参见 [[active-cache-warmup]], [[shadow-calling]]
|
||
|
||
### 4. 一致性治理
|
||
采用 Redis 分布式乐观锁 + 上下文版本号机制，防止并发写入导致缓存"分叉"。落后实例触发 Context-Realign 操作。
|
||
|
||
参见 [[distributed-optimistic-locking]]
|
||
|
||
### 5. 旁路网络句柄分发
|
||
C++ 内核与 Agent 之间的数据传输通过 8 字节句柄传递（而非完整数据），大宗数据通过 RDMA 在物理机间静默同步。应用层传递精简句柄，物理层旁路搬运大数据。
|
||
|
||
参见 [[bypass-network-handle-distribution]]
|
||
|
||
### 6. 混沌工程与降级
|
||
网络分区时触发本地降级：切断跨机预热 → Context Pruning（裁剪至 8k Token）→ 单机孤岛模式运行。
|
||
|
||
参见 [[context-pruning]]
|
||
|
||
## 核心洞察
|
||
|
||
> 分布式环境下的 Prompt Caching 同步，本质上是用**空间的确定性**（高带宽内网 + 精确 Redis 路由）来换取**时间的确定性**（消除 LLM 秒级重算延迟）。
|
||
|
||
## 概念网络
|
||
|
||
- [[distributed-prompt-caching]] — 分布式 Prompt 缓存体系
|
||
- [[global-context-hash-tree]] — SHA-256 四层复合键
|
||
- [[distributed-cache-routing]] — Redis 路由表
|
||
- [[active-cache-warmup]] — 预测性跨机预热
|
||
- [[shadow-calling]] — 影子调用机制
|
||
- [[distributed-optimistic-locking]] — 分布式乐观锁
|
||
- [[bypass-network-handle-distribution]] — 旁路句柄分发
|
||
- [[context-pruning]] — 上下文剪枝降级
|
||
- [[trading-lifecycle-driven-eviction]] — 交易生命周期 TTL
|