1.6 KiB
1.6 KiB
title, created, updated, type, tags, sources
| title | created | updated | type | tags | sources | ||||||
|---|---|---|---|---|---|---|---|---|---|---|---|
| Bypass Network Handle Distribution (旁路网络句柄分发) | 2026-05-29 | 2026-05-29 | concept |
|
|
Bypass Network Handle Distribution (旁路网络句柄分发)
Bypass Network Handle Distribution 是一种高性能分布式架构模式：在应用层（Agent / LLM）仅传递轻量级的 8 字节数据句柄，而大宗原始数据通过 RDMA 等硬件旁路在物理机之间静默同步。
架构
以量化交易系统为例：
C++ 内核侧
- 计算高维时序矩阵（如 Orderbook Imbalance，数 MB）
- 做两个解耦动作：
- 大宗数据：RDMA 静默同步到其他物理机的内存区
- 轻量句柄：通过共享内存环形队列向 Agent 投递 8 字节全局唯一句柄 + 极短定性摘要
Agent 层（应用层）
- 将句柄作为 XML 标签嵌入 LLM Message 流
- 网络间只传输这 8 字节的句柄
接收节点
- 解析数据句柄
- 通过本地 C++ 共享内存网关向本地内核查询
- 原始数据已通过 RDMA 同步就位 →
reinterpret_cast瞬间读取
设计哲学
应用层传递极简句柄，物理层旁路搬运大数据。
这实现了：
- 保护跨机 Prompt Caching 前缀（不传输原始数据）
- 大数据量的极低延迟搬运（硬件旁路）
- 大模型认知空间与高频交易物理空间的终极调和
相关
- distributed-prompt-caching — 分布式缓存体系
- distributed-agent-cache-sync-2026 — 原始文章