46 lines
1.6 KiB
Markdown
46 lines
1.6 KiB
Markdown
---
|
||
title: "Bypass Network Handle Distribution (旁路网络句柄分发)"
|
||
created: 2026-05-29
|
||
updated: 2026-05-29
|
||
type: concept
|
||
tags: ["distributed-systems", "rdma", "c++", "ipc", "quant-trading"]
|
||
sources: ["https://mp.weixin.qq.com/s/MUWV7eug14bktUMlqsxfQw"]
|
||
---
|
||
|
||
# Bypass Network Handle Distribution (旁路网络句柄分发)
|
||
|
||
**Bypass Network Handle Distribution** 是一种高性能分布式架构模式：在应用层（Agent / LLM）仅传递轻量级的 8 字节数据句柄，而大宗原始数据通过 RDMA 等硬件旁路在物理机之间静默同步。
|
||
|
||
## 架构
|
||
|
||
以量化交易系统为例：
|
||
|
||
### C++ 内核侧
|
||
- 计算高维时序矩阵（如 Orderbook Imbalance，数 MB）
|
||
- 做两个解耦动作：
|
||
1. **大宗数据**：RDMA 静默同步到其他物理机的内存区
|
||
2. **轻量句柄**：通过共享内存环形队列向 Agent 投递 8 字节全局唯一句柄 + 极短定性摘要
|
||
|
||
### Agent 层（应用层）
|
||
- 将句柄作为 XML 标签嵌入 LLM Message 流
|
||
- 网络间只传输这 8 字节的句柄
|
||
|
||
### 接收节点
|
||
- 解析数据句柄
|
||
- 通过本地 C++ 共享内存网关向本地内核查询
|
||
- 原始数据已通过 RDMA 同步就位 → `reinterpret_cast` 瞬间读取
|
||
|
||
## 设计哲学
|
||
|
||
> **应用层传递极简句柄，物理层旁路搬运大数据。**
|
||
|
||
这实现了：
|
||
- 保护跨机 Prompt Caching 前缀（不传输原始数据）
|
||
- 大数据量的极低延迟搬运（硬件旁路）
|
||
- 大模型认知空间与高频交易物理空间的终极调和
|
||
|
||
## 相关
|
||
|
||
- [[distributed-prompt-caching]] — 分布式缓存体系
|
||
- [[distributed-agent-cache-sync-2026]] — 原始文章
|