20260601
This commit is contained in:
45
concepts/bypass-network-handle-distribution.md
Normal file
45
concepts/bypass-network-handle-distribution.md
Normal file
@@ -0,0 +1,45 @@
|
||||
---
|
||||
title: "Bypass Network Handle Distribution (旁路网络句柄分发)"
|
||||
created: 2026-05-29
|
||||
updated: 2026-05-29
|
||||
type: concept
|
||||
tags: ["distributed-systems", "rdma", "c++", "ipc", "quant-trading"]
|
||||
sources: ["https://mp.weixin.qq.com/s/MUWV7eug14bktUMlqsxfQw"]
|
||||
---
|
||||
|
||||
# Bypass Network Handle Distribution (旁路网络句柄分发)
|
||||
|
||||
**Bypass Network Handle Distribution** 是一种高性能分布式架构模式:在应用层(Agent / LLM)仅传递轻量级的 8 字节数据句柄,而大宗原始数据通过 RDMA 等硬件旁路在物理机之间静默同步。
|
||||
|
||||
## 架构
|
||||
|
||||
以量化交易系统为例:
|
||||
|
||||
### C++ 内核侧
|
||||
- 计算高维时序矩阵(如 Orderbook Imbalance,数 MB)
|
||||
- 做两个解耦动作:
|
||||
1. **大宗数据**:RDMA 静默同步到其他物理机的内存区
|
||||
2. **轻量句柄**:通过共享内存环形队列向 Agent 投递 8 字节全局唯一句柄 + 极短定性摘要
|
||||
|
||||
### Agent 层(应用层)
|
||||
- 将句柄作为 XML 标签嵌入 LLM Message 流
|
||||
- 网络间只传输这 8 字节的句柄
|
||||
|
||||
### 接收节点
|
||||
- 解析数据句柄
|
||||
- 通过本地 C++ 共享内存网关向本地内核查询
|
||||
- 原始数据已通过 RDMA 同步就位 → `reinterpret_cast` 瞬间读取
|
||||
|
||||
## 设计哲学
|
||||
|
||||
> **应用层传递极简句柄,物理层旁路搬运大数据。**
|
||||
|
||||
这实现了:
|
||||
- 保护跨机 Prompt Caching 前缀(不传输原始数据)
|
||||
- 大数据量的极低延迟搬运(硬件旁路)
|
||||
- 大模型认知空间与高频交易物理空间的终极调和
|
||||
|
||||
## 相关
|
||||
|
||||
- [[distributed-prompt-caching]] — 分布式缓存体系
|
||||
- [[distributed-agent-cache-sync-2026]] — 原始文章
|
||||
Reference in New Issue
Block a user