20260601

concepts/inference-primitives.md

@@ -0,0 +1,43 @@
+---
+title: "Inference Primitives (推理原语)"
+created: 2026-05-26
+type: concept
+tags: ["bayesian-inference", "taxonomy", "transformers", "architecture"]
+sources: ["agarwal-bayesian-attention-geometry"]
+---
+
+# Inference Primitives
+
+> 贝叶斯序列推理可分解为三个原子操作——累积、传输、绑定——不同架构可实现不同子集。
+
+## 三个原语
+
+### 1. [[belief-accumulation|Belief Accumulation]]（信念累积）
+将证据逐步整合为 running posterior：\( P(\theta \mid x_{1:t}) \) 随观测更新。
+
+### 2. [[belief-transport|Belief Transport]]（信念传输）
+信念在随机动态下传播——隐藏状态演化时的滤波（如 HMM 的前向算法）。
+
+### 3. [[random-access-binding|Random-Access Binding]]（随机访问绑定）
+按内容而非位置检索已存储的假设——如给定探测线索回忆目标。
+
+## 架构可实现性矩阵
+
+| 架构 | 累积 | 传输 | 绑定 | 推理能力 |
+|------|:---:|:---:|:---:|---------|
+| Transformer | ✅ | ✅ | ✅ | 完整 |
+| Mamba (SSM) | ✅ | ✅ | ❌ | 滤波 SOTA，绑定失能 |
+| LSTM | ✅ | ❌ | ❌ | 仅静态充分统计量 |
+| MLP | ❌ | ❌ | ❌ | 无 |
+
+## 结构性洞察
+
+**[[primitive-completeness|原语完备性]]**：Transformer 是**实现全部三原语的最小架构**。其在推理任务中的主导地位不是来自规模，而是来自架构层面对全套推理操作的支持。
+
+> Neural sequence architectures differ not in whether they can approximate Bayesian inference, but in which primitives they can realize.
+
+## 相关页面
+
+- [[bayesian-wind-tunnels]] — 验证原语理论的实验环境
+- [[primitive-completeness]] — 原语完备性的深入分析
+- [[bayesian-attention-geometry]] — 原语在注意力头中的几何实现