---
title: "Inference Primitives (推理原语)"
created: 2026-05-26
type: concept
tags: ["bayesian-inference", "taxonomy", "transformers", "architecture"]
sources: ["agarwal-bayesian-attention-geometry"]
---

# Inference Primitives

> 贝叶斯序列推理可分解为三个原子操作——累积、传输、绑定——不同架构可实现不同子集。

## 三个原语

### 1. [[belief-accumulation|Belief Accumulation]]（信念累积）
将证据逐步整合为 running posterior：\( P(\theta \mid x_{1:t}) \) 随观测更新。

### 2. [[belief-transport|Belief Transport]]（信念传输）
信念在随机动态下传播——隐藏状态演化时的滤波（如 HMM 的前向算法）。

### 3. [[random-access-binding|Random-Access Binding]]（随机访问绑定）
按内容而非位置检索已存储的假设——如给定探测线索回忆目标。

## 架构可实现性矩阵

| 架构 | 累积 | 传输 | 绑定 | 推理能力 |
|------|:---:|:---:|:---:|---------|
| Transformer | ✅ | ✅ | ✅ | 完整 |
| Mamba (SSM) | ✅ | ✅ | ❌ | 滤波 SOTA，绑定失能 |
| LSTM | ✅ | ❌ | ❌ | 仅静态充分统计量 |
| MLP | ❌ | ❌ | ❌ | 无 |

## 结构性洞察

**[[primitive-completeness|原语完备性]]**：Transformer 是**实现全部三原语的最小架构**。其在推理任务中的主导地位不是来自规模，而是来自架构层面对全套推理操作的支持。

> Neural sequence architectures differ not in whether they can approximate Bayesian inference, but in which primitives they can realize.

## 相关页面

- [[bayesian-wind-tunnels]] — 验证原语理论的实验环境
- [[primitive-completeness]] — 原语完备性的深入分析
- [[bayesian-attention-geometry]] — 原语在注意力头中的几何实现