myWiki/concepts/inference-primitives.md

title, created, type, tags, sources

title	created	type	tags	sources
Inference Primitives (推理原语)	2026-05-26	concept	bayesian-inference taxonomy transformers architecture	agarwal-bayesian-attention-geometry

Inference Primitives

贝叶斯序列推理可分解为三个原子操作——累积、传输、绑定——不同架构可实现不同子集。

三个原语

1. belief-accumulation（信念累积）

将证据逐步整合为 running posterior：( P(\theta \mid x_{1:t}) ) 随观测更新。

2. belief-transport（信念传输）

信念在随机动态下传播——隐藏状态演化时的滤波（如 HMM 的前向算法）。

3. random-access-binding（随机访问绑定）

按内容而非位置检索已存储的假设——如给定探测线索回忆目标。

架构可实现性矩阵

架构	累积	传输	绑定	推理能力
Transformer	✅	✅	✅	完整
Mamba (SSM)	✅	✅	❌	滤波 SOTA，绑定失能
LSTM	✅	❌	❌	仅静态充分统计量
MLP	❌	❌	❌	无

结构性洞察

primitive-completeness：Transformer 是实现全部三原语的最小架构。其在推理任务中的主导地位不是来自规模，而是来自架构层面对全套推理操作的支持。

Neural sequence architectures differ not in whether they can approximate Bayesian inference, but in which primitives they can realize.

相关页面

• bayesian-wind-tunnels — 验证原语理论的实验环境
• primitive-completeness — 原语完备性的深入分析
• bayesian-attention-geometry — 原语在注意力头中的几何实现