44 lines
1.7 KiB
Markdown
44 lines
1.7 KiB
Markdown
---
|
||
title: "Inference Primitives (推理原语)"
|
||
created: 2026-05-26
|
||
type: concept
|
||
tags: ["bayesian-inference", "taxonomy", "transformers", "architecture"]
|
||
sources: ["agarwal-bayesian-attention-geometry"]
|
||
---
|
||
|
||
# Inference Primitives
|
||
|
||
> 贝叶斯序列推理可分解为三个原子操作——累积、传输、绑定——不同架构可实现不同子集。
|
||
|
||
## 三个原语
|
||
|
||
### 1. [[belief-accumulation|Belief Accumulation]]（信念累积）
|
||
将证据逐步整合为 running posterior：\( P(\theta \mid x_{1:t}) \) 随观测更新。
|
||
|
||
### 2. [[belief-transport|Belief Transport]]（信念传输）
|
||
信念在随机动态下传播——隐藏状态演化时的滤波（如 HMM 的前向算法）。
|
||
|
||
### 3. [[random-access-binding|Random-Access Binding]]（随机访问绑定）
|
||
按内容而非位置检索已存储的假设——如给定探测线索回忆目标。
|
||
|
||
## 架构可实现性矩阵
|
||
|
||
| 架构 | 累积 | 传输 | 绑定 | 推理能力 |
|
||
|------|:---:|:---:|:---:|---------|
|
||
| Transformer | ✅ | ✅ | ✅ | 完整 |
|
||
| Mamba (SSM) | ✅ | ✅ | ❌ | 滤波 SOTA，绑定失能 |
|
||
| LSTM | ✅ | ❌ | ❌ | 仅静态充分统计量 |
|
||
| MLP | ❌ | ❌ | ❌ | 无 |
|
||
|
||
## 结构性洞察
|
||
|
||
**[[primitive-completeness|原语完备性]]**：Transformer 是**实现全部三原语的最小架构**。其在推理任务中的主导地位不是来自规模，而是来自架构层面对全套推理操作的支持。
|
||
|
||
> Neural sequence architectures differ not in whether they can approximate Bayesian inference, but in which primitives they can realize.
|
||
|
||
## 相关页面
|
||
|
||
- [[bayesian-wind-tunnels]] — 验证原语理论的实验环境
|
||
- [[primitive-completeness]] — 原语完备性的深入分析
|
||
- [[bayesian-attention-geometry]] — 原语在注意力头中的几何实现
|