20260601

concepts/belief-transport.md

@@ -0,0 +1,44 @@
+---
+title: "Belief Transport (信念传输)"
+created: 2026-05-26
+type: concept
+tags: ["bayesian-inference", "inference-primitive", "state-space-models"]
+sources: ["agarwal-bayesian-attention-geometry"]
+---
+
+# Belief Transport
+
+> 推理原语之二：在隐藏状态随机动态演化时，将信念向前传播。
+
+## 定义
+
+当潜在状态本身按 Markov 动态演化时（如 HMM），推理不仅需要累积证据，还需要在每一步将概率质量在状态之间传输。
+
+## 数学表达
+
+HMM 滤波的 forward algorithm：
+\[
+\alpha_t(z_t) = p(x_t \mid z_t) \sum_{z_{t-1}} p(z_t \mid z_{t-1}) \alpha_{t-1}(z_{t-1})
+\]
+
+这里**传输矩阵** \( p(z_t \mid z_{t-1}) \) 施加了非平凡的状态动态。
+
+## 架构实现
+
+| 架构 | 传输能力 | 机制 |
+|------|:---:|------|
+| Transformer | ✅ | 注意力跨位置传播信息 |
+| Mamba | ✅ | SSM 连续时间状态演化 |
+| LSTM | ❌ | 隐藏状态无动态建模机制 |
+| MLP | ❌ | — |
+
+## 关键洞察
+
+Mamba 在 HMM 滤波上达到 SOTA —— 选择性 SSM 的连续时间动态天然适合建模信念传输。但 Mamba 缺少 [[random-access-binding|绑定原语]]，限制了它处理需要按内容检索的任务。
+
+## 相关页面
+
+- [[belief-accumulation]] — 静态证据累积
+- [[random-access-binding]] — 内容检索
+- [[inference-primitives]] — 原语体系
+- [[mamba-ssm]] — Mamba 选择性状态空间模型