45 lines
1.4 KiB
Markdown
45 lines
1.4 KiB
Markdown
---
|
||
title: "Belief Transport (信念传输)"
|
||
created: 2026-05-26
|
||
type: concept
|
||
tags: ["bayesian-inference", "inference-primitive", "state-space-models"]
|
||
sources: ["agarwal-bayesian-attention-geometry"]
|
||
---
|
||
|
||
# Belief Transport
|
||
|
||
> 推理原语之二：在隐藏状态随机动态演化时，将信念向前传播。
|
||
|
||
## 定义
|
||
|
||
当潜在状态本身按 Markov 动态演化时（如 HMM），推理不仅需要累积证据，还需要在每一步将概率质量在状态之间传输。
|
||
|
||
## 数学表达
|
||
|
||
HMM 滤波的 forward algorithm：
|
||
\[
|
||
\alpha_t(z_t) = p(x_t \mid z_t) \sum_{z_{t-1}} p(z_t \mid z_{t-1}) \alpha_{t-1}(z_{t-1})
|
||
\]
|
||
|
||
这里**传输矩阵** \( p(z_t \mid z_{t-1}) \) 施加了非平凡的状态动态。
|
||
|
||
## 架构实现
|
||
|
||
| 架构 | 传输能力 | 机制 |
|
||
|------|:---:|------|
|
||
| Transformer | ✅ | 注意力跨位置传播信息 |
|
||
| Mamba | ✅ | SSM 连续时间状态演化 |
|
||
| LSTM | ❌ | 隐藏状态无动态建模机制 |
|
||
| MLP | ❌ | — |
|
||
|
||
## 关键洞察
|
||
|
||
Mamba 在 HMM 滤波上达到 SOTA —— 选择性 SSM 的连续时间动态天然适合建模信念传输。但 Mamba 缺少 [[random-access-binding|绑定原语]]，限制了它处理需要按内容检索的任务。
|
||
|
||
## 相关页面
|
||
|
||
- [[belief-accumulation]] — 静态证据累积
|
||
- [[random-access-binding]] — 内容检索
|
||
- [[inference-primitives]] — 原语体系
|
||
- [[mamba-ssm]] — Mamba 选择性状态空间模型
|