20260601

concepts/belief-accumulation.md

@@ -0,0 +1,40 @@
+---
+title: "Belief Accumulation (信念累积)"
+created: 2026-05-26
+type: concept
+tags: ["bayesian-inference", "inference-primitive"]
+sources: ["agarwal-bayesian-attention-geometry"]
+---
+
+# Belief Accumulation
+
+> 推理原语之一：将顺序到达的证据整合为 running posterior。
+
+## 定义
+
+\( P(\theta \mid x_{1:t}) \) 随观测 \( x_t \) 逐步更新——贝叶斯更新。
+
+## 能力要求
+
+- 维持对潜在假设（θ）的信念状态
+- 新证据到达时更新该状态
+- 充分统计量必须能从当前状态和当前输入计算
+
+## 架构实现
+
+| 架构 | 实现方式 | 限制 |
+|------|---------|------|
+| Transformer | 注意力聚合 in-context 证据 | — |
+| Mamba | 选择性状态空间更新 | — |
+| LSTM | 门控机制更新隐藏状态 | 仅**静态**充分统计量 |
+| MLP | ❌ 无法实现 | 无状态维护机制 |
+
+## LSTM 的限制
+
+LSTM 只在充分统计量是**固定维度且静态**时成功（如信念修正）。当充分统计量本身在动态下演化或必须按内容索引时，LSTM 失败——因为它的隐藏状态无法实现 [[belief-transport|信念传输]] 或 [[random-access-binding|随机访问绑定]]。
+
+## 相关页面
+
+- [[inference-primitives]] — 完整原语体系
+- [[belief-transport]] — 动态下的信念传播
+- [[random-access-binding]] — 基于内容的检索