---
title: "Belief Accumulation (信念累积)"
created: 2026-05-26
type: concept
tags: ["bayesian-inference", "inference-primitive"]
sources: ["agarwal-bayesian-attention-geometry"]
---

# Belief Accumulation

> 推理原语之一：将顺序到达的证据整合为 running posterior。

## 定义

\( P(\theta \mid x_{1:t}) \) 随观测 \( x_t \) 逐步更新——贝叶斯更新。

## 能力要求

- 维持对潜在假设（θ）的信念状态
- 新证据到达时更新该状态
- 充分统计量必须能从当前状态和当前输入计算

## 架构实现

| 架构 | 实现方式 | 限制 |
|------|---------|------|
| Transformer | 注意力聚合 in-context 证据 | — |
| Mamba | 选择性状态空间更新 | — |
| LSTM | 门控机制更新隐藏状态 | 仅**静态**充分统计量 |
| MLP | ❌ 无法实现 | 无状态维护机制 |

## LSTM 的限制

LSTM 只在充分统计量是**固定维度且静态**时成功（如信念修正）。当充分统计量本身在动态下演化或必须按内容索引时，LSTM 失败——因为它的隐藏状态无法实现 [[belief-transport|信念传输]] 或 [[random-access-binding|随机访问绑定]]。

## 相关页面

- [[inference-primitives]] — 完整原语体系
- [[belief-transport]] — 动态下的信念传播
- [[random-access-binding]] — 基于内容的检索