41 lines
1.3 KiB
Markdown
41 lines
1.3 KiB
Markdown
---
|
||
title: "Belief Accumulation (信念累积)"
|
||
created: 2026-05-26
|
||
type: concept
|
||
tags: ["bayesian-inference", "inference-primitive"]
|
||
sources: ["agarwal-bayesian-attention-geometry"]
|
||
---
|
||
|
||
# Belief Accumulation
|
||
|
||
> 推理原语之一：将顺序到达的证据整合为 running posterior。
|
||
|
||
## 定义
|
||
|
||
\( P(\theta \mid x_{1:t}) \) 随观测 \( x_t \) 逐步更新——贝叶斯更新。
|
||
|
||
## 能力要求
|
||
|
||
- 维持对潜在假设（θ）的信念状态
|
||
- 新证据到达时更新该状态
|
||
- 充分统计量必须能从当前状态和当前输入计算
|
||
|
||
## 架构实现
|
||
|
||
| 架构 | 实现方式 | 限制 |
|
||
|------|---------|------|
|
||
| Transformer | 注意力聚合 in-context 证据 | — |
|
||
| Mamba | 选择性状态空间更新 | — |
|
||
| LSTM | 门控机制更新隐藏状态 | 仅**静态**充分统计量 |
|
||
| MLP | ❌ 无法实现 | 无状态维护机制 |
|
||
|
||
## LSTM 的限制
|
||
|
||
LSTM 只在充分统计量是**固定维度且静态**时成功（如信念修正）。当充分统计量本身在动态下演化或必须按内容索引时，LSTM 失败——因为它的隐藏状态无法实现 [[belief-transport|信念传输]] 或 [[random-access-binding|随机访问绑定]]。
|
||
|
||
## 相关页面
|
||
|
||
- [[inference-primitives]] — 完整原语体系
|
||
- [[belief-transport]] — 动态下的信念传播
|
||
- [[random-access-binding]] — 基于内容的检索
|