1.3 KiB
1.3 KiB
title, created, type, tags, sources
| title | created | type | tags | sources | |||
|---|---|---|---|---|---|---|---|
| Belief Accumulation (信念累积) | 2026-05-26 | concept |
|
|
Belief Accumulation
推理原语之一：将顺序到达的证据整合为 running posterior。
定义
( P(\theta \mid x_{1:t}) ) 随观测 ( x_t ) 逐步更新——贝叶斯更新。
能力要求
- 维持对潜在假设（θ）的信念状态
- 新证据到达时更新该状态
- 充分统计量必须能从当前状态和当前输入计算
架构实现
| 架构 | 实现方式 | 限制 |
|---|---|---|
| Transformer | 注意力聚合 in-context 证据 | — |
| Mamba | 选择性状态空间更新 | — |
| LSTM | 门控机制更新隐藏状态 | 仅静态充分统计量 |
| MLP | ❌ 无法实现 | 无状态维护机制 |
LSTM 的限制
LSTM 只在充分统计量是固定维度且静态时成功（如信念修正）。当充分统计量本身在动态下演化或必须按内容索引时，LSTM 失败——因为它的隐藏状态无法实现 belief-transport 或 random-access-binding。
相关页面
- inference-primitives — 完整原语体系
- belief-transport — 动态下的信念传播
- random-access-binding — 基于内容的检索