myWiki/concepts/random-access-binding.md

title, created, type, tags, sources

title	created	type	tags	sources
Random-Access Binding (随机访问绑定)	2026-05-26	concept	bayesian-inference inference-primitive attention	agarwal-bayesian-attention-geometry

Random-Access Binding

推理原语之三：按内容而非按位置检索已存储的假设——Transformers 独有的原语。

定义

给定一个探测线索（probe cue），从过去的观测中检索匹配的假设或信息——检索键是内容，而非时间位置。

典型任务：联想回忆（Associative Recall）——"看到 A → 回忆与 A 关联的 B"。

架构实现

架构	绑定能力	原因
Transformer	✅	注意力 = 内容可寻址的 soft lookup
Mamba	❌	SSM 状态是位置依赖的压缩表示
LSTM	❌	隐藏状态无随机访问机制
MLP	❌	—

为什么注意力天然支持绑定

注意力的 query-key 匹配是内容可寻址的：

• Q·K^T 按内容相似度检索
• 无需知道目标的位置
• 可以在任意距离上操作

Mamba 的状态空间更新本质上是位置依赖的——信息按时间顺序压缩进固定大小的状态向量，无法按内容跳转检索。

绑定 = 推理完备性的最后一块拼图

inference-primitives中，绑定是区分 Transformer 与所有其他架构的唯一原语。这也是为什么 Transformer 在需要组合式推理的自然语言任务中占主导——真实语言需要随时按内容访问过去的上下文。

相关页面

• belief-accumulation — 证据累积
• belief-transport — 动态传输
• inference-primitives — 原语体系
• binding-constraint-thesis — 绑定的约束理论