47 lines
1.7 KiB
Markdown
47 lines
1.7 KiB
Markdown
---
|
||
title: "Random-Access Binding (随机访问绑定)"
|
||
created: 2026-05-26
|
||
type: concept
|
||
tags: ["bayesian-inference", "inference-primitive", "attention"]
|
||
sources: ["agarwal-bayesian-attention-geometry"]
|
||
---
|
||
|
||
# Random-Access Binding
|
||
|
||
> 推理原语之三：按内容而非按位置检索已存储的假设——Transformers 独有的原语。
|
||
|
||
## 定义
|
||
|
||
给定一个探测线索（probe cue），从过去的观测中检索匹配的假设或信息——检索键是**内容**，而非时间位置。
|
||
|
||
典型任务：**联想回忆**（Associative Recall）——"看到 A → 回忆与 A 关联的 B"。
|
||
|
||
## 架构实现
|
||
|
||
| 架构 | 绑定能力 | 原因 |
|
||
|------|:---:|------|
|
||
| Transformer | ✅ | 注意力 = 内容可寻址的 soft lookup |
|
||
| Mamba | ❌ | SSM 状态是位置依赖的压缩表示 |
|
||
| LSTM | ❌ | 隐藏状态无随机访问机制 |
|
||
| MLP | ❌ | — |
|
||
|
||
## 为什么注意力天然支持绑定
|
||
|
||
注意力的 query-key 匹配是**内容可寻址**的：
|
||
- Q·K^T 按内容相似度检索
|
||
- 无需知道目标的位置
|
||
- 可以在任意距离上操作
|
||
|
||
Mamba 的状态空间更新本质上是**位置依赖**的——信息按时间顺序压缩进固定大小的状态向量，无法按内容跳转检索。
|
||
|
||
## 绑定 = 推理完备性的最后一块拼图
|
||
|
||
[[inference-primitives|三原语]]中，绑定是区分 Transformer 与所有其他架构的唯一原语。这也是为什么 Transformer 在需要组合式推理的自然语言任务中占主导——真实语言需要随时按内容访问过去的上下文。
|
||
|
||
## 相关页面
|
||
|
||
- [[belief-accumulation]] — 证据累积
|
||
- [[belief-transport]] — 动态传输
|
||
- [[inference-primitives]] — 原语体系
|
||
- [[binding-constraint-thesis]] — 绑定的约束理论
|