47 lines
1.8 KiB
Markdown
47 lines
1.8 KiB
Markdown
---
|
||
title: "Bayesian Wind Tunnels"
|
||
created: 2026-05-26
|
||
type: concept
|
||
tags: ["bayesian-inference", "experimental-methodology", "transformers"]
|
||
sources: ["agarwal-bayesian-attention-geometry"]
|
||
---
|
||
|
||
# Bayesian Wind Tunnels
|
||
|
||
> 受控预测环境：解析后验已知、记忆不可行、推理必须为真——用于可验证地测试神经序列模型是否实现贝叶斯推理。
|
||
|
||
## 三个条件
|
||
|
||
1. **解析后验已知**：每一步的真值 posterior 在闭合形式中精确已知
|
||
2. **记忆不可行**：假设空间太大（如双射数量为 n!），计算上无法记忆
|
||
3. **推理必要性**：in-context prediction 需要真正的概率推理
|
||
|
||
## 解决的问题
|
||
|
||
自然语言评测的致命缺陷：
|
||
- 没有 ground-truth posterior
|
||
- 大模型无法隔离记忆与推理
|
||
- 只能观察行为，不能验证内部计算
|
||
|
||
Wind tunnel 将定性问题（"它在做贝叶斯吗？"）转化为定量测试：**模型的预测熵是否与解析 posterior 熵逐位置匹配？**
|
||
|
||
## 四种 Wind Tunnel 任务
|
||
|
||
| 任务 | 类型 | 测试原语 |
|
||
|------|------|---------|
|
||
| 双射学习 (Bijection Learning) | 离散假设消除 | [[belief-accumulation]] |
|
||
| HMM 滤波 | 序列随机推理 | 累积 + [[belief-transport]] |
|
||
| 贝叶斯回归 | 连续推理 | 累积 |
|
||
| 联想回忆 (Associative Recall) | 基于内容的检索 | [[random-access-binding]] |
|
||
|
||
## 与风洞的类比
|
||
|
||
航空风洞：控制气流、测量升力/阻力、验证空气动力学理论。
|
||
Bayesian wind tunnel：控制概率环境、测量预测熵、验证[[inference-primitives|推理原语]]理论。
|
||
|
||
## 相关页面
|
||
|
||
- [[inference-primitives]] — 被 wind tunnel 验证的原语体系
|
||
- [[bayesian-attention-geometry]] — wind tunnel 中发现的几何结构
|
||
- [[agarwal-bayesian-attention-geometry]] — 原始论文
|