---
title: "Bayesian Wind Tunnels"
created: 2026-05-26
type: concept
tags: ["bayesian-inference", "experimental-methodology", "transformers"]
sources: ["agarwal-bayesian-attention-geometry"]
---

# Bayesian Wind Tunnels

> 受控预测环境：解析后验已知、记忆不可行、推理必须为真——用于可验证地测试神经序列模型是否实现贝叶斯推理。

## 三个条件

1. **解析后验已知**：每一步的真值 posterior 在闭合形式中精确已知
2. **记忆不可行**：假设空间太大（如双射数量为 n!），计算上无法记忆
3. **推理必要性**：in-context prediction 需要真正的概率推理

## 解决的问题

自然语言评测的致命缺陷：
- 没有 ground-truth posterior
- 大模型无法隔离记忆与推理
- 只能观察行为，不能验证内部计算

Wind tunnel 将定性问题（"它在做贝叶斯吗？"）转化为定量测试：**模型的预测熵是否与解析 posterior 熵逐位置匹配？**

## 四种 Wind Tunnel 任务

| 任务 | 类型 | 测试原语 |
|------|------|---------|
| 双射学习 (Bijection Learning) | 离散假设消除 | [[belief-accumulation]] |
| HMM 滤波 | 序列随机推理 | 累积 + [[belief-transport]] |
| 贝叶斯回归 | 连续推理 | 累积 |
| 联想回忆 (Associative Recall) | 基于内容的检索 | [[random-access-binding]] |

## 与风洞的类比

航空风洞：控制气流、测量升力/阻力、验证空气动力学理论。
Bayesian wind tunnel：控制概率环境、测量预测熵、验证[[inference-primitives|推理原语]]理论。

## 相关页面

- [[inference-primitives]] — 被 wind tunnel 验证的原语体系
- [[bayesian-attention-geometry]] — wind tunnel 中发现的几何结构
- [[agarwal-bayesian-attention-geometry]] — 原始论文