myWiki/concepts/bayesian-wind-tunnels.md

title, created, type, tags, sources

title	created	type	tags	sources
Bayesian Wind Tunnels	2026-05-26	concept	bayesian-inference experimental-methodology transformers	agarwal-bayesian-attention-geometry

Bayesian Wind Tunnels

受控预测环境：解析后验已知、记忆不可行、推理必须为真——用于可验证地测试神经序列模型是否实现贝叶斯推理。

三个条件

1. 解析后验已知：每一步的真值 posterior 在闭合形式中精确已知
2. 记忆不可行：假设空间太大（如双射数量为 n!），计算上无法记忆
3. 推理必要性：in-context prediction 需要真正的概率推理

解决的问题

自然语言评测的致命缺陷：

• 没有 ground-truth posterior
• 大模型无法隔离记忆与推理
• 只能观察行为，不能验证内部计算

Wind tunnel 将定性问题（"它在做贝叶斯吗？"）转化为定量测试：模型的预测熵是否与解析 posterior 熵逐位置匹配？

四种 Wind Tunnel 任务

任务	类型	测试原语
双射学习 (Bijection Learning)	离散假设消除	belief-accumulation
HMM 滤波	序列随机推理	累积 + belief-transport
贝叶斯回归	连续推理	累积
联想回忆 (Associative Recall)	基于内容的检索	random-access-binding

与风洞的类比

航空风洞：控制气流、测量升力/阻力、验证空气动力学理论。 Bayesian wind tunnel：控制概率环境、测量预测熵、验证inference-primitives理论。

相关页面

• inference-primitives — 被 wind tunnel 验证的原语体系
• bayesian-attention-geometry — wind tunnel 中发现的几何结构
• agarwal-bayesian-attention-geometry — 原始论文