myWiki/concepts/variational-linearized-laplace-approximation.md

title, created, updated, type, tags, sources, confidence

title	created	updated	type	tags	sources	confidence
变分线性化 Laplace 近似 (VaLLA)	2026-06-17	2026-06-17	concept	bayesian-deep-learning uncertainty laplace-approximation post-hoc	raw/papers/ortega-phd-thesis-2026.md	high

变分线性化 Laplace 近似 (VaLLA)

VaLLA 是 ortega-phd-thesis 提出的后处理不确定性校准方法——将变分推断与neural-tangent-kernel线性化 Laplace 结合，为预训练确定性网络附加校准的预测不确定性。

两阶段结构

1. 预训练：标准确定性网络训练（如分类/回归）
2. 后处理：在预训练权重上构建 Bayesian 后验

VaLLA 机制

p(θ|D) ≈ N(θ_MAP, Σ)

• 线性化 Laplace：在 NTK 特征空间（而非权重空间）中构建 Gaussian 后验
• 变分优化：不使用 MAP 点的精确 Hessian，而是变分地学习最优后验协方差
• 优势：高效（无需全 Hessian）+ 校准更好

与 FMGP 的对比

| 维度 | VaLLA | fixed-mean-gaussian-process | |------|-------|------| | 后验均值 | MAP 点 | 冻结（确定性） | | 不确定性来源 | 权重后验 | GP 协方差 | | 校准方式 | 变分学习 Σ | GP 核参数 |

参考

• fixed-mean-gaussian-process
• neural-tangent-kernel
• bayesian-deep-learning
• ortega-phd-thesis