20260617:目前有914 页

concepts/variational-linearized-laplace-approximation.md

@@ -0,0 +1,43 @@
+---
+title: "变分线性化 Laplace 近似 (VaLLA)"
+created: 2026-06-17
+updated: 2026-06-17
+type: concept
+tags: [bayesian-deep-learning, uncertainty, laplace-approximation, post-hoc]
+sources: [raw/papers/ortega-phd-thesis-2026.md]
+confidence: high
+---
+
+# 变分线性化 Laplace 近似 (VaLLA)
+
+VaLLA 是 [[ortega-phd-thesis|Ortega (2026)]] 提出的**后处理不确定性校准方法**——将变分推断与[[neural-tangent-kernel|NTK]]线性化 Laplace 结合，为预训练确定性网络附加校准的预测不确定性。
+
+## 两阶段结构
+
+1. **预训练**：标准确定性网络训练（如分类/回归）
+2. **后处理**：在预训练权重上构建 Bayesian 后验
+
+## VaLLA 机制
+
+```
+p(θ|D) ≈ N(θ_MAP, Σ)
+```
+
+- **线性化 Laplace**：在 NTK 特征空间（而非权重空间）中构建 Gaussian 后验
+- **变分优化**：不使用 MAP 点的精确 Hessian，而是**变分地学习**最优后验协方差
+- 优势：高效（无需全 Hessian）+ 校准更好
+
+## 与 FMGP 的对比
+
+| 维度 | VaLLA | [[fixed-mean-gaussian-process|FMGP]] |
+|------|-------|------|
+| 后验均值 | MAP 点 | 冻结（确定性） |
+| 不确定性来源 | 权重后验 | GP 协方差 |
+| 校准方式 | 变分学习 Σ | GP 核参数 |
+
+## 参考
+
+- [[fixed-mean-gaussian-process|FMGP]]
+- [[neural-tangent-kernel|NTK]]
+- [[bayesian-deep-learning|Bayesian 深度学习]]
+- [[ortega-phd-thesis|论文]]