---
title: "变分线性化 Laplace 近似 (VaLLA)"
created: 2026-06-17
updated: 2026-06-17
type: concept
tags: [bayesian-deep-learning, uncertainty, laplace-approximation, post-hoc]
sources: [raw/papers/ortega-phd-thesis-2026.md]
confidence: high
---

# 变分线性化 Laplace 近似 (VaLLA)

VaLLA 是 [[ortega-phd-thesis|Ortega (2026)]] 提出的**后处理不确定性校准方法**——将变分推断与[[neural-tangent-kernel|NTK]]线性化 Laplace 结合，为预训练确定性网络附加校准的预测不确定性。

## 两阶段结构

1. **预训练**：标准确定性网络训练（如分类/回归）
2. **后处理**：在预训练权重上构建 Bayesian 后验

## VaLLA 机制

```
p(θ|D) ≈ N(θ_MAP, Σ)
```

- **线性化 Laplace**：在 NTK 特征空间（而非权重空间）中构建 Gaussian 后验
- **变分优化**：不使用 MAP 点的精确 Hessian，而是**变分地学习**最优后验协方差
- 优势：高效（无需全 Hessian）+ 校准更好

## 与 FMGP 的对比

| 维度 | VaLLA | [[fixed-mean-gaussian-process|FMGP]] |
|------|-------|------|
| 后验均值 | MAP 点 | 冻结（确定性） |
| 不确定性来源 | 权重后验 | GP 协方差 |
| 校准方式 | 变分学习 Σ | GP 核参数 |

## 参考

- [[fixed-mean-gaussian-process|FMGP]]
- [[neural-tangent-kernel|NTK]]
- [[bayesian-deep-learning|Bayesian 深度学习]]
- [[ortega-phd-thesis|论文]]