44 lines
1.4 KiB
Markdown
44 lines
1.4 KiB
Markdown
---
|
||
title: "变分线性化 Laplace 近似 (VaLLA)"
|
||
created: 2026-06-17
|
||
updated: 2026-06-17
|
||
type: concept
|
||
tags: [bayesian-deep-learning, uncertainty, laplace-approximation, post-hoc]
|
||
sources: [raw/papers/ortega-phd-thesis-2026.md]
|
||
confidence: high
|
||
---
|
||
|
||
# 变分线性化 Laplace 近似 (VaLLA)
|
||
|
||
VaLLA 是 [[ortega-phd-thesis|Ortega (2026)]] 提出的**后处理不确定性校准方法**——将变分推断与[[neural-tangent-kernel|NTK]]线性化 Laplace 结合，为预训练确定性网络附加校准的预测不确定性。
|
||
|
||
## 两阶段结构
|
||
|
||
1. **预训练**：标准确定性网络训练（如分类/回归）
|
||
2. **后处理**：在预训练权重上构建 Bayesian 后验
|
||
|
||
## VaLLA 机制
|
||
|
||
```
|
||
p(θ|D) ≈ N(θ_MAP, Σ)
|
||
```
|
||
|
||
- **线性化 Laplace**：在 NTK 特征空间（而非权重空间）中构建 Gaussian 后验
|
||
- **变分优化**：不使用 MAP 点的精确 Hessian，而是**变分地学习**最优后验协方差
|
||
- 优势：高效（无需全 Hessian）+ 校准更好
|
||
|
||
## 与 FMGP 的对比
|
||
|
||
| 维度 | VaLLA | [[fixed-mean-gaussian-process|FMGP]] |
|
||
|------|-------|------|
|
||
| 后验均值 | MAP 点 | 冻结（确定性） |
|
||
| 不确定性来源 | 权重后验 | GP 协方差 |
|
||
| 校准方式 | 变分学习 Σ | GP 核参数 |
|
||
|
||
## 参考
|
||
|
||
- [[fixed-mean-gaussian-process|FMGP]]
|
||
- [[neural-tangent-kernel|NTK]]
|
||
- [[bayesian-deep-learning|Bayesian 深度学习]]
|
||
- [[ortega-phd-thesis|论文]]
|