44 lines
1.5 KiB
Markdown
44 lines
1.5 KiB
Markdown
---
|
||
title: "Ortega PhD Thesis 集成 Review"
|
||
created: 2026-06-17
|
||
type: review
|
||
---
|
||
|
||
# 📌 基本信息
|
||
|
||
- **论文**：Uncertainty Estimation and Generalization Bounds for Modern Deep Learning
|
||
- **作者**：Luis A. Ortega Andrés — PhD Thesis, UAM, 2026
|
||
- **导师**：Daniel Hernández-Lobato
|
||
- **领域**：cs.LG / Bayesian DL / Learning Theory
|
||
- **arXiv**：2606.13818v1
|
||
|
||
# 🎯 核心贡献
|
||
|
||
**方法论三件套**：
|
||
1. [[deep-variational-implicit-process|DVIP]] — 可扩展深度隐式过程 Bayesian 推断
|
||
2. [[variational-linearized-laplace-approximation|VaLLA]] — 变分线性化 Laplace 后验校准
|
||
3. [[fixed-mean-gaussian-process|FMGP]] — 冻结 DNN 均值 + GP 协方差校准
|
||
|
||
**理论统一**：PAC-Chernoff 界在插值区间有效 → 解释 [[double-descent|双下降]]
|
||
|
||
# 🔗 概念网络
|
||
|
||
```
|
||
Bayesian DL → Implicit Processes → DVIP
|
||
↓ ↓
|
||
Function-Space Modeling → VaLLA, FMGP ← Gaussian Process
|
||
↓
|
||
PAC-Bayesian Bounds → Generalization Bounds → Double Descent
|
||
```
|
||
|
||
# 📚 Wiki 集成
|
||
|
||
- **新增页面**：12 个（1 论文 + 10 概念 + 1 raw）
|
||
- **总规模**：902 → 913 页（+11）
|
||
|
||
# 💡 关键洞察
|
||
|
||
1. **PAC-Chernoff 界在插值区间有效**是理论突破——传统界在 "训练误差 ≈ 0" 时退化，Ortega 的大偏差分析在此区间仍提供非平凡信息。
|
||
|
||
2. **DVIP 的三赢**：比 DGP 快 10 倍 + 非高斯先验 + 深度架构兼容——隐式过程的 "无密度" 被变分推断巧妙规避。
|