51 lines
1.4 KiB
Markdown
51 lines
1.4 KiB
Markdown
---
|
||
title: "深度高斯过程 (Deep Gaussian Process)"
|
||
created: 2026-06-17
|
||
updated: 2026-06-17
|
||
type: concept
|
||
tags: [bayesian-deep-learning, gaussian-process, hierarchical-models]
|
||
sources: [raw/papers/ortega-phd-thesis-2026.md]
|
||
confidence: high
|
||
---
|
||
|
||
# 深度高斯过程 (Deep Gaussian Process)
|
||
|
||
深度高斯过程 (DGP) 将 GP 推广为**层次化组合**——每一层的输出作为下一层的输入，表达力远超单层 GP。[ortega-phd-thesis|Ortega (2026)] 提出的 [[deep-variational-implicit-process|DVIP]] 是 DGP 的高效替代方案。
|
||
|
||
## 定义
|
||
|
||
```
|
||
f_L ∘ f_{L-1} ∘ ... ∘ f_1(x), f_l ~ GP(m_l, k_l)
|
||
```
|
||
|
||
每一层 `f_l` 本身是一个高斯过程。
|
||
|
||
## 优势 vs 浅层 GP
|
||
|
||
| 维度 | 浅层 GP | DGP |
|
||
|------|--------|-----|
|
||
| 表达能力 | 核函数决定 | 层次化组合 |
|
||
| 非平稳性 | 需特殊设计 | 自然涌现 |
|
||
| 多尺度 | 单尺度 | 每层捕获不同尺度 |
|
||
|
||
## 计算挑战
|
||
|
||
DGP 的推断代价高：
|
||
- 隐层无观测 → 需要近似推断
|
||
- 变分推断需大量 inducing points
|
||
- 计算复杂度 O(NM^2) 量级
|
||
|
||
## DVIP 作为替代
|
||
|
||
DVIP 用 [[implicit-processes|隐式过程]] 替代 GP：
|
||
- 保留 DGP 的层次结构
|
||
- 降低约 10 倍计算代价
|
||
- 允许非高斯先验
|
||
|
||
## 参考
|
||
|
||
- [[deep-variational-implicit-process|DVIP]]
|
||
- [[implicit-processes|隐式过程]]
|
||
- [[function-space-modeling|函数空间建模]]
|
||
- [[ortega-phd-thesis|论文]]
|