48 lines
1.4 KiB
Markdown
48 lines
1.4 KiB
Markdown
---
|
||
title: "隐式过程 (Implicit Processes)"
|
||
created: 2026-06-17
|
||
updated: 2026-06-17
|
||
type: concept
|
||
tags: [bayesian-deep-learning, stochastic-processes, generative-models]
|
||
sources: [raw/papers/ortega-phd-thesis-2026.md]
|
||
confidence: high
|
||
---
|
||
|
||
# 隐式过程 (Implicit Processes)
|
||
|
||
隐式过程是一类**可通过采样定义但无显式概率密度**的随机过程——[[ortega-phd-thesis|Ortega (2026)]]将其扩展到深度架构形成 [[deep-variational-implicit-process|DVIP]]。
|
||
|
||
## 定义
|
||
|
||
隐式过程 `f ~ IP(g_θ, P_z)`：
|
||
|
||
```
|
||
f(x) = g_θ(x; z), z ~ P_z
|
||
```
|
||
|
||
- `g_θ`：确定性的生成器网络（带参数 θ）
|
||
- `P_z`：隐变量 z 的简单先验（如 N(0,I)）
|
||
- 采样 f 只需：z ~ P_z → f(·) = g_θ(·; z)
|
||
|
||
## 与高斯过程的对比
|
||
|
||
| 维度 | GP | Implicit Process |
|
||
|------|-----|-----------------|
|
||
| 密度 | 显式（多元高斯） | 隐式（无解析形式） |
|
||
| 先验 | 高斯 | 任意（由 g_θ 决定） |
|
||
| 推断 | 解析（GP 回归） | 变分推断 |
|
||
| 表达力 | 由核决定 | 由 g_θ 架构决定 |
|
||
|
||
## 优势
|
||
|
||
- **非高斯性**：可建模多模态、重尾分布
|
||
- **深度化**：P_z → g_θ 是深度网络，表达力远超 GP 核
|
||
- **采样高效**：仅需一次前向传播
|
||
|
||
## 参考
|
||
|
||
- [[deep-variational-implicit-process|DVIP]]
|
||
- [[deep-gaussian-process|深度高斯过程]]
|
||
- [[function-space-modeling|函数空间建模]]
|
||
- [[ortega-phd-thesis|论文]]
|