42 lines
1.6 KiB
Markdown
42 lines
1.6 KiB
Markdown
---
|
||
title: "函数空间建模 (Function-Space Modeling)"
|
||
created: 2026-06-17
|
||
updated: 2026-06-17
|
||
type: concept
|
||
tags: [bayesian-deep-learning, gaussian-process, representation-learning]
|
||
sources: [raw/papers/ortega-phd-thesis-2026.md]
|
||
confidence: high
|
||
---
|
||
|
||
# 函数空间建模 (Function-Space Modeling)
|
||
|
||
函数空间建模是 [[ortega-phd-thesis|Ortega (2026)]] 论文的方法论统一视角——在**函数空间**（而非参数空间）中定义和优化分布。
|
||
|
||
## 参数空间 vs 函数空间
|
||
|
||
| 维度 | 参数空间 | 函数空间 |
|
||
|------|---------|---------|
|
||
| 分布定义 | p(θ) 在 R^d 上 | p(f) 在函数空间上 |
|
||
| 先验 | 对参数的先验 | 对函数的先验（如 GP） |
|
||
| 不确定性 | 权重的后验方差 | 预测的校准不确定性 |
|
||
| 过参数化 | 多对一映射问题 | 自然规避 |
|
||
|
||
## 在论文中的三条应用线
|
||
|
||
1. **[[deep-variational-implicit-process|DVIP]]**：直接在函数空间中定义深度隐式过程的先验和后验
|
||
2. **[[variational-linearized-laplace-approximation|VaLLA]]**：在 NTK 特征空间（函数空间）中构建 Laplace 后验
|
||
3. **[[fixed-mean-gaussian-process|FMGP]]**：在函数空间中以 GP 协方差校准确定性预测
|
||
|
||
## 核心优势
|
||
|
||
- **表达力**：函数空间比参数空间更丰富
|
||
- **校准**：函数空间中分布的自然解释 = 预测不确定性
|
||
- **理论**：PAC-Bayesian 界在函数空间中更自然
|
||
|
||
## 参考
|
||
|
||
- [[deep-variational-implicit-process|DVIP]]
|
||
- [[implicit-processes|隐式过程]]
|
||
- [[bayesian-deep-learning|Bayesian 深度学习]]
|
||
- [[ortega-phd-thesis|论文]]
|