1.6 KiB
1.6 KiB
title, created, updated, type, tags, sources, confidence
| title | created | updated | type | tags | sources | confidence | |||||
|---|---|---|---|---|---|---|---|---|---|---|---|
| 通用逼近定理 (Universal Approximation Theorem) | 2026-06-17 | 2026-06-17 | concept |
|
|
high |
通用逼近定理 (Universal Approximation Theorem)
UAT 是神经网络理论的基石——证明神经网络在适当的函数空间中稠密，即可以任意精度逼近目标函数。
经典版本
Cybenko (1989) / Hornik (1991)：
单隐层 NN 在 C(K) 中稠密（紧集 K ⊂ R^n）
任何连续函数在紧集上可被单隐层 sigmoidal NN 任意逼近。
三个推广维度
weighted-uat-manifolds 同时推进三个方向：
1. 紧集 → 加权空间
- 不限于紧集，用权重函数 Ψ 控制全局行为
- 适用于非紧路径空间（随机过程）
2. 连续 → 可微
- 同时逼近函数值和方向导数
- 需要 nachbin-theorem（带导数的 Stone-Weierstrass）
3. 有限维 → 无限维
- 输入：无限维流形（如路径空间）
- 输出：Banach 空间
- 通过 BAP（有界逼近性质）提升维度
证明骨架
标量激活 σ 满足 Tauberian 条件
↓ (Wiener/Korevaar)
σ 对线性泛函是 discriminatory
↓ (加权 Nachbin 定理)
FNN 在加权可微函数空间中稠密
↓ (BAP)
提升到无限维输入/输出