---
title: "通用逼近定理 (Universal Approximation Theorem)"
created: 2026-06-17
updated: 2026-06-17
type: concept
tags: [mathematics, approximation-theory, neural-networks, fundamental]
sources: [raw/papers/schmocker-weighted-uat-2026.md]
confidence: high
---

# 通用逼近定理 (Universal Approximation Theorem)

UAT 是神经网络理论的**基石**——证明神经网络在适当的函数空间中稠密，即可以任意精度逼近目标函数。

## 经典版本

Cybenko (1989) / Hornik (1991)：

```
单隐层 NN 在 C(K) 中稠密（紧集 K ⊂ R^n）
```

任何连续函数在紧集上可被单隐层 sigmoidal NN 任意逼近。

## 三个推广维度

[[weighted-uat-manifolds|Schmocker & Teichmann (2026)]] 同时推进三个方向：

### 1. 紧集 → 加权空间
- 不限于紧集，用权重函数 Ψ 控制全局行为
- 适用于非紧路径空间（随机过程）

### 2. 连续 → 可微
- 同时逼近**函数值和方向导数**
- 需要 [[nachbin-theorem|Nachbin 定理]]（带导数的 Stone-Weierstrass）

### 3. 有限维 → 无限维
- 输入：无限维流形（如路径空间）
- 输出：Banach 空间
- 通过 BAP（有界逼近性质）提升维度

## 证明骨架

```
标量激活 σ 满足 Tauberian 条件
    ↓ (Wiener/Korevaar)
σ 对线性泛函是 discriminatory
    ↓ (加权 Nachbin 定理)
FNN 在加权可微函数空间中稠密
    ↓ (BAP)
提升到无限维输入/输出
```

## 参考

- [[functional-input-neural-networks|FNN]]
- [[nachbin-theorem|Nachbin 定理]]
- [[weighted-spaces|加权空间]]
- [[weighted-uat-manifolds|论文原文]]