1.5 KiB
1.5 KiB
title, created, updated, type, tags, sources
| title | created | updated | type | tags | sources | ||||
|---|---|---|---|---|---|---|---|---|---|
| 神经流形 (Neuromanifold) | 2026-06-10 | 2026-06-10 | concept |
|
|
神经流形 (Neuromanifold)
神经流形是神经网络能参数化的所有函数的集合。形式化地，对于参数化映射 Phi: W x X -> Y：
M_d := { f_w : X -> Y | w in W }
即所有可由网络架构 d 表示的函数的空间。
为什么重要
- 训练 = 在 M_d 上优化：实际训练在权重空间 W 上进行，但优化目标定义在 M_d 上
- 参数化非单射：多个权重映射到同一函数 → 等价关系 E_Phi
- 虚假临界点：W 中的临界点不一定是 M_d 中的临界点
- 奇点影响训练：M_d 的奇点和边界点更容易成为损失函数的临界点
多项式 vs ReLU
| 激活函数 | 神经流形结构 |
|---|---|
| 多项式 | 代数簇或半代数空间 |
| ReLU | 连续分段线性函数，不是半代数商 ([[relu-neuromanifolds-semi-algebraicity |
Pro-半代数结构
ReLU 神经流形可视为有限维semi-algebraic-set的范畴极限（pro-object）——固定有限输入集得到的输出簇的极限。