2.9 KiB
2.9 KiB
title, created, updated, type, tags, sources
| title | created | updated | type | tags | sources | ||||||
|---|---|---|---|---|---|---|---|---|---|---|---|
| ReLU 神经流形的纤维与半代数性 | 2026-06-10 | 2026-06-10 | paper |
|
|
ReLU 神经流形的纤维与半代数性
Authors: Axel Flinth, Stefano Mereta, Michele Pernice (KTH / WASP) arXiv: 2606.02826v1 [math.AG], 2026
核心问题
神经网络的训练在权重空间上进行，但优化目标（损失函数）定义在神经流形（neuromanifold）——网络能表示的所有函数的空间。参数化映射 Phi: R^M -> M_d 的非单射性（多个权重映射到同一函数）导致：
- 虚假临界点（权重空间中的临界点并非函数空间中的临界点）
- 奇点和边界点更容易成为临界点
理解神经流形的几何结构对理解训练动力学至关重要。
三大核心贡献
1. ReLU 神经流形不是半代数商（Theorem 1）
定理：ReLU 网络的神经流形 M_d 不是权重空间在半代数范畴中的商。
即：不存在"好"的半代数结构使得 M_d 成为 R^M / E_Phi 的几何商。反例在浅层网络中构造。
2. Honest 开子集与隐藏对称性（Conjecture 2）
引入 honest-open-subset 概念——参数化映射在该区域无隐藏对称性（所有对称性都是平凡缩放+置换）。
三种强度：
- weakly honest：Pr(d) 在区域内传递作用于纤维
- honest：Pr(d) 在区域内满射到纤维
- strongly honest：Pr(d) 同构于纤维
猜想：对任意架构，最大 honest 开集是半代数的。
3. 浅层网络的 Zariski 开性（Theorem 3）
对于浅层网络（L=1），最大 honest 开集是 Zariski 开集——比半代数更强的结论。
方法论
- 点态半代数性：通过逐点评价值定义无穷维空间上的半代数结构
- Pro-半代数结构：将神经流形视为有限维半代数空间的范畴极限
- 群胚视角：用等价关系 E_Phi 的语言处理商存在性问题（Scheiderer 1989 定理）
与已有工作的关系
- neuroalgebraic-geometry 对多项式激活函数已有良好理解（[MSM+25] 综述）
- 非多项式激活（ReLU）几乎未知——本文填补此空白
- 与 [GLR23, GM26] 独立工作，用代数几何替代多面体组合学
- 与 [AM25] 的输出簇（output varieties）互补——后者固定有限输入集
相关概念
- neuromanifold
- neuroalgebraic-geometry
- semi-algebraic-set
- honest-open-subset
- hidden-symmetries-neural
- parametrization-map
- scaling-permutation-symmetry
- fiber-of-parametrization