73 lines
2.9 KiB
Markdown
73 lines
2.9 KiB
Markdown
---
|
||
title: "ReLU 神经流形的纤维与半代数性"
|
||
created: 2026-06-10
|
||
updated: 2026-06-10
|
||
type: paper
|
||
tags: ["neuroalgebraic-geometry", "algebraic-geometry", "neural-networks", "relu", "semi-algebraic"]
|
||
sources: ["https://arxiv.org/abs/2606.02826"]
|
||
---
|
||
|
||
# ReLU 神经流形的纤维与半代数性
|
||
|
||
**Authors**: Axel Flinth, Stefano Mereta, Michele Pernice (KTH / WASP)
|
||
**arXiv**: 2606.02826v1 [math.AG], 2026
|
||
|
||
## 核心问题
|
||
|
||
神经网络的训练在权重空间上进行，但优化目标（损失函数）定义在**神经流形**（[[neuromanifold|neuromanifold]]）——网络能表示的所有函数的空间。参数化映射 Phi: R^M -> M_d 的非单射性（多个权重映射到同一函数）导致：
|
||
|
||
- 虚假临界点（权重空间中的临界点并非函数空间中的临界点）
|
||
- 奇点和边界点更容易成为临界点
|
||
|
||
理解神经流形的几何结构对理解训练动力学至关重要。
|
||
|
||
## 三大核心贡献
|
||
|
||
### 1. ReLU 神经流形不是半代数商（Theorem 1）
|
||
|
||
**定理**：ReLU 网络的神经流形 M_d **不是**权重空间在半代数范畴中的商。
|
||
|
||
即：不存在"好"的半代数结构使得 M_d 成为 R^M / E_Phi 的几何商。反例在浅层网络中构造。
|
||
|
||
### 2. Honest 开子集与隐藏对称性（Conjecture 2）
|
||
|
||
引入 **[[honest-open-subset|honest 开子集]]** 概念——参数化映射在该区域无隐藏对称性（所有对称性都是平凡缩放+置换）。
|
||
|
||
三种强度：
|
||
- **weakly honest**：Pr(d) 在区域内传递作用于纤维
|
||
- **honest**：Pr(d) 在区域内满射到纤维
|
||
- **strongly honest**：Pr(d) 同构于纤维
|
||
|
||
**猜想**：对任意架构，最大 honest 开集是半代数的。
|
||
|
||
### 3. 浅层网络的 Zariski 开性（Theorem 3）
|
||
|
||
对于浅层网络（L=1），最大 honest 开集是 **Zariski 开集**——比半代数更强的结论。
|
||
|
||
## 方法论
|
||
|
||
- **点态半代数性**：通过逐点评价值定义无穷维空间上的半代数结构
|
||
- **Pro-半代数结构**：将神经流形视为有限维半代数空间的范畴极限
|
||
- **群胚视角**：用等价关系 E_Phi 的语言处理商存在性问题（Scheiderer 1989 定理）
|
||
|
||
## 与已有工作的关系
|
||
|
||
- [[neuroalgebraic-geometry|神经代数几何]] 对多项式激活函数已有良好理解（[MSM+25] 综述）
|
||
- 非多项式激活（ReLU）几乎未知——本文填补此空白
|
||
- 与 [GLR23, GM26] 独立工作，用代数几何替代多面体组合学
|
||
- 与 [AM25] 的输出簇（output varieties）互补——后者固定有限输入集
|
||
|
||
## 相关概念
|
||
- [[neuromanifold|神经流形]]
|
||
- [[neuroalgebraic-geometry|神经代数几何]]
|
||
- [[semi-algebraic-set|半代数集]]
|
||
- [[honest-open-subset|Honest 开子集]]
|
||
- [[hidden-symmetries-neural|隐藏对称性]]
|
||
- [[parametrization-map|参数化映射]]
|
||
- [[scaling-permutation-symmetry|缩放与置换对称性]]
|
||
- [[fiber-of-parametrization|参数化纤维]]
|
||
|
||
## 来源
|
||
- [arXiv](https://arxiv.org/abs/2606.02826)
|
||
- [原始存档](raw/papers/flinth-relu-neuromanifolds-2026.md)
|