---
title: "ReLU 神经流形的纤维与半代数性"
created: 2026-06-10
updated: 2026-06-10
type: paper
tags: ["neuroalgebraic-geometry", "algebraic-geometry", "neural-networks", "relu", "semi-algebraic"]
sources: ["https://arxiv.org/abs/2606.02826"]
---

# ReLU 神经流形的纤维与半代数性

**Authors**: Axel Flinth, Stefano Mereta, Michele Pernice (KTH / WASP)
**arXiv**: 2606.02826v1 [math.AG], 2026

## 核心问题

神经网络的训练在权重空间上进行，但优化目标（损失函数）定义在**神经流形**（[[neuromanifold|neuromanifold]]）——网络能表示的所有函数的空间。参数化映射 Phi: R^M -> M_d 的非单射性（多个权重映射到同一函数）导致：

- 虚假临界点（权重空间中的临界点并非函数空间中的临界点）
- 奇点和边界点更容易成为临界点

理解神经流形的几何结构对理解训练动力学至关重要。

## 三大核心贡献

### 1. ReLU 神经流形不是半代数商（Theorem 1）

**定理**：ReLU 网络的神经流形 M_d **不是**权重空间在半代数范畴中的商。

即：不存在"好"的半代数结构使得 M_d 成为 R^M / E_Phi 的几何商。反例在浅层网络中构造。

### 2. Honest 开子集与隐藏对称性（Conjecture 2）

引入 **[[honest-open-subset|honest 开子集]]** 概念——参数化映射在该区域无隐藏对称性（所有对称性都是平凡缩放+置换）。

三种强度：
- **weakly honest**：Pr(d) 在区域内传递作用于纤维
- **honest**：Pr(d) 在区域内满射到纤维
- **strongly honest**：Pr(d) 同构于纤维

**猜想**：对任意架构，最大 honest 开集是半代数的。

### 3. 浅层网络的 Zariski 开性（Theorem 3）

对于浅层网络（L=1），最大 honest 开集是 **Zariski 开集**——比半代数更强的结论。

## 方法论

- **点态半代数性**：通过逐点评价值定义无穷维空间上的半代数结构
- **Pro-半代数结构**：将神经流形视为有限维半代数空间的范畴极限
- **群胚视角**：用等价关系 E_Phi 的语言处理商存在性问题（Scheiderer 1989 定理）

## 与已有工作的关系

- [[neuroalgebraic-geometry|神经代数几何]] 对多项式激活函数已有良好理解（[MSM+25] 综述）
- 非多项式激活（ReLU）几乎未知——本文填补此空白
- 与 [GLR23, GM26] 独立工作，用代数几何替代多面体组合学
- 与 [AM25] 的输出簇（output varieties）互补——后者固定有限输入集

## 相关概念
- [[neuromanifold|神经流形]]
- [[neuroalgebraic-geometry|神经代数几何]]
- [[semi-algebraic-set|半代数集]]
- [[honest-open-subset|Honest 开子集]]
- [[hidden-symmetries-neural|隐藏对称性]]
- [[parametrization-map|参数化映射]]
- [[scaling-permutation-symmetry|缩放与置换对称性]]
- [[fiber-of-parametrization|参数化纤维]]

## 来源
- [arXiv](https://arxiv.org/abs/2606.02826)
- [原始存档](raw/papers/flinth-relu-neuromanifolds-2026.md)