43 lines
1.7 KiB
Markdown
43 lines
1.7 KiB
Markdown
---
|
||
title: "隐藏对称性 (Hidden Symmetries)"
|
||
created: 2026-06-10
|
||
updated: 2026-06-10
|
||
type: concept
|
||
tags: ["neuroalgebraic-geometry", "neural-networks", "identifiability"]
|
||
sources: ["[[relu-neuromanifolds-semi-algebraicity]]"]
|
||
---
|
||
|
||
# 隐藏对称性 (Hidden Symmetries in Neural Networks)
|
||
|
||
**隐藏对称性**是神经网络参数化映射中超出平凡[[scaling-permutation-symmetry|缩放和置换]]的对称性——即不同的权重参数（无法通过缩放/置换互相转换）产生**完全相同**的函数。
|
||
|
||
## 为什么是问题
|
||
|
||
隐藏对称性意味着：
|
||
- 网络**不可识别**（identifiability 失败）
|
||
- 即使知道网络实现的函数，也无法唯一确定参数
|
||
- 损失景观中存在平坦方向（flat directions）
|
||
|
||
## 已知的平凡对称性
|
||
|
||
1. **缩放对称性**：ReLU 的正齐次性——缩放入边权重乘以 c，出边除以 c，函数不变
|
||
2. **置换对称性**：同一隐藏层中神经元的排列不改变函数
|
||
|
||
## 隐藏对称性的存在
|
||
|
||
[[relu-neuromanifolds-semi-algebraicity|Flinth et al. (2026)]] 通过研究[[fiber-of-parametrization|参数化纤维]]来刻画隐藏对称性：
|
||
|
||
- 在 [[honest-open-subset|honest 开子集]]上，**无隐藏对称性**
|
||
- 在 honest 区域外，纤维 phi^{-1}(phi(u)) 比 Pr(d) 轨道大 → 存在隐藏对称性
|
||
- 隐藏对称性对应于神经流形的**奇点**
|
||
|
||
## 与训练的关系
|
||
|
||
隐藏对称性区域（即 honest 开子集的补集）是训练中的"危险区"——梯度信息不唯一，优化可能陷入虚假临界点。
|
||
|
||
## 参考
|
||
- [[relu-neuromanifolds-semi-algebraicity|ReLU Neuromanifolds]]
|
||
- [[honest-open-subset|Honest Open Subset]]
|
||
- [[scaling-permutation-symmetry|Scaling & Permutation]]
|
||
- [[fiber-of-parametrization|Fiber]]
|