---
title: "隐藏对称性 (Hidden Symmetries)"
created: 2026-06-10
updated: 2026-06-10
type: concept
tags: ["neuroalgebraic-geometry", "neural-networks", "identifiability"]
sources: ["[[relu-neuromanifolds-semi-algebraicity]]"]
---

# 隐藏对称性 (Hidden Symmetries in Neural Networks)

**隐藏对称性**是神经网络参数化映射中超出平凡[[scaling-permutation-symmetry|缩放和置换]]的对称性——即不同的权重参数（无法通过缩放/置换互相转换）产生**完全相同**的函数。

## 为什么是问题

隐藏对称性意味着：
- 网络**不可识别**（identifiability 失败）
- 即使知道网络实现的函数，也无法唯一确定参数
- 损失景观中存在平坦方向（flat directions）

## 已知的平凡对称性

1. **缩放对称性**：ReLU 的正齐次性——缩放入边权重乘以 c，出边除以 c，函数不变
2. **置换对称性**：同一隐藏层中神经元的排列不改变函数

## 隐藏对称性的存在

[[relu-neuromanifolds-semi-algebraicity|Flinth et al. (2026)]] 通过研究[[fiber-of-parametrization|参数化纤维]]来刻画隐藏对称性：

- 在 [[honest-open-subset|honest 开子集]]上，**无隐藏对称性**
- 在 honest 区域外，纤维 phi^{-1}(phi(u)) 比 Pr(d) 轨道大 → 存在隐藏对称性
- 隐藏对称性对应于神经流形的**奇点**

## 与训练的关系

隐藏对称性区域（即 honest 开子集的补集）是训练中的"危险区"——梯度信息不唯一，优化可能陷入虚假临界点。

## 参考
- [[relu-neuromanifolds-semi-algebraicity|ReLU Neuromanifolds]]
- [[honest-open-subset|Honest Open Subset]]
- [[scaling-permutation-symmetry|Scaling & Permutation]]
- [[fiber-of-parametrization|Fiber]]