49 lines
1.6 KiB
Markdown
49 lines
1.6 KiB
Markdown
---
|
||
title: "缩放与置换对称性 (Scaling & Permutation Symmetries)"
|
||
created: 2026-06-10
|
||
updated: 2026-06-10
|
||
type: concept
|
||
tags: ["neural-networks", "symmetries", "identifiability", "relu"]
|
||
sources: ["[[relu-neuromanifolds-semi-algebraicity]]"]
|
||
---
|
||
|
||
# 缩放与置换对称性 (Scaling & Permutation Symmetries)
|
||
|
||
神经网络参数化映射的两个**平凡对称性**——改变权重但不改变网络实现的函数。
|
||
|
||
## 缩放对称性 (Scaling)
|
||
|
||
由 ReLU 的正齐次性 ReLU(cx) = c ReLU(x)（c > 0）产生：
|
||
|
||
- 将隐藏层神经元的**入边权重**乘以 c > 0
|
||
- 将同一种经元的**出边权重**除以 c
|
||
- 函数不变
|
||
|
||
群：Sc(d) = (R+)^L，作为 GL_d 的子群（正标量矩阵）
|
||
|
||
## 置换对称性 (Permutation)
|
||
|
||
同一隐藏层中的神经元可以任意重排：
|
||
|
||
- 交换隐藏层中两个神经元的位置
|
||
- 同步交换它们所有的入边和出边权重
|
||
- 函数不变
|
||
|
||
群：Pr(d) = Product_i Sigma_{di}，作为 GL_d 的子群（置换矩阵）
|
||
|
||
## 平凡对称性群
|
||
|
||
G(d) = <Sc(d), Pr(d)> 是缩放和置换生成的子群。
|
||
|
||
通过消去缩放作用：令 P = P_d / Sc(d)（权重空间除去零行，模缩放），研究 phi: P -> M_d 在剩余 Pr(d) 作用下的性质。
|
||
|
||
## 隐藏对称性 vs 平凡对称性
|
||
|
||
[[honest-open-subset|Honest 开子集]]的精确定义：所有对称性都是平凡的 G(d) 对称性的区域。在 honest 开集之外，存在[[hidden-symmetries-neural|隐藏对称性]]。
|
||
|
||
## 参考
|
||
- [[relu-neuromanifolds-semi-algebraicity|ReLU Neuromanifolds]]
|
||
- [[hidden-symmetries-neural|Hidden Symmetries]]
|
||
- [[honest-open-subset|Honest Open Subset]]
|
||
- [[parametrization-map|Parametrization Map]]
|