53 lines
1.8 KiB
Markdown
53 lines
1.8 KiB
Markdown
---
|
||
title: "Structural Internal Directions (SID, 结构内部方向)"
|
||
created: 2026-07-10
|
||
updated: 2026-07-10
|
||
type: concept
|
||
tags: ["over-parameterization", "gauge-symmetry", "smg", "differential-geometry"]
|
||
sources: ["[[smg-framework-2026|SMG (Cheng et al., 2026)]]"]
|
||
---
|
||
|
||
# Structural Internal Directions (SID)
|
||
|
||
**SID**（Structural Internal Directions）是 [[statistically-meaningful-geometry|SMG]] 中垂直切子空间 Vf = ker(dπf)，包含所有不改变宏观概率分布的参数变化方向。
|
||
|
||
## 形式化定义
|
||
|
||
```
|
||
Vf ≡ SID := { v ∈ Tf M | dπf(v) = 0 }
|
||
= { v ∈ Tf M | gf(v, s_i) = 0, ∀i = 1,...,d }
|
||
```
|
||
|
||
其中 gf 是 Fisher-Rao 度量，s_i 是 SVDχ 的基。
|
||
|
||
由于 **dim(M) = ∞** 而 **dim(SVDχ) = d**，由 Rank-Nullity 定理推出 **dim(SID) = ∞**。
|
||
|
||
## 物理来源
|
||
|
||
SID 编码了过参数化网络中的：
|
||
- 隐藏节点排列对称性
|
||
- 尺度不变性（ReLU: W → αW, W' → W'/α）
|
||
- 权重空间内的规范冗余（gauge redundancies）
|
||
- 无穷维内部自由度（IDoF）
|
||
|
||
## SMG 的创新视角
|
||
|
||
传统观点将 SID 视为需要剪枝的**病理**。SMG 将其重新定义为：
|
||
|
||
1. **Structural Internal Capacity**：必需的内部工作空间
|
||
2. **Frictionless Thermodynamic Reservoir**：零一阶统计方差 → 优化器可在其中自由导航，平滑规避局部极小值而不影响输出
|
||
3. **Absorptive Capacity**：吸收环境噪声和架构扰动
|
||
|
||
## 与 Dead Direction 的对比
|
||
|
||
| 概念 | 框架 | 语义 |
|
||
|------|------|------|
|
||
| SID | SMG (Cheng et al.) | 垂直 gauge 空间，零统计方差但**有结构功能** |
|
||
| [[dead-direction|Dead Direction]] | SLT (Watanabe/Shirodkar) | Fisher 退化方向，编码神经网络奇异性 |
|
||
|
||
## 参考
|
||
|
||
- [[statistically-meaningful-geometry|SMG]]
|
||
- [[statistically-verifiable-directions|SVDχ]]
|
||
- [[dead-direction|Dead Direction]]
|