1.8 KiB
1.8 KiB
title, created, updated, type, tags, sources
| title | created | updated | type | tags | sources | |||||
|---|---|---|---|---|---|---|---|---|---|---|
| Structural Internal Directions (SID, 结构内部方向) | 2026-07-10 | 2026-07-10 | concept |
|
|
Structural Internal Directions (SID)
SID（Structural Internal Directions）是 statistically-meaningful-geometry 中垂直切子空间 Vf = ker(dπf)，包含所有不改变宏观概率分布的参数变化方向。
形式化定义
Vf ≡ SID := { v ∈ Tf M | dπf(v) = 0 }
= { v ∈ Tf M | gf(v, s_i) = 0, ∀i = 1,...,d }
其中 gf 是 Fisher-Rao 度量，s_i 是 SVDχ 的基。
由于 dim(M) = ∞ 而 dim(SVDχ) = d，由 Rank-Nullity 定理推出 dim(SID) = ∞。
物理来源
SID 编码了过参数化网络中的：
- 隐藏节点排列对称性
- 尺度不变性（ReLU: W → αW, W' → W'/α）
- 权重空间内的规范冗余（gauge redundancies）
- 无穷维内部自由度（IDoF）
SMG 的创新视角
传统观点将 SID 视为需要剪枝的病理。SMG 将其重新定义为：
- Structural Internal Capacity：必需的内部工作空间
- Frictionless Thermodynamic Reservoir：零一阶统计方差 → 优化器可在其中自由导航，平滑规避局部极小值而不影响输出
- Absorptive Capacity：吸收环境噪声和架构扰动
与 Dead Direction 的对比
| 概念 | 框架 | 语义 |
|---|---|---|
| SID | SMG (Cheng et al.) | 垂直 gauge 空间，零统计方差但有结构功能 |
| [[dead-direction | Dead Direction]] | SLT (Watanabe/Shirodkar) |