---
title: "Structural Internal Directions (SID, 结构内部方向)"
created: 2026-07-10
updated: 2026-07-10
type: concept
tags: ["over-parameterization", "gauge-symmetry", "smg", "differential-geometry"]
sources: ["[[smg-framework-2026|SMG (Cheng et al., 2026)]]"]
---

# Structural Internal Directions (SID)

**SID**（Structural Internal Directions）是 [[statistically-meaningful-geometry|SMG]] 中垂直切子空间 Vf = ker(dπf)，包含所有不改变宏观概率分布的参数变化方向。

## 形式化定义

```
Vf ≡ SID := { v ∈ Tf M | dπf(v) = 0 }
       = { v ∈ Tf M | gf(v, s_i) = 0, ∀i = 1,...,d }
```

其中 gf 是 Fisher-Rao 度量，s_i 是 SVDχ 的基。

由于 **dim(M) = ∞** 而 **dim(SVDχ) = d**，由 Rank-Nullity 定理推出 **dim(SID) = ∞**。

## 物理来源

SID 编码了过参数化网络中的：
- 隐藏节点排列对称性
- 尺度不变性（ReLU: W → αW, W' → W'/α）
- 权重空间内的规范冗余（gauge redundancies）
- 无穷维内部自由度（IDoF）

## SMG 的创新视角

传统观点将 SID 视为需要剪枝的**病理**。SMG 将其重新定义为：

1. **Structural Internal Capacity**：必需的内部工作空间
2. **Frictionless Thermodynamic Reservoir**：零一阶统计方差 → 优化器可在其中自由导航，平滑规避局部极小值而不影响输出
3. **Absorptive Capacity**：吸收环境噪声和架构扰动

## 与 Dead Direction 的对比

| 概念 | 框架 | 语义 |
|------|------|------|
| SID | SMG (Cheng et al.) | 垂直 gauge 空间，零统计方差但**有结构功能** |
| [[dead-direction|Dead Direction]] | SLT (Watanabe/Shirodkar) | Fisher 退化方向，编码神经网络奇异性 |

## 参考

- [[statistically-meaningful-geometry|SMG]]
- [[statistically-verifiable-directions|SVDχ]]
- [[dead-direction|Dead Direction]]