60 lines
1.8 KiB
Markdown
60 lines
1.8 KiB
Markdown
---
|
||
title: "超平面排列 (Hyperplane Arrangements)"
|
||
created: 2026-06-17
|
||
updated: 2026-06-17
|
||
type: concept
|
||
tags: [geometry, capacity, neural-networks, theory]
|
||
sources: [raw/papers/zhang-geometric-sae-2026.md]
|
||
confidence: high
|
||
---
|
||
|
||
# 超平面排列 (Hyperplane Arrangements)
|
||
|
||
超平面排列是 [[sparse-autoencoder|SAE]] 几何分析的**基础数学结构**——每个 SAE 神经元定义一个将激活空间分割的超平面，所有神经元的超平面共同形成复杂的区域划分。
|
||
|
||
## 定义
|
||
|
||
每个 SAE 神经元 i 定义超平面：
|
||
|
||
```
|
||
H_i = {x : ⟨w_i, x⟩ + b_i = 0}
|
||
```
|
||
|
||
其中 `w_i` 是编码器权重向量，`b_i` 是偏置。
|
||
|
||
## TNSA 区域
|
||
|
||
所有神经元的超平面将空间分割为若干区域——每个区域对应一个激活模式（TNSA：Total Neuron Single Activation）：
|
||
|
||
```
|
||
R_s = ∩_{i∈[d]} H_i^{σ_{s,i}}
|
||
```
|
||
|
||
其中 `σ_{s,i} ∈ {+, -}` 指示神经元 i 在模式 s 下是否激活。
|
||
|
||
## 网络容量
|
||
|
||
超平面排列的**区域数量**决定了 SAE 最大可区分的激活模式数，从而决定了可独立表征的概念数：
|
||
|
||
- d 个超平面在 n 维空间中的最大区域数：`Σ_{i=0}^n C(d, i)`
|
||
- 这给出了模型容量的**组合上界**
|
||
|
||
## 在 SAE 中的应用
|
||
|
||
[[geometric-sae-concepts|Zhang et al. (2026)]] 利用超平面排列分析：
|
||
|
||
1. **特征分裂**的几何可能性和限制
|
||
2. **概念分离**的充要条件（凸包不交）
|
||
3. **概念近似**的误差下界（非凸概念的不可约误差）
|
||
4. **[[absolute-gating|绝对 vs 相对门控]]** 的几何差异
|
||
|
||
## 与 Top-K MoE 的关联
|
||
|
||
Su et al. (2026) 将 Top-K MoE 的专家选择分析为超平面排列问题——与 Top-K SAE 共享同一数学框架。
|
||
|
||
## 参考
|
||
|
||
- [[absolute-gating|绝对/相对门控]]
|
||
- [[sparse-autoencoder|SAE]]
|
||
- [[geometric-sae-concepts|几何框架论文]]
|