---
title: "超平面排列 (Hyperplane Arrangements)"
created: 2026-06-17
updated: 2026-06-17
type: concept
tags: [geometry, capacity, neural-networks, theory]
sources: [raw/papers/zhang-geometric-sae-2026.md]
confidence: high
---

# 超平面排列 (Hyperplane Arrangements)

超平面排列是 [[sparse-autoencoder|SAE]] 几何分析的**基础数学结构**——每个 SAE 神经元定义一个将激活空间分割的超平面，所有神经元的超平面共同形成复杂的区域划分。

## 定义

每个 SAE 神经元 i 定义超平面：

```
H_i = {x : ⟨w_i, x⟩ + b_i = 0}
```

其中 `w_i` 是编码器权重向量，`b_i` 是偏置。

## TNSA 区域

所有神经元的超平面将空间分割为若干区域——每个区域对应一个激活模式（TNSA：Total Neuron Single Activation）：

```
R_s = ∩_{i∈[d]} H_i^{σ_{s,i}}
```

其中 `σ_{s,i} ∈ {+, -}` 指示神经元 i 在模式 s 下是否激活。

## 网络容量

超平面排列的**区域数量**决定了 SAE 最大可区分的激活模式数，从而决定了可独立表征的概念数：

- d 个超平面在 n 维空间中的最大区域数：`Σ_{i=0}^n C(d, i)`
- 这给出了模型容量的**组合上界**

## 在 SAE 中的应用

[[geometric-sae-concepts|Zhang et al. (2026)]] 利用超平面排列分析：

1. **特征分裂**的几何可能性和限制
2. **概念分离**的充要条件（凸包不交）
3. **概念近似**的误差下界（非凸概念的不可约误差）
4. **[[absolute-gating|绝对 vs 相对门控]]** 的几何差异

## 与 Top-K MoE 的关联

Su et al. (2026) 将 Top-K MoE 的专家选择分析为超平面排列问题——与 Top-K SAE 共享同一数学框架。

## 参考

- [[absolute-gating|绝对/相对门控]]
- [[sparse-autoencoder|SAE]]
- [[geometric-sae-concepts|几何框架论文]]