20260617:目前有914 页
This commit is contained in:
49
concepts/feature-family.md
Normal file
49
concepts/feature-family.md
Normal file
@@ -0,0 +1,49 @@
|
||||
---
|
||||
title: "特征家族 (Feature Family)"
|
||||
created: 2026-06-17
|
||||
updated: 2026-06-17
|
||||
type: concept
|
||||
tags: [interpretability, sparse-autoencoder, phenomena]
|
||||
sources: [raw/papers/zhang-geometric-sae-2026.md]
|
||||
confidence: high
|
||||
---
|
||||
|
||||
# 特征家族 (Feature Family)
|
||||
|
||||
特征家族是 [[sparse-autoencoder|SAE]] 中**一组倾向于协同激活的神经元**——可能代表同一概念的不同方面或语义家族中的邻近概念。
|
||||
|
||||
## 形式化
|
||||
|
||||
一组特征 `θ₁, ..., θᵣ` 构成家族,若:
|
||||
|
||||
```
|
||||
∩_{l=1}^{r} θ_l ≠ ∅
|
||||
```
|
||||
|
||||
即所有家族成员存在非平凡的共同激活区域。
|
||||
|
||||
## 为什么形成
|
||||
|
||||
从 [[geometric-sae-concepts|Zhang et al. (2026)]] 的几何视角:
|
||||
|
||||
1. **[[feature-splitting|特征分裂]]的中间态**:尚未完全分裂的粗粒度概念
|
||||
2. **概念的多面性**:同一语义对象有多个可分离的方面
|
||||
3. **稀疏性下的协同编码**:多个稀疏特征组合表达一个不能由单个特征覆盖的概念
|
||||
|
||||
## 与层级概念的关系
|
||||
|
||||
特征家族与层级概念(hierarchical concepts)不同:
|
||||
|
||||
- **层级概念**:`C_child ⊂ C_parent`(子集关系)
|
||||
- **特征家族**:多个特征描述同一概念的不同维度(非包含关系)
|
||||
|
||||
## 意义
|
||||
|
||||
特征家族揭示了 SAE 学习表征的**模块性(modularity)**——模型倾向于用多个独立但协同的特征来表示复杂概念,而非一个全能的"祖母细胞"。
|
||||
|
||||
## 参考
|
||||
|
||||
- [[feature-splitting|特征分裂]]
|
||||
- [[feature-absorption|特征吸收]]
|
||||
- [[sparse-autoencoder|SAE]]
|
||||
- [[geometric-sae-concepts|几何框架论文]]
|
||||
Reference in New Issue
Block a user