57 lines
2.0 KiB
Markdown
57 lines
2.0 KiB
Markdown
---
|
||
title: "Cross-Model Concept Geometry (跨模型概念几何)"
|
||
created: 2026-07-10
|
||
updated: 2026-07-10
|
||
type: concept
|
||
tags: ["representation-alignment", "cka", "grassmann-distance", "cross-model-analysis"]
|
||
sources: ["[[shared-concept-geometry-2026|Hu et al. (ICML 2026)]]"]
|
||
---
|
||
|
||
# Cross-Model Concept Geometry (跨模型概念几何)
|
||
|
||
Hu et al. (ICML 2026) 的核心发现：概念表示的关系结构**跨模型共享**——且不仅是概念本身，**上下文变换场也共享**。
|
||
|
||
## 测量工具
|
||
|
||
### CKA (Centered Kernel Alignment)
|
||
|
||
```
|
||
CKA(K, L) = HSIC(K, L) / √(HSIC(K, K) · HSIC(L, L))
|
||
```
|
||
|
||
使用去偏 HSIC 估计量（Song et al., 2012）：避免有限样本膨胀。捕捉旋转/缩放不变的**关系结构**。
|
||
|
||
### Grassmann 距离
|
||
|
||
检测上下文变换场是否跨越**相同的方向**：
|
||
- 对 Φ_τ 做截断 SVD，取列空间 col(U)
|
||
- 列空间是 Grassmann 流形 Gr(p, |W|) 上的点
|
||
- Grassmann 距离 = 主角度 θ_i 的 ℓ₂ 范数
|
||
|
||
### Permutation Calibration
|
||
|
||
对每个对齐分数 ρ_obs，生成 K=200 个排列零分布 {ρ_k}，计算校准分数：
|
||
|
||
```
|
||
ρ_cal = (ρ_obs - γ)₊ / (ρ_max - γ)
|
||
```
|
||
|
||
其中 γ = Q_{1-α}({ρ_obs} ∪ {ρ_k})。
|
||
|
||
## 关键结果
|
||
|
||
1. **概念内关系**：跨模型 CKA 显著 > 基线，随模型能力（MMLU）单调递增
|
||
2. **概念间关系**：同样显著对齐，模板上下文比自然上下文更强
|
||
3. **上下文变换场**（核心贡献）：位移结构从模型 A 迁移到模型 B 预测保留位移，显著高于基线
|
||
4. **不是语料伪影**：打乱上下文破坏对齐；控制共现统计后对齐仍保持
|
||
|
||
## 对 AI 理论的意义
|
||
|
||
模型的"概念系统"不仅共享**概念在哪里**，更共享**上下文如何移动它们**——这是一个比先前工作（如 Huh et al. 2024, Park et al. 2024）所认识到的**更丰富的共享几何结构**。
|
||
|
||
## 参考
|
||
|
||
- [[shared-concept-geometry-2026|Hu et al. (ICML 2026)]]
|
||
- [[contextual-transformation-field|Contextual Transformation Field]]
|
||
- [[within-concept-between-concept-axes|Two Axes]]
|