---
title: "Cross-Model Concept Geometry (跨模型概念几何)"
created: 2026-07-10
updated: 2026-07-10
type: concept
tags: ["representation-alignment", "cka", "grassmann-distance", "cross-model-analysis"]
sources: ["[[shared-concept-geometry-2026|Hu et al. (ICML 2026)]]"]
---

# Cross-Model Concept Geometry (跨模型概念几何)

Hu et al. (ICML 2026) 的核心发现：概念表示的关系结构**跨模型共享**——且不仅是概念本身，**上下文变换场也共享**。

## 测量工具

### CKA (Centered Kernel Alignment)

```
CKA(K, L) = HSIC(K, L) / √(HSIC(K, K) · HSIC(L, L))
```

使用去偏 HSIC 估计量（Song et al., 2012）：避免有限样本膨胀。捕捉旋转/缩放不变的**关系结构**。

### Grassmann 距离

检测上下文变换场是否跨越**相同的方向**：
- 对 Φ_τ 做截断 SVD，取列空间 col(U)
- 列空间是 Grassmann 流形 Gr(p, |W|) 上的点
- Grassmann 距离 = 主角度 θ_i 的 ℓ₂ 范数

### Permutation Calibration

对每个对齐分数 ρ_obs，生成 K=200 个排列零分布 {ρ_k}，计算校准分数：

```
ρ_cal = (ρ_obs - γ)₊ / (ρ_max - γ)
```

其中 γ = Q_{1-α}({ρ_obs} ∪ {ρ_k})。

## 关键结果

1. **概念内关系**：跨模型 CKA 显著 > 基线，随模型能力（MMLU）单调递增
2. **概念间关系**：同样显著对齐，模板上下文比自然上下文更强
3. **上下文变换场**（核心贡献）：位移结构从模型 A 迁移到模型 B 预测保留位移，显著高于基线
4. **不是语料伪影**：打乱上下文破坏对齐；控制共现统计后对齐仍保持

## 对 AI 理论的意义

模型的"概念系统"不仅共享**概念在哪里**，更共享**上下文如何移动它们**——这是一个比先前工作（如 Huh et al. 2024, Park et al. 2024）所认识到的**更丰富的共享几何结构**。

## 参考

- [[shared-concept-geometry-2026|Hu et al. (ICML 2026)]]
- [[contextual-transformation-field|Contextual Transformation Field]]
- [[within-concept-between-concept-axes|Two Axes]]