20260720

concepts/cross-model-concept-geometry.md

@@ -0,0 +1,56 @@
+---
+title: "Cross-Model Concept Geometry (跨模型概念几何)"
+created: 2026-07-10
+updated: 2026-07-10
+type: concept
+tags: ["representation-alignment", "cka", "grassmann-distance", "cross-model-analysis"]
+sources: ["[[shared-concept-geometry-2026|Hu et al. (ICML 2026)]]"]
+---
+
+# Cross-Model Concept Geometry (跨模型概念几何)
+
+Hu et al. (ICML 2026) 的核心发现：概念表示的关系结构**跨模型共享**——且不仅是概念本身，**上下文变换场也共享**。
+
+## 测量工具
+
+### CKA (Centered Kernel Alignment)
+
+```
+CKA(K, L) = HSIC(K, L) / √(HSIC(K, K) · HSIC(L, L))
+```
+
+使用去偏 HSIC 估计量（Song et al., 2012）：避免有限样本膨胀。捕捉旋转/缩放不变的**关系结构**。
+
+### Grassmann 距离
+
+检测上下文变换场是否跨越**相同的方向**：
+- 对 Φ_τ 做截断 SVD，取列空间 col(U)
+- 列空间是 Grassmann 流形 Gr(p, |W|) 上的点
+- Grassmann 距离 = 主角度 θ_i 的 ℓ₂ 范数
+
+### Permutation Calibration
+
+对每个对齐分数 ρ_obs，生成 K=200 个排列零分布 {ρ_k}，计算校准分数：
+
+```
+ρ_cal = (ρ_obs - γ)₊ / (ρ_max - γ)
+```
+
+其中 γ = Q_{1-α}({ρ_obs} ∪ {ρ_k})。
+
+## 关键结果
+
+1. **概念内关系**：跨模型 CKA 显著 > 基线，随模型能力（MMLU）单调递增
+2. **概念间关系**：同样显著对齐，模板上下文比自然上下文更强
+3. **上下文变换场**（核心贡献）：位移结构从模型 A 迁移到模型 B 预测保留位移，显著高于基线
+4. **不是语料伪影**：打乱上下文破坏对齐；控制共现统计后对齐仍保持
+
+## 对 AI 理论的意义
+
+模型的"概念系统"不仅共享**概念在哪里**，更共享**上下文如何移动它们**——这是一个比先前工作（如 Huh et al. 2024, Park et al. 2024）所认识到的**更丰富的共享几何结构**。
+
+## 参考
+
+- [[shared-concept-geometry-2026|Hu et al. (ICML 2026)]]
+- [[contextual-transformation-field|Contextual Transformation Field]]
+- [[within-concept-between-concept-axes|Two Axes]]