2.0 KiB
2.0 KiB
title, created, updated, type, tags, sources
| title | created | updated | type | tags | sources | |||||
|---|---|---|---|---|---|---|---|---|---|---|
| Cross-Model Concept Geometry (跨模型概念几何) | 2026-07-10 | 2026-07-10 | concept |
|
|
Cross-Model Concept Geometry (跨模型概念几何)
Hu et al. (ICML 2026) 的核心发现：概念表示的关系结构跨模型共享——且不仅是概念本身，上下文变换场也共享。
测量工具
CKA (Centered Kernel Alignment)
CKA(K, L) = HSIC(K, L) / √(HSIC(K, K) · HSIC(L, L))
使用去偏 HSIC 估计量（Song et al., 2012）：避免有限样本膨胀。捕捉旋转/缩放不变的关系结构。
Grassmann 距离
检测上下文变换场是否跨越相同的方向：
- 对 Φ_τ 做截断 SVD，取列空间 col(U)
- 列空间是 Grassmann 流形 Gr(p, |W|) 上的点
- Grassmann 距离 = 主角度 θ_i 的 ℓ₂ 范数
Permutation Calibration
对每个对齐分数 ρ_obs，生成 K=200 个排列零分布 {ρ_k}，计算校准分数：
ρ_cal = (ρ_obs - γ)₊ / (ρ_max - γ)
其中 γ = Q_{1-α}({ρ_obs} ∪ {ρ_k})。
关键结果
- 概念内关系：跨模型 CKA 显著 > 基线，随模型能力（MMLU）单调递增
- 概念间关系：同样显著对齐，模板上下文比自然上下文更强
- 上下文变换场（核心贡献）：位移结构从模型 A 迁移到模型 B 预测保留位移，显著高于基线
- 不是语料伪影：打乱上下文破坏对齐；控制共现统计后对齐仍保持
对 AI 理论的意义
模型的"概念系统"不仅共享概念在哪里，更共享上下文如何移动它们——这是一个比先前工作（如 Huh et al. 2024, Park et al. 2024）所认识到的更丰富的共享几何结构。