Within-Concept / Between-Concept Axes (概念内/间轴)

Hu et al. (ICML 2026) 的概念表示的双轴表征框架。

双轴定义

同一概念跨上下文的点云形状：

K_w^{(m)}[i, j] = k(r^{(m)}(w, c_i), r^{(m)}(w, c_j)),  c_i, c_j ∈ C

测量上下文可变性——概念在多大程度上随语境变化。

同一上下文内不同概念的相互位置：

K_τ^{(m)}[i, j] = k(r^{(m)}(w_i, τ), r^{(m)}(w_j, τ)),  w_i, w_j ∈ W

测量概念间关系结构——概念在共享上下文中的相对几何。

轴	问题	不变的是	变化的是
Within-Concept	一个概念有多灵活？	概念 w	上下文 c
Between-Concept	概念间关系多稳定？	上下文 τ	概念 w

两种关系都在模型间显著对齐（CKA + permutation calibration），且对齐程度与模型能力（MMLU 分数）正相关。Pythia 等较老模型的对齐较弱。