--- title: "Within-Concept / Between-Concept Axes (概念内/间轴)" created: 2026-07-10 updated: 2026-07-10 type: concept tags: ["representation-geometry", "kernel-methods", "cka", "conceptual-representation"] sources: ["[[shared-concept-geometry-2026|Hu et al. (ICML 2026)]]"] --- # Within-Concept / Between-Concept Axes (概念内/间轴) Hu et al. (ICML 2026) 的概念表示的双轴表征框架。 ## 双轴定义 ### 概念内关系(Within-Concept) 同一概念跨上下文的点云形状: ``` K_w^{(m)}[i, j] = k(r^{(m)}(w, c_i), r^{(m)}(w, c_j)), c_i, c_j ∈ C ``` 测量**上下文可变性**——概念在多大程度上随语境变化。 ### 概念间关系(Between-Concept) 同一上下文内不同概念的相互位置: ``` K_τ^{(m)}[i, j] = k(r^{(m)}(w_i, τ), r^{(m)}(w_j, τ)), w_i, w_j ∈ W ``` 测量**概念间关系结构**——概念在共享上下文中的相对几何。 ## 互补性 | 轴 | 问题 | 不变的是 | 变化的是 | |-----|------|---------|---------| | Within-Concept | 一个概念有多灵活? | 概念 w | 上下文 c | | Between-Concept | 概念间关系多稳定? | 上下文 τ | 概念 w | ## 跨模型对齐 两种关系都在模型间显著对齐(CKA + permutation calibration),且对齐程度与**模型能力**(MMLU 分数)正相关。Pythia 等较老模型的对齐较弱。 ## 上下文特异性 - **自然上下文**:within-concept 对齐最强 - **模板上下文**:between-concept 对齐最强 - → 这表明跨模型对齐不是语料重叠的表面伪影——打乱上下文会破坏对齐 ## 参考 - [[shared-concept-geometry-2026|Hu et al. (ICML 2026)]] - [[concept-point-cloud-manifold|Point-Cloud Manifold]] - [[contextual-transformation-field|Contextual Transformation Field]]