20260720

concepts/within-concept-between-concept-axes.md

@@ -0,0 +1,57 @@
+---
+title: "Within-Concept / Between-Concept Axes (概念内/间轴)"
+created: 2026-07-10
+updated: 2026-07-10
+type: concept
+tags: ["representation-geometry", "kernel-methods", "cka", "conceptual-representation"]
+sources: ["[[shared-concept-geometry-2026|Hu et al. (ICML 2026)]]"]
+---
+
+# Within-Concept / Between-Concept Axes (概念内/间轴)
+
+Hu et al. (ICML 2026) 的概念表示的双轴表征框架。
+
+## 双轴定义
+
+### 概念内关系（Within-Concept）
+
+同一概念跨上下文的点云形状：
+
+```
+K_w^{(m)}[i, j] = k(r^{(m)}(w, c_i), r^{(m)}(w, c_j)),  c_i, c_j ∈ C
+```
+
+测量**上下文可变性**——概念在多大程度上随语境变化。
+
+### 概念间关系（Between-Concept）
+
+同一上下文内不同概念的相互位置：
+
+```
+K_τ^{(m)}[i, j] = k(r^{(m)}(w_i, τ), r^{(m)}(w_j, τ)),  w_i, w_j ∈ W
+```
+
+测量**概念间关系结构**——概念在共享上下文中的相对几何。
+
+## 互补性
+
+| 轴 | 问题 | 不变的是 | 变化的是 |
+|-----|------|---------|---------|
+| Within-Concept | 一个概念有多灵活？ | 概念 w | 上下文 c |
+| Between-Concept | 概念间关系多稳定？ | 上下文 τ | 概念 w |
+
+## 跨模型对齐
+
+两种关系都在模型间显著对齐（CKA + permutation calibration），且对齐程度与**模型能力**（MMLU 分数）正相关。Pythia 等较老模型的对齐较弱。
+
+## 上下文特异性
+
+- **自然上下文**：within-concept 对齐最强
+- **模板上下文**：between-concept 对齐最强
+- → 这表明跨模型对齐不是语料重叠的表面伪影——打乱上下文会破坏对齐
+
+## 参考
+
+- [[shared-concept-geometry-2026|Hu et al. (ICML 2026)]]
+- [[concept-point-cloud-manifold|Point-Cloud Manifold]]
+- [[contextual-transformation-field|Contextual Transformation Field]]