20260720

papers/shared-concept-geometry-2026.md

@@ -0,0 +1,76 @@
+---
+title: "Language Models Represent and Transform Concepts with Shared Geometry"
+created: 2026-07-10
+updated: 2026-07-10
+type: paper
+tags: ["representation-learning", "conceptual-representation", "contextual-geometry", "vector-field", "cross-model-alignment"]
+arxiv: "2607.04525"
+authors: ["Zhimin Hu", "Lanhao Niu", "Sashank Varma"]
+venue: "ICML 2026"
+year: 2026
+sources: ["https://arxiv.org/abs/2607.04525"]
+---
+
+# Concepts as Point-Cloud Manifolds with Shared Transformations (ICML 2026)
+
+**Hu, Niu & Varma** 挑战了 LLM 中"概念 = 稳定向量"的主流范式。通过神经群体几何的形式化，他们证明概念是**点云流形**，上下文通过**向量场**作用——更重要的是，这些变换场的结构**跨模型共享**。
+
+## 核心贡献
+
+### 从静态到动态
+
+```
+传统：概念 ≈ 固定向量 → steering = 沿单一方向移动
+                     ↓
+Hu et al.：概念 ≈ 点云流形 X_w → 上下文变换 φ(w,τ) = r(w,τ) - r(w,τ₀)
+                     ↓
+          变换场 Φ_τ 的方差结构语义组织且跨模型共享
+```
+
+### 双轴表征框架
+
+| 轴 | 核矩阵 | 意义 |
+|-----|--------|------|
+| **Within-Concept** | K_w[i,j] = k(r(w,c_i), r(w,c_j)) | 概念跨上下文的灵活性 |
+| **Between-Concept** | K_τ[i,j] = k(r(w_i,τ), r(w_j,τ)) | 概念在共享上下文中的相对位置 |
+
+## 三大发现
+
+### 1. 变换场非均匀且语义组织
+
+- 无单一方向主导：ρ₁ ∈ [0.07, 0.15]
+- **词汇密度高** → 位移幅度小（ρ = -0.22 ~ -0.32）
+- **概念具体性高** → 方向偏差小（ρ = -0.21 ~ -0.41）
+- 抽象概念因缺乏感知锚定，在语义框架间被推向更分散的方向
+
+### 2. 概念结构跨模型共享
+
+- Within-concept + Between-concept 关系的 CKA 显著高于基线
+- 对齐随模型能力（MMLU）单调递增
+- Pythia（旧代）对齐较弱
+
+### 3. 变换场本身共享（核心贡献）
+
+> 位移关系结构从模型 A 运送到模型 B，预测保留位移显著高于基线 —— 扭曲关系结构则降低预测。
+
+不是语料重叠的表面伪影：打乱上下文破坏对齐；控制共现统计后仍保持。
+
+## 对表示工程的意义
+
+单向量 steering 将上下文变换近似为均匀平移 → **丢弃了语义上有意义的结构化残差**。更精确的干预应考虑每个概念的**个体变换几何**。
+
+## 实验规模
+
+- 23 模型 / 6 族（Qwen2.5、Llama、Mistral、Gemma2、DeepSeek、Pythia）
+- 0.5B–32B 参数
+- 5 种语义上下文模板（分类、感知、情境、情感、知识）
+- ~1000 词词汇（平衡具体性与密度）
+
+## 相关概念
+
+- [[concept-point-cloud-manifold|Point-Cloud Manifold]]
+- [[contextual-transformation-field|Contextual Transformation Field]]
+- [[within-concept-between-concept-axes|Two Axes]]
+- [[cross-model-concept-geometry|Cross-Model Geometry]]
+
+来源: [原始存档](raw/papers/Hu-etal-concepts-shared-geometry-2026.md) | [arXiv](https://arxiv.org/abs/2607.04525)