77 lines
2.9 KiB
Markdown
77 lines
2.9 KiB
Markdown
---
|
||
title: "Language Models Represent and Transform Concepts with Shared Geometry"
|
||
created: 2026-07-10
|
||
updated: 2026-07-10
|
||
type: paper
|
||
tags: ["representation-learning", "conceptual-representation", "contextual-geometry", "vector-field", "cross-model-alignment"]
|
||
arxiv: "2607.04525"
|
||
authors: ["Zhimin Hu", "Lanhao Niu", "Sashank Varma"]
|
||
venue: "ICML 2026"
|
||
year: 2026
|
||
sources: ["https://arxiv.org/abs/2607.04525"]
|
||
---
|
||
|
||
# Concepts as Point-Cloud Manifolds with Shared Transformations (ICML 2026)
|
||
|
||
**Hu, Niu & Varma** 挑战了 LLM 中"概念 = 稳定向量"的主流范式。通过神经群体几何的形式化，他们证明概念是**点云流形**，上下文通过**向量场**作用——更重要的是，这些变换场的结构**跨模型共享**。
|
||
|
||
## 核心贡献
|
||
|
||
### 从静态到动态
|
||
|
||
```
|
||
传统：概念 ≈ 固定向量 → steering = 沿单一方向移动
|
||
↓
|
||
Hu et al.：概念 ≈ 点云流形 X_w → 上下文变换 φ(w,τ) = r(w,τ) - r(w,τ₀)
|
||
↓
|
||
变换场 Φ_τ 的方差结构语义组织且跨模型共享
|
||
```
|
||
|
||
### 双轴表征框架
|
||
|
||
| 轴 | 核矩阵 | 意义 |
|
||
|-----|--------|------|
|
||
| **Within-Concept** | K_w[i,j] = k(r(w,c_i), r(w,c_j)) | 概念跨上下文的灵活性 |
|
||
| **Between-Concept** | K_τ[i,j] = k(r(w_i,τ), r(w_j,τ)) | 概念在共享上下文中的相对位置 |
|
||
|
||
## 三大发现
|
||
|
||
### 1. 变换场非均匀且语义组织
|
||
|
||
- 无单一方向主导：ρ₁ ∈ [0.07, 0.15]
|
||
- **词汇密度高** → 位移幅度小（ρ = -0.22 ~ -0.32）
|
||
- **概念具体性高** → 方向偏差小（ρ = -0.21 ~ -0.41）
|
||
- 抽象概念因缺乏感知锚定，在语义框架间被推向更分散的方向
|
||
|
||
### 2. 概念结构跨模型共享
|
||
|
||
- Within-concept + Between-concept 关系的 CKA 显著高于基线
|
||
- 对齐随模型能力（MMLU）单调递增
|
||
- Pythia（旧代）对齐较弱
|
||
|
||
### 3. 变换场本身共享（核心贡献）
|
||
|
||
> 位移关系结构从模型 A 运送到模型 B，预测保留位移显著高于基线 —— 扭曲关系结构则降低预测。
|
||
|
||
不是语料重叠的表面伪影：打乱上下文破坏对齐；控制共现统计后仍保持。
|
||
|
||
## 对表示工程的意义
|
||
|
||
单向量 steering 将上下文变换近似为均匀平移 → **丢弃了语义上有意义的结构化残差**。更精确的干预应考虑每个概念的**个体变换几何**。
|
||
|
||
## 实验规模
|
||
|
||
- 23 模型 / 6 族（Qwen2.5、Llama、Mistral、Gemma2、DeepSeek、Pythia）
|
||
- 0.5B–32B 参数
|
||
- 5 种语义上下文模板（分类、感知、情境、情感、知识）
|
||
- ~1000 词词汇（平衡具体性与密度）
|
||
|
||
## 相关概念
|
||
|
||
- [[concept-point-cloud-manifold|Point-Cloud Manifold]]
|
||
- [[contextual-transformation-field|Contextual Transformation Field]]
|
||
- [[within-concept-between-concept-axes|Two Axes]]
|
||
- [[cross-model-concept-geometry|Cross-Model Geometry]]
|
||
|
||
来源: [原始存档](raw/papers/Hu-etal-concepts-shared-geometry-2026.md) | [arXiv](https://arxiv.org/abs/2607.04525)
|