---
title: "Language Models Represent and Transform Concepts with Shared Geometry"
created: 2026-07-10
updated: 2026-07-10
type: paper
tags: ["representation-learning", "conceptual-representation", "contextual-geometry", "vector-field", "cross-model-alignment"]
arxiv: "2607.04525"
authors: ["Zhimin Hu", "Lanhao Niu", "Sashank Varma"]
venue: "ICML 2026"
year: 2026
sources: ["https://arxiv.org/abs/2607.04525"]
---

# Concepts as Point-Cloud Manifolds with Shared Transformations (ICML 2026)

**Hu, Niu & Varma** 挑战了 LLM 中"概念 = 稳定向量"的主流范式。通过神经群体几何的形式化，他们证明概念是**点云流形**，上下文通过**向量场**作用——更重要的是，这些变换场的结构**跨模型共享**。

## 核心贡献

### 从静态到动态

```
传统：概念 ≈ 固定向量 → steering = 沿单一方向移动
                     ↓
Hu et al.：概念 ≈ 点云流形 X_w → 上下文变换 φ(w,τ) = r(w,τ) - r(w,τ₀)
                     ↓
          变换场 Φ_τ 的方差结构语义组织且跨模型共享
```

### 双轴表征框架

| 轴 | 核矩阵 | 意义 |
|-----|--------|------|
| **Within-Concept** | K_w[i,j] = k(r(w,c_i), r(w,c_j)) | 概念跨上下文的灵活性 |
| **Between-Concept** | K_τ[i,j] = k(r(w_i,τ), r(w_j,τ)) | 概念在共享上下文中的相对位置 |

## 三大发现

### 1. 变换场非均匀且语义组织

- 无单一方向主导：ρ₁ ∈ [0.07, 0.15]
- **词汇密度高** → 位移幅度小（ρ = -0.22 ~ -0.32）
- **概念具体性高** → 方向偏差小（ρ = -0.21 ~ -0.41）
- 抽象概念因缺乏感知锚定，在语义框架间被推向更分散的方向

### 2. 概念结构跨模型共享

- Within-concept + Between-concept 关系的 CKA 显著高于基线
- 对齐随模型能力（MMLU）单调递增
- Pythia（旧代）对齐较弱

### 3. 变换场本身共享（核心贡献）

> 位移关系结构从模型 A 运送到模型 B，预测保留位移显著高于基线 —— 扭曲关系结构则降低预测。

不是语料重叠的表面伪影：打乱上下文破坏对齐；控制共现统计后仍保持。

## 对表示工程的意义

单向量 steering 将上下文变换近似为均匀平移 → **丢弃了语义上有意义的结构化残差**。更精确的干预应考虑每个概念的**个体变换几何**。

## 实验规模

- 23 模型 / 6 族（Qwen2.5、Llama、Mistral、Gemma2、DeepSeek、Pythia）
- 0.5B–32B 参数
- 5 种语义上下文模板（分类、感知、情境、情感、知识）
- ~1000 词词汇（平衡具体性与密度）

## 相关概念

- [[concept-point-cloud-manifold|Point-Cloud Manifold]]
- [[contextual-transformation-field|Contextual Transformation Field]]
- [[within-concept-between-concept-axes|Two Axes]]
- [[cross-model-concept-geometry|Cross-Model Geometry]]

来源: [原始存档](raw/papers/Hu-etal-concepts-shared-geometry-2026.md) | [arXiv](https://arxiv.org/abs/2607.04525)