Concepts as Point-Cloud Manifolds with Shared Transformations (ICML 2026)

Hu, Niu & Varma 挑战了 LLM 中"概念 = 稳定向量"的主流范式。通过神经群体几何的形式化，他们证明概念是点云流形，上下文通过向量场作用——更重要的是，这些变换场的结构跨模型共享。

核心贡献

从静态到动态

传统：概念 ≈ 固定向量 → steering = 沿单一方向移动
                     ↓
Hu et al.：概念 ≈ 点云流形 X_w → 上下文变换 φ(w,τ) = r(w,τ) - r(w,τ₀)
                     ↓
          变换场 Φ_τ 的方差结构语义组织且跨模型共享

双轴表征框架

轴	核矩阵	意义
Within-Concept	K_w[i,j] = k(r(w,c_i), r(w,c_j))	概念跨上下文的灵活性
Between-Concept	K_τ[i,j] = k(r(w_i,τ), r(w_j,τ))	概念在共享上下文中的相对位置

三大发现

1. 变换场非均匀且语义组织

无单一方向主导：ρ₁ ∈ [0.07, 0.15]
词汇密度高 → 位移幅度小（ρ = -0.22 ~ -0.32）
概念具体性高 → 方向偏差小（ρ = -0.21 ~ -0.41）
抽象概念因缺乏感知锚定，在语义框架间被推向更分散的方向

2. 概念结构跨模型共享

Within-concept + Between-concept 关系的 CKA 显著高于基线
对齐随模型能力（MMLU）单调递增
Pythia（旧代）对齐较弱

3. 变换场本身共享（核心贡献）

位移关系结构从模型 A 运送到模型 B，预测保留位移显著高于基线 —— 扭曲关系结构则降低预测。

不是语料重叠的表面伪影：打乱上下文破坏对齐；控制共现统计后仍保持。

对表示工程的意义

单向量 steering 将上下文变换近似为均匀平移 → 丢弃了语义上有意义的结构化残差。更精确的干预应考虑每个概念的个体变换几何。

实验规模

23 模型 / 6 族（Qwen2.5、Llama、Mistral、Gemma2、DeepSeek、Pythia）
0.5B–32B 参数
5 种语义上下文模板（分类、感知、情境、情感、知识）
~1000 词词汇（平衡具体性与密度）

2.9 KiB Raw Blame History Unescape Escape