2.6 KiB
2.6 KiB
title, created, updated, type, tags, sources
| title | created | updated | type | tags | sources | ||||
|---|---|---|---|---|---|---|---|---|---|
| Shared Concept Geometry Review — LLM 概念表示与变换的共享几何 | 2026-07-10 | 2026-07-10 | review |
|
|
Shared Concept Geometry Review — 2026-07-10
📌 基本信息
- 论文：Language Models Represent and Transform Concepts with Shared Geometry
- 作者：Zhimin Hu, Lanhao Niu, Sashank Varma (Georgia Tech / U. Edinburgh)
- 会议：ICML 2026, Seoul
- arXiv：2607.04525v1 (Jul 5, 2026)
🎯 核心概念
- concept-point-cloud-manifold — 概念不是静态向量，而是跨上下文实例的经验采样分布
- contextual-transformation-field — Φ_τ: W → M，将上下文作用形式化为向量场
- within-concept-between-concept-axes — 概念内（跨上下文形状）+ 概念间（共享上下文内关系）
- cross-model-concept-geometry — CKA + Grassmann 距离 + permutation calibration
🔗 概念网络
- 核心发现链：concept-point-cloud-manifold → contextual-transformation-field → cross-model-concept-geometry
- 测量轴：within-concept-between-concept-axes 双轴互补
📚 Wiki 集成
- 新增页面：6 个（1 论文 + 5 概念）
- 与已有概念网络：表示学习 / 神经群体几何 / 可解释性方向
💡 关键洞察
-
"概念是分布不是向量"不是修辞——是方法论宣言：Hu et al. 从神经群体几何借来的视角意味着概念的"表示"本质上是概率分布 P_w。上下文不是"扰动"静态向量，而是从 P_w 中采样。这一视角转换使单向量 steering 的局限性从近似误差变为结构性信息丢失。
-
变换场的共享是最惊人的发现：已有工作（Huh et al. 2024）表明概念向量跨模型对齐。Hu et al. 进一步发现概念如何被上下文移动也跨模型共享。这意味着不同架构/规模的 LLM 不仅收敛到相似的概念空间，而且收敛到相似的概念动态——这暗示着存在某种超越具体参数化的"普适概念力学"。
-
对认知科学的桥接：论文明确将结果连接到认知科学中"概念如何同时稳定又灵活"的长期难题。答案：概念间关系（between-concept）跨上下文保持稳定 → 稳定性；每个概念在上下文间以语义组织的方式移动 → 灵活性。这个"关系稳定 + 绝对位置灵活"的图景是一个优雅的几何解决方案。