This commit is contained in:
2026-07-20 14:14:55 +08:00
parent 24b006225b
commit ebb0e425ca
88 changed files with 3995 additions and 6 deletions

View File

@@ -0,0 +1,41 @@
---
title: "Shared Concept Geometry Review — LLM 概念表示与变换的共享几何"
created: 2026-07-10
updated: 2026-07-10
type: review
tags: ["representation-learning", "conceptual-representation", "icml-2026"]
sources: ["https://arxiv.org/abs/2607.04525"]
---
# Shared Concept Geometry Review — 2026-07-10
📌 **基本信息**
- 论文Language Models Represent and Transform Concepts with Shared Geometry
- 作者Zhimin Hu, Lanhao Niu, Sashank Varma (Georgia Tech / U. Edinburgh)
- 会议ICML 2026, Seoul
- arXiv2607.04525v1 (Jul 5, 2026)
🎯 **核心概念**
1. **[[concept-point-cloud-manifold|概念点云流形]]** — 概念不是静态向量,而是跨上下文实例的经验采样分布
2. **[[contextual-transformation-field|上下文变换场]]** — Φ_τ: W → M将上下文作用形式化为向量场
3. **[[within-concept-between-concept-axes|双轴表征]]** — 概念内(跨上下文形状)+ 概念间(共享上下文内关系)
4. **[[cross-model-concept-geometry|跨模型共享几何]]** — CKA + Grassmann 距离 + permutation calibration
🔗 **概念网络**
- **核心发现链**[[concept-point-cloud-manifold|点云]] → [[contextual-transformation-field|变换场]] → [[cross-model-concept-geometry|跨模型对齐]]
- **测量轴**[[within-concept-between-concept-axes|Within/Between]] 双轴互补
📚 **Wiki 集成**
- 新增页面6 个1 论文 + 5 概念)
- 与已有概念网络:表示学习 / 神经群体几何 / 可解释性方向
💡 **关键洞察**
1. **"概念是分布不是向量"不是修辞——是方法论宣言**Hu et al. 从神经群体几何借来的视角意味着概念的"表示"本质上是概率分布 P_w。上下文不是"扰动"静态向量,而是从 P_w 中采样。这一视角转换使单向量 steering 的局限性从近似误差变为**结构性信息丢失**。
2. **变换场的共享是最惊人的发现**已有工作Huh et al. 2024表明概念向量跨模型对齐。Hu et al. 进一步发现**概念如何被上下文移动**也跨模型共享。这意味着不同架构/规模的 LLM 不仅收敛到相似的概念空间,而且收敛到相似的**概念动态**——这暗示着存在某种超越具体参数化的"普适概念力学"。
3. **对认知科学的桥接**:论文明确将结果连接到认知科学中"概念如何同时稳定又灵活"的长期难题。答案概念间关系between-concept跨上下文保持稳定 → 稳定性;每个概念在上下文间以语义组织的方式移动 → 灵活性。这个"关系稳定 + 绝对位置灵活"的图景是一个优雅的几何解决方案。