42 lines
2.6 KiB
Markdown
42 lines
2.6 KiB
Markdown
---
|
||
title: "Shared Concept Geometry Review — LLM 概念表示与变换的共享几何"
|
||
created: 2026-07-10
|
||
updated: 2026-07-10
|
||
type: review
|
||
tags: ["representation-learning", "conceptual-representation", "icml-2026"]
|
||
sources: ["https://arxiv.org/abs/2607.04525"]
|
||
---
|
||
|
||
# Shared Concept Geometry Review — 2026-07-10
|
||
|
||
📌 **基本信息**
|
||
- 论文：Language Models Represent and Transform Concepts with Shared Geometry
|
||
- 作者：Zhimin Hu, Lanhao Niu, Sashank Varma (Georgia Tech / U. Edinburgh)
|
||
- 会议：ICML 2026, Seoul
|
||
- arXiv：2607.04525v1 (Jul 5, 2026)
|
||
|
||
🎯 **核心概念**
|
||
|
||
1. **[[concept-point-cloud-manifold|概念点云流形]]** — 概念不是静态向量，而是跨上下文实例的经验采样分布
|
||
2. **[[contextual-transformation-field|上下文变换场]]** — Φ_τ: W → M，将上下文作用形式化为向量场
|
||
3. **[[within-concept-between-concept-axes|双轴表征]]** — 概念内（跨上下文形状）+ 概念间（共享上下文内关系）
|
||
4. **[[cross-model-concept-geometry|跨模型共享几何]]** — CKA + Grassmann 距离 + permutation calibration
|
||
|
||
🔗 **概念网络**
|
||
|
||
- **核心发现链**：[[concept-point-cloud-manifold|点云]] → [[contextual-transformation-field|变换场]] → [[cross-model-concept-geometry|跨模型对齐]]
|
||
- **测量轴**：[[within-concept-between-concept-axes|Within/Between]] 双轴互补
|
||
|
||
📚 **Wiki 集成**
|
||
|
||
- 新增页面：6 个（1 论文 + 5 概念）
|
||
- 与已有概念网络：表示学习 / 神经群体几何 / 可解释性方向
|
||
|
||
💡 **关键洞察**
|
||
|
||
1. **"概念是分布不是向量"不是修辞——是方法论宣言**：Hu et al. 从神经群体几何借来的视角意味着概念的"表示"本质上是概率分布 P_w。上下文不是"扰动"静态向量，而是从 P_w 中采样。这一视角转换使单向量 steering 的局限性从近似误差变为**结构性信息丢失**。
|
||
|
||
2. **变换场的共享是最惊人的发现**：已有工作（Huh et al. 2024）表明概念向量跨模型对齐。Hu et al. 进一步发现**概念如何被上下文移动**也跨模型共享。这意味着不同架构/规模的 LLM 不仅收敛到相似的概念空间，而且收敛到相似的**概念动态**——这暗示着存在某种超越具体参数化的"普适概念力学"。
|
||
|
||
3. **对认知科学的桥接**：论文明确将结果连接到认知科学中"概念如何同时稳定又灵活"的长期难题。答案：概念间关系（between-concept）跨上下文保持稳定 → 稳定性；每个概念在上下文间以语义组织的方式移动 → 灵活性。这个"关系稳定 + 绝对位置灵活"的图景是一个优雅的几何解决方案。
|