53 lines
1.7 KiB
Markdown
53 lines
1.7 KiB
Markdown
---
|
||
title: "Concept Point-Cloud Manifold (概念点云流形)"
|
||
created: 2026-07-10
|
||
updated: 2026-07-10
|
||
type: concept
|
||
tags: ["representation-learning", "conceptual-representation", "neural-population-geometry", "point-cloud"]
|
||
sources: ["[[shared-concept-geometry-2026|Hu et al. (ICML 2026)]]"]
|
||
---
|
||
|
||
# Concept Point-Cloud Manifold (概念点云流形)
|
||
|
||
Hu et al. (ICML 2026) 对 LLM 中概念表示的重新形式化：概念**不是稳定向量**，而是**点云流形**。
|
||
|
||
## 形式化定义
|
||
|
||
对模型 m，概念词 w 在上下文 c 中的表示：
|
||
|
||
```
|
||
r^{(m)}(w, c) ∈ M^{(m)} ⊂ R^{d_m}
|
||
```
|
||
|
||
跨 N 个上下文实例的集合：
|
||
|
||
```
|
||
X_w^{(m)} = {r^{(m)}(w, c_i)}_{i=1}^N
|
||
```
|
||
|
||
这个点云被视为从潜在分布 P_w^{(m)} 的经验采样——**参数形式不假设**，通过成对核矩阵非参数地表征其几何。
|
||
|
||
## 神经群体几何的类比
|
||
|
||
从神经群体几何（Chung & Abbott, 2021）借用的视角：
|
||
- 刺激类别 → 神经状态空间中的点云流形
|
||
- 身份保持的输入变化 → 群体响应的分布
|
||
- 稀疏采样 → 点云的外显形式
|
||
|
||
在 LLM 中：概念 = 刺激类别；上下文 = 身份保持变化 → 同一概念的分布式表示在不同上下文中采样。
|
||
|
||
## 与传统"概念 = 向量"的区别
|
||
|
||
| 传统视角 | 点云流形视角 |
|
||
|---------|------------|
|
||
| 概念是单一方向/向量 | 概念是分布 P_w |
|
||
| 上下文扰动静态向量 | 上下文从 P_w 中采样 |
|
||
| 可以有"概念向量" | 概念是几何分布的集合 |
|
||
| steering = 加方向 | steering 丢弃结构化残差 |
|
||
|
||
## 参考
|
||
|
||
- [[shared-concept-geometry-2026|Hu et al. (ICML 2026)]]
|
||
- [[within-concept-between-concept-axes|Two Axes of Representation]]
|
||
- [[contextual-transformation-field|Contextual Transformation Field]]
|