---
title: "Concept Point-Cloud Manifold (概念点云流形)"
created: 2026-07-10
updated: 2026-07-10
type: concept
tags: ["representation-learning", "conceptual-representation", "neural-population-geometry", "point-cloud"]
sources: ["[[shared-concept-geometry-2026|Hu et al. (ICML 2026)]]"]
---

# Concept Point-Cloud Manifold (概念点云流形)

Hu et al. (ICML 2026) 对 LLM 中概念表示的重新形式化：概念**不是稳定向量**，而是**点云流形**。

## 形式化定义

对模型 m，概念词 w 在上下文 c 中的表示：

```
r^{(m)}(w, c) ∈ M^{(m)} ⊂ R^{d_m}
```

跨 N 个上下文实例的集合：

```
X_w^{(m)} = {r^{(m)}(w, c_i)}_{i=1}^N
```

这个点云被视为从潜在分布 P_w^{(m)} 的经验采样——**参数形式不假设**，通过成对核矩阵非参数地表征其几何。

## 神经群体几何的类比

从神经群体几何（Chung & Abbott, 2021）借用的视角：
- 刺激类别 → 神经状态空间中的点云流形
- 身份保持的输入变化 → 群体响应的分布
- 稀疏采样 → 点云的外显形式

在 LLM 中：概念 = 刺激类别；上下文 = 身份保持变化 → 同一概念的分布式表示在不同上下文中采样。

## 与传统"概念 = 向量"的区别

| 传统视角 | 点云流形视角 |
|---------|------------|
| 概念是单一方向/向量 | 概念是分布 P_w |
| 上下文扰动静态向量 | 上下文从 P_w 中采样 |
| 可以有"概念向量" | 概念是几何分布的集合 |
| steering = 加方向 | steering 丢弃结构化残差 |

## 参考

- [[shared-concept-geometry-2026|Hu et al. (ICML 2026)]]
- [[within-concept-between-concept-axes|Two Axes of Representation]]
- [[contextual-transformation-field|Contextual Transformation Field]]