20260720

concepts/concept-point-cloud-manifold.md

@@ -0,0 +1,52 @@
+---
+title: "Concept Point-Cloud Manifold (概念点云流形)"
+created: 2026-07-10
+updated: 2026-07-10
+type: concept
+tags: ["representation-learning", "conceptual-representation", "neural-population-geometry", "point-cloud"]
+sources: ["[[shared-concept-geometry-2026|Hu et al. (ICML 2026)]]"]
+---
+
+# Concept Point-Cloud Manifold (概念点云流形)
+
+Hu et al. (ICML 2026) 对 LLM 中概念表示的重新形式化：概念**不是稳定向量**，而是**点云流形**。
+
+## 形式化定义
+
+对模型 m，概念词 w 在上下文 c 中的表示：
+
+```
+r^{(m)}(w, c) ∈ M^{(m)} ⊂ R^{d_m}
+```
+
+跨 N 个上下文实例的集合：
+
+```
+X_w^{(m)} = {r^{(m)}(w, c_i)}_{i=1}^N
+```
+
+这个点云被视为从潜在分布 P_w^{(m)} 的经验采样——**参数形式不假设**，通过成对核矩阵非参数地表征其几何。
+
+## 神经群体几何的类比
+
+从神经群体几何（Chung & Abbott, 2021）借用的视角：
+- 刺激类别 → 神经状态空间中的点云流形
+- 身份保持的输入变化 → 群体响应的分布
+- 稀疏采样 → 点云的外显形式
+
+在 LLM 中：概念 = 刺激类别；上下文 = 身份保持变化 → 同一概念的分布式表示在不同上下文中采样。
+
+## 与传统"概念 = 向量"的区别
+
+| 传统视角 | 点云流形视角 |
+|---------|------------|
+| 概念是单一方向/向量 | 概念是分布 P_w |
+| 上下文扰动静态向量 | 上下文从 P_w 中采样 |
+| 可以有"概念向量" | 概念是几何分布的集合 |
+| steering = 加方向 | steering 丢弃结构化残差 |
+
+## 参考
+
+- [[shared-concept-geometry-2026|Hu et al. (ICML 2026)]]
+- [[within-concept-between-concept-axes|Two Axes of Representation]]
+- [[contextual-transformation-field|Contextual Transformation Field]]