20260720

concepts/contextual-transformation-field.md

@@ -0,0 +1,62 @@
+---
+title: "Contextual Transformation Field (上下文变换场)"
+created: 2026-07-10
+updated: 2026-07-10
+type: concept
+tags: ["representation-learning", "vector-field", "contextual-representation", "llm-geometry"]
+sources: ["[[shared-concept-geometry-2026|Hu et al. (ICML 2026)]]"]
+---
+
+# Contextual Transformation Field (上下文变换场)
+
+Hu et al. (ICML 2026) 的核心创新——将 LLM 中概念在上下文间的位移形式化为**向量场**。
+
+## 定义
+
+设 τ₀ 为源上下文（如中性模板），τ 为目标上下文。概念 w 的上下文位移：
+
+```
+φ^{(m)}(w, τ) = r^{(m)}(w, τ) - r^{(m)}(w, τ₀) ∈ M^{(m)}
+```
+
+跨词汇 W 的位移集合构成向量场：
+
+```
+Φ_τ^{(m)} : W → M^{(m)},  w ↦ φ^{(m)}(w, τ)
+```
+
+由其核矩阵表征：
+
+```
+K_Φτ [i, j] = k(φ^{(m)}(w_i, τ), φ^{(m)}(w_j, τ))
+```
+
+## 关键发现
+
+### 场不是均匀的
+
+- **主导方差比** ρ₁ ∈ [0.073, 0.146]——远未达到单一方向主导
+- **球面全局方差** V_global ∈ [0.43, 0.75] rad²（均匀分布 ~2.47）——场分散但非随机
+
+### 方差是语义组织的
+
+| 词属性 | 与 | 相关性 | p 值 |
+|--------|-----|--------|------|
+| 词汇密度 | 位移幅度 r̃ | ρ ∈ [-0.22, -0.32] | < 0.001 |
+| 具体性 | 方向偏差 σ | ρ ∈ [-0.21, -0.41] | < 0.001 |
+
+→ 语义邻域密集的词位移更小；更具体的概念方向偏差更小。抽象概念因缺乏感知锚定，在语义框架间被推向更分散的方向。
+
+### 跨模型共享
+
+位移关系结构在模型间可迁移：从模型 A 运送位移结构到模型 B，预测保留位移显著高于基线。
+
+## 对表示工程的意义
+
+单向量 steering（如 Arditi et al., 2024）将上下文变换场近似为均匀平移 → **丢弃了语义上有意义的结构化残差**。
+
+## 参考
+
+- [[shared-concept-geometry-2026|Hu et al. (ICML 2026)]]
+- [[concept-point-cloud-manifold|Point-Cloud Manifold]]
+- [[within-concept-between-concept-axes|Two Axes]]