63 lines
1.9 KiB
Markdown
63 lines
1.9 KiB
Markdown
---
|
||
title: "Contextual Transformation Field (上下文变换场)"
|
||
created: 2026-07-10
|
||
updated: 2026-07-10
|
||
type: concept
|
||
tags: ["representation-learning", "vector-field", "contextual-representation", "llm-geometry"]
|
||
sources: ["[[shared-concept-geometry-2026|Hu et al. (ICML 2026)]]"]
|
||
---
|
||
|
||
# Contextual Transformation Field (上下文变换场)
|
||
|
||
Hu et al. (ICML 2026) 的核心创新——将 LLM 中概念在上下文间的位移形式化为**向量场**。
|
||
|
||
## 定义
|
||
|
||
设 τ₀ 为源上下文（如中性模板），τ 为目标上下文。概念 w 的上下文位移：
|
||
|
||
```
|
||
φ^{(m)}(w, τ) = r^{(m)}(w, τ) - r^{(m)}(w, τ₀) ∈ M^{(m)}
|
||
```
|
||
|
||
跨词汇 W 的位移集合构成向量场：
|
||
|
||
```
|
||
Φ_τ^{(m)} : W → M^{(m)}, w ↦ φ^{(m)}(w, τ)
|
||
```
|
||
|
||
由其核矩阵表征：
|
||
|
||
```
|
||
K_Φτ [i, j] = k(φ^{(m)}(w_i, τ), φ^{(m)}(w_j, τ))
|
||
```
|
||
|
||
## 关键发现
|
||
|
||
### 场不是均匀的
|
||
|
||
- **主导方差比** ρ₁ ∈ [0.073, 0.146]——远未达到单一方向主导
|
||
- **球面全局方差** V_global ∈ [0.43, 0.75] rad²（均匀分布 ~2.47）——场分散但非随机
|
||
|
||
### 方差是语义组织的
|
||
|
||
| 词属性 | 与 | 相关性 | p 值 |
|
||
|--------|-----|--------|------|
|
||
| 词汇密度 | 位移幅度 r̃ | ρ ∈ [-0.22, -0.32] | < 0.001 |
|
||
| 具体性 | 方向偏差 σ | ρ ∈ [-0.21, -0.41] | < 0.001 |
|
||
|
||
→ 语义邻域密集的词位移更小；更具体的概念方向偏差更小。抽象概念因缺乏感知锚定，在语义框架间被推向更分散的方向。
|
||
|
||
### 跨模型共享
|
||
|
||
位移关系结构在模型间可迁移：从模型 A 运送位移结构到模型 B，预测保留位移显著高于基线。
|
||
|
||
## 对表示工程的意义
|
||
|
||
单向量 steering（如 Arditi et al., 2024）将上下文变换场近似为均匀平移 → **丢弃了语义上有意义的结构化残差**。
|
||
|
||
## 参考
|
||
|
||
- [[shared-concept-geometry-2026|Hu et al. (ICML 2026)]]
|
||
- [[concept-point-cloud-manifold|Point-Cloud Manifold]]
|
||
- [[within-concept-between-concept-axes|Two Axes]]
|