1.9 KiB
1.9 KiB
title, created, updated, type, tags, sources
| title | created | updated | type | tags | sources | |||||
|---|---|---|---|---|---|---|---|---|---|---|
| Contextual Transformation Field (上下文变换场) | 2026-07-10 | 2026-07-10 | concept |
|
|
Contextual Transformation Field (上下文变换场)
Hu et al. (ICML 2026) 的核心创新——将 LLM 中概念在上下文间的位移形式化为向量场。
定义
设 τ₀ 为源上下文（如中性模板），τ 为目标上下文。概念 w 的上下文位移：
φ^{(m)}(w, τ) = r^{(m)}(w, τ) - r^{(m)}(w, τ₀) ∈ M^{(m)}
跨词汇 W 的位移集合构成向量场：
Φ_τ^{(m)} : W → M^{(m)}, w ↦ φ^{(m)}(w, τ)
由其核矩阵表征：
K_Φτ [i, j] = k(φ^{(m)}(w_i, τ), φ^{(m)}(w_j, τ))
关键发现
场不是均匀的
- 主导方差比 ρ₁ ∈ [0.073, 0.146]——远未达到单一方向主导
- 球面全局方差 V_global ∈ [0.43, 0.75] rad²（均匀分布 ~2.47）——场分散但非随机
方差是语义组织的
| 词属性 | 与 | 相关性 | p 值 |
|---|---|---|---|
| 词汇密度 | 位移幅度 r̃ | ρ ∈ [-0.22, -0.32] | < 0.001 |
| 具体性 | 方向偏差 σ | ρ ∈ [-0.21, -0.41] | < 0.001 |
→ 语义邻域密集的词位移更小；更具体的概念方向偏差更小。抽象概念因缺乏感知锚定，在语义框架间被推向更分散的方向。
跨模型共享
位移关系结构在模型间可迁移：从模型 A 运送位移结构到模型 B，预测保留位移显著高于基线。
对表示工程的意义
单向量 steering（如 Arditi et al., 2024）将上下文变换场近似为均匀平移 → 丢弃了语义上有意义的结构化残差。