2.1 KiB
2.1 KiB
title, created, updated, type, tags, sources
| title | created | updated | type | tags | sources | |||||
|---|---|---|---|---|---|---|---|---|---|---|
| 交互阶数 (Interaction Order) | 2026-06-03 | 2026-06-03 | concept |
|
|
交互阶数 (Interaction Order / Complexity)
定义
交互的阶数（order）定义为该交互涉及的输入变量数量：
\text{order}(T) = |T|
例如：
- 两个词 "force" 和 "mass" 之间的交互 → 2 阶（简单短语模式）
- 五个词 "laws"、"between"、"force"、"mass" 和 "and" 之间的交互 → 5 阶（复杂短语模式）
阶数与可靠性的关系
大量研究发现，低阶交互通常比高阶交互更可靠：
- 对噪声更鲁棒：低阶交互对输入噪声的敏感度更低
- 泛化性更强：低阶交互更可能跨模型通用（interaction-generalizability）
- 更少正负抵消：低阶交互的 uncancelled-interaction-effects 更高
在 SFT 分析中的角色
在 zhang-reconciling-sft-interaction-2026 中，交互阶数是区分可靠交互与噪声交互的关键维度：
| 交互类型 | 阶数分布 | 含义 |
|---|---|---|
| [[interaction-types-sft | Preserved]] | 以低阶为主 |
| [[interaction-types-sft | Removed]] | 以高阶为主 |
| [[interaction-types-sft | Newly Emerged（早期）]] | 中低阶 |
| [[interaction-types-sft | Newly Emerged（后期）]] | 以高阶为主 |
交互分布表征
与其逐个分析每个交互的阶数，可以表征交互在不同阶数上的分布：
e^+ = [e^{(1),+}, e^{(2),+}, ..., e^{(n),+}]^T
e^- = [e^{(1),-}, e^{(2),-}, ..., e^{(n),-}]^T
其中 e^{(k),+} 聚合了所有 k 阶的正效应新涌现交互。