57 lines
2.1 KiB
Markdown
57 lines
2.1 KiB
Markdown
---
|
||
title: "交互阶数 (Interaction Order)"
|
||
created: 2026-06-03
|
||
updated: 2026-06-03
|
||
type: concept
|
||
tags: [interactions, complexity, DNN, LLM]
|
||
sources:
|
||
- "[[zhang-reconciling-sft-interaction-2026]]"
|
||
---
|
||
|
||
# 交互阶数 (Interaction Order / Complexity)
|
||
|
||
## 定义
|
||
|
||
交互的阶数（order）定义为该交互涉及的**输入变量数量**：
|
||
|
||
$$\text{order}(T) = |T|$$
|
||
|
||
例如：
|
||
- 两个词 "force" 和 "mass" 之间的交互 → 2 阶（简单短语模式）
|
||
- 五个词 "laws"、"between"、"force"、"mass" 和 "and" 之间的交互 → 5 阶（复杂短语模式）
|
||
|
||
## 阶数与可靠性的关系
|
||
|
||
大量研究发现，低阶交互通常比高阶交互更可靠：
|
||
|
||
1. **对噪声更鲁棒**：低阶交互对输入噪声的敏感度更低
|
||
2. **泛化性更强**：低阶交互更可能跨模型通用（[[interaction-generalizability|交互泛化性]]）
|
||
3. **更少正负抵消**：低阶交互的 [[uncancelled-interaction-effects|未抵消效应比例]] 更高
|
||
|
||
## 在 SFT 分析中的角色
|
||
|
||
在 [[zhang-reconciling-sft-interaction-2026|Zhang et al. (2026)]] 中，交互阶数是区分可靠交互与噪声交互的关键维度：
|
||
|
||
| 交互类型 | 阶数分布 | 含义 |
|
||
|----------|---------|------|
|
||
| [[interaction-types-sft|Preserved]] | 以低阶为主 | 简单的、可靠的推理模式 |
|
||
| [[interaction-types-sft|Removed]] | 以高阶为主 | 复杂的、不可靠的噪声模式 |
|
||
| [[interaction-types-sft|Newly Emerged（早期）]] | 中低阶 | 相对可靠的新模式 |
|
||
| [[interaction-types-sft|Newly Emerged（后期）]] | 以高阶为主 | 过拟合的噪声模式 |
|
||
|
||
## 交互分布表征
|
||
|
||
与其逐个分析每个交互的阶数，可以表征交互在不同阶数上的**分布**：
|
||
|
||
$$e^+ = [e^{(1),+}, e^{(2),+}, ..., e^{(n),+}]^T$$
|
||
$$e^- = [e^{(1),-}, e^{(2),-}, ..., e^{(n),-}]^T$$
|
||
|
||
其中 $e^{(k),+}$ 聚合了所有 $k$ 阶的正效应新涌现交互。
|
||
|
||
## 相关概念
|
||
|
||
- [[interaction-generalizability|交互泛化性]]
|
||
- [[uncancelled-interaction-effects|未抵消交互效应]]
|
||
- [[interaction-types-sft|SFT 中的三类交互]]
|
||
- [[and-or-interactions|AND-OR 交互]]
|