--- title: "交互阶数 (Interaction Order)" created: 2026-06-03 updated: 2026-06-03 type: concept tags: [interactions, complexity, DNN, LLM] sources: - "[[zhang-reconciling-sft-interaction-2026]]" --- # 交互阶数 (Interaction Order / Complexity) ## 定义 交互的阶数(order)定义为该交互涉及的**输入变量数量**: $$\text{order}(T) = |T|$$ 例如: - 两个词 "force" 和 "mass" 之间的交互 → 2 阶(简单短语模式) - 五个词 "laws"、"between"、"force"、"mass" 和 "and" 之间的交互 → 5 阶(复杂短语模式) ## 阶数与可靠性的关系 大量研究发现,低阶交互通常比高阶交互更可靠: 1. **对噪声更鲁棒**:低阶交互对输入噪声的敏感度更低 2. **泛化性更强**:低阶交互更可能跨模型通用([[interaction-generalizability|交互泛化性]]) 3. **更少正负抵消**:低阶交互的 [[uncancelled-interaction-effects|未抵消效应比例]] 更高 ## 在 SFT 分析中的角色 在 [[zhang-reconciling-sft-interaction-2026|Zhang et al. (2026)]] 中,交互阶数是区分可靠交互与噪声交互的关键维度: | 交互类型 | 阶数分布 | 含义 | |----------|---------|------| | [[interaction-types-sft|Preserved]] | 以低阶为主 | 简单的、可靠的推理模式 | | [[interaction-types-sft|Removed]] | 以高阶为主 | 复杂的、不可靠的噪声模式 | | [[interaction-types-sft|Newly Emerged(早期)]] | 中低阶 | 相对可靠的新模式 | | [[interaction-types-sft|Newly Emerged(后期)]] | 以高阶为主 | 过拟合的噪声模式 | ## 交互分布表征 与其逐个分析每个交互的阶数,可以表征交互在不同阶数上的**分布**: $$e^+ = [e^{(1),+}, e^{(2),+}, ..., e^{(n),+}]^T$$ $$e^- = [e^{(1),-}, e^{(2),-}, ..., e^{(n),-}]^T$$ 其中 $e^{(k),+}$ 聚合了所有 $k$ 阶的正效应新涌现交互。 ## 相关概念 - [[interaction-generalizability|交互泛化性]] - [[uncancelled-interaction-effects|未抵消交互效应]] - [[interaction-types-sft|SFT 中的三类交互]] - [[and-or-interactions|AND-OR 交互]]