1.8 KiB
1.8 KiB
title, created, updated, type, tags, sources
| title | created | updated | type | tags | sources | |||||
|---|---|---|---|---|---|---|---|---|---|---|
| 交互泛化性 (Interaction Generalizability) | 2026-06-03 | 2026-06-03 | concept |
|
|
交互泛化性 (Interaction Generalizability)
定义
交互泛化性衡量一个交互是否在不同 DNN 之间一致存在。如果交互 S 同时被目标 LLM v 和基线 LLM $v'$（架构不同）编码，且效应方向一致，则该交互被认为是泛化的。
度量
G_S^{\text{type}} = \mathbb{1}(S \in \Omega_{v'}^{\text{type}}) \cdot \mathbb{1}(\text{sign}(I_S^{\text{type}}) = \text{sign}(I_{S,v'}^{\text{type}}))
其中 v' 为架构不同的基线 LLM。
整体泛化比例 \gamma 定义为：
\gamma(\Omega^{\text{and}}, \Omega^{\text{or}}) = \frac{\sum_{\text{type}} \sum_{S \in \Omega^{\text{type}}} |I_S^{\text{type}} \cdot G_S^{\text{type}}|}{\sum_{\text{type}} \sum_{S \in \Omega^{\text{type}}} |I_S^{\text{type}}|} \times 100\%
在 SFT 分析中的应用
在 zhang-reconciling-sft-interaction-2026 中，泛化性是区分可靠交互与噪声交互的关键指标：
- Preserved 交互：γ > 50%，说明它们捕捉了跨模型的共享表征
- Removed 交互：γ ≈ 0，说明它们几乎完全是模型特定的噪声
- Newly emerged 交互：早期涌现的 γ 较高；后期涌现的 γ 急剧下降
与交互阶数的关系
低阶交互的泛化性通常显著强于高阶交互——这与 interaction-order 理论一致：简单模式更可能在不同模型中通用。