20260617:目前有914 页

This commit is contained in:
2026-06-17 15:02:40 +08:00
parent e96b955fda
commit 91fac5b6fc
423 changed files with 20687 additions and 34 deletions

View File

@@ -0,0 +1,44 @@
---
title: "交互泛化性 (Interaction Generalizability)"
created: 2026-06-03
updated: 2026-06-03
type: concept
tags: [interactions, generalizability, LLM, metrics]
sources:
- "[[zhang-reconciling-sft-interaction-2026]]"
---
# 交互泛化性 (Interaction Generalizability)
## 定义
交互泛化性衡量一个交互是否在不同 DNN 之间**一致存在**。如果交互 $S$ 同时被目标 LLM $v$ 和基线 LLM $v'$(架构不同)编码,且效应方向一致,则该交互被认为是泛化的。
## 度量
$$G_S^{\text{type}} = \mathbb{1}(S \in \Omega_{v'}^{\text{type}}) \cdot \mathbb{1}(\text{sign}(I_S^{\text{type}}) = \text{sign}(I_{S,v'}^{\text{type}}))$$
其中 $v'$ 为架构不同的基线 LLM。
整体泛化比例 $\gamma$ 定义为:
$$\gamma(\Omega^{\text{and}}, \Omega^{\text{or}}) = \frac{\sum_{\text{type}} \sum_{S \in \Omega^{\text{type}}} |I_S^{\text{type}} \cdot G_S^{\text{type}}|}{\sum_{\text{type}} \sum_{S \in \Omega^{\text{type}}} |I_S^{\text{type}}|} \times 100\%$$
## 在 SFT 分析中的应用
在 [[zhang-reconciling-sft-interaction-2026|Zhang et al. (2026)]] 中,泛化性是区分可靠交互与噪声交互的关键指标:
- **Preserved 交互**γ > 50%,说明它们捕捉了跨模型的共享表征
- **Removed 交互**γ ≈ 0说明它们几乎完全是模型特定的噪声
- **Newly emerged 交互**:早期涌现的 γ 较高;后期涌现的 γ 急剧下降
## 与交互阶数的关系
低阶交互的泛化性通常显著强于高阶交互——这与 [[interaction-order|交互阶数]] 理论一致:简单模式更可能在不同模型中通用。
## 相关概念
- [[uncancelled-interaction-effects|未抵消交互效应]]
- [[interaction-order|交互阶数]]
- [[interaction-types-sft|SFT 中的三类交互]]
- [[interaction-based-explanation|交互基解释]]