20260617:目前有914 页

concepts/interaction-types-sft.md

@@ -0,0 +1,56 @@
+---
+title: "SFT 中的三类交互 (Removed, Preserved, Newly Emerged)"
+created: 2026-06-03
+updated: 2026-06-03
+type: concept
+tags: [SFT, interactions, LLM, fine-tuning]
+sources:
+  - "[[zhang-reconciling-sft-interaction-2026]]"
+---
+
+# SFT 中的三类交互
+
+在 [[zhang-reconciling-sft-interaction-2026|Zhang et al. (2026)]] 的框架中，SFT 过程中的交互被分为三种类型，以刻画 LLM 表征质量的提升与退化。
+
+## 三类交互
+
+### 1. Removed（被移除的交互）
+
+$$R_t^{\text{type}} = \Omega_0^{\text{type}} \setminus \Omega_t^{\text{type}}$$
+
+- **特征**：SFT 前存在，训练中被消除
+- **质量**：高阶、非泛化（[[interaction-generalizability|γ ≈ 0]]）、正负效应相互抵消（[[uncancelled-interaction-effects|ρ ≈ 0]]）
+- **本质**：预训练中的噪声模式
+
+### 2. Preserved（被保留的交互）
+
+$$P_t^{\text{type}} = P_{t-1}^{\text{type}} \cap \Omega_t^{\text{type}}$$
+
+- **特征**：SFT 前后始终存在
+- **质量**：低阶、泛化性强（γ > 50%）、未抵消效应比例高
+- **本质**：LLM 推理的核心骨架（[[preserved-interactions-backbone|保留交互作为推理支柱]]）
+
+### 3. Newly Emerged（新涌现的交互）
+
+$$E_t^{\text{type}} = \Omega_t^{\text{type}} \setminus P_t^{\text{type}}$$
+
+- **特征**：SFT 中新习得
+- **质量**：两极分化——早期涌现的相对可靠，后期涌现的类似噪声
+- **本质**：去噪阶段涌现的少量可靠模式 + 过拟合阶段涌现的大量噪声
+
+## 质量度量
+
+| 类型 | 泛化性 γ | 未抵消效应 ρ | 阶数 | 对预测的贡献 |
+|------|----------|-------------|------|-------------|
+| Removed | ≈ 0 | ≈ 0 | 高 | 可忽略 |
+| Preserved | > 50% | 高 | 低 | 核心贡献 |
+| Newly Emerged (早期) | 中高 | 较高 | 中低 | 显著 |
+| Newly Emerged (后期) | 低 | ≈ 0 | 高 | 可忽略 |
+
+## 相关概念
+
+- [[sft-denoising-stage|SFT 去噪阶段]]
+- [[preserved-interactions-backbone|保留交互作为推理支柱]]
+- [[interaction-generalizability|交互泛化性]]
+- [[uncancelled-interaction-effects|未抵消交互效应]]
+- [[interaction-order|交互阶数]]