50 lines
2.0 KiB
Markdown
50 lines
2.0 KiB
Markdown
---
|
||
title: "保留交互作为推理支柱 (Preserved Interactions as Inference Backbone)"
|
||
created: 2026-06-03
|
||
updated: 2026-06-03
|
||
type: concept
|
||
tags: [interactions, LLM, inference, backbone, SFT]
|
||
sources:
|
||
- "[[zhang-reconciling-sft-interaction-2026]]"
|
||
---
|
||
|
||
# 保留交互作为推理支柱
|
||
|
||
## 核心假说
|
||
|
||
[[zhang-reconciling-sft-interaction-2026|Zhang et al. (2026)]] 提出并验证了以下假说：
|
||
|
||
> **SFT 过程中保留的少量 [[interaction-types-sft|交互]] 构成了 LLM 推理的核心骨架**——大部分用于目标 token 预测的交互效应都来自这个小子集，而大量被移除的交互和后期新涌现的交互对预测的贡献几乎可以忽略。
|
||
|
||
## 三重验证
|
||
|
||
### 1. 未抵消效应比例
|
||
|
||
Preserved 交互的 [[uncancelled-interaction-effects|ρ]] 值最高，说明其正负效应很少相互抵消；而 Removed 和 Newly emerged 交互的 ρ ≈ 0，表明它们主要是噪声。
|
||
|
||
### 2. 单交互平均贡献
|
||
|
||
Preserved 交互和早期涌现交互对目标 token 预测的**单个交互平均贡献**显著高于 Removed 交互和后期涌现交互。后者贡献几乎为零。
|
||
|
||
### 3. 独立推理能力
|
||
|
||
仅使用 Preserved 交互进行 token 预测时：
|
||
- 测试交叉熵损失**最低**
|
||
- 远优于仅使用 Removed 交互或 Newly emerged 交互
|
||
|
||
这表明 Preserved 交互 + 少量早期涌现交互足以支撑基本推理。
|
||
|
||
## 理论意义
|
||
|
||
1. **SFT 的核心价值不是"教学"而是"去噪"**：LLM 在预训练中已经获得了推理所需的核心交互模式
|
||
2. **SFT 的作用是清除噪声、巩固已有骨架**，而非注入新能力
|
||
3. **对"涌现能力"的重新审视**：如果推理骨架预训练中已存在，那么 SFT 阶段的"能力涌现"可能需要重新归因
|
||
|
||
## 相关概念
|
||
|
||
- [[sft-denoising-stage|SFT 去噪阶段]]
|
||
- [[interaction-types-sft|SFT 中的三类交互]]
|
||
- [[interaction-generalizability|交互泛化性]]
|
||
- [[uncancelled-interaction-effects|未抵消交互效应]]
|
||
- [[supervised-fine-tuning|监督微调]]
|