myWiki/concepts/preserved-interactions-backbone.md

title, created, updated, type, tags, sources

title	created	updated	type	tags	sources
保留交互作为推理支柱 (Preserved Interactions as Inference Backbone)	2026-06-03	2026-06-03	concept	interactions LLM inference backbone SFT	zhang-reconciling-sft-interaction-2026

保留交互作为推理支柱

核心假说

zhang-reconciling-sft-interaction-2026 提出并验证了以下假说：

SFT 过程中保留的少量 interaction-types-sft 构成了 LLM 推理的核心骨架——大部分用于目标 token 预测的交互效应都来自这个小子集，而大量被移除的交互和后期新涌现的交互对预测的贡献几乎可以忽略。

三重验证

1. 未抵消效应比例

Preserved 交互的 uncancelled-interaction-effects 值最高，说明其正负效应很少相互抵消；而 Removed 和 Newly emerged 交互的 ρ ≈ 0，表明它们主要是噪声。

2. 单交互平均贡献

Preserved 交互和早期涌现交互对目标 token 预测的单个交互平均贡献显著高于 Removed 交互和后期涌现交互。后者贡献几乎为零。

3. 独立推理能力

仅使用 Preserved 交互进行 token 预测时：

• 测试交叉熵损失最低
• 远优于仅使用 Removed 交互或 Newly emerged 交互

这表明 Preserved 交互 + 少量早期涌现交互足以支撑基本推理。

理论意义

1. SFT 的核心价值不是"教学"而是"去噪"：LLM 在预训练中已经获得了推理所需的核心交互模式
2. SFT 的作用是清除噪声、巩固已有骨架，而非注入新能力
3. 对"涌现能力"的重新审视：如果推理骨架预训练中已存在，那么 SFT 阶段的"能力涌现"可能需要重新归因

相关概念

• sft-denoising-stage
• interaction-types-sft
• interaction-generalizability
• uncancelled-interaction-effects
• supervised-fine-tuning