2.0 KiB
2.0 KiB
title, created, updated, type, tags, sources
| title | created | updated | type | tags | sources | ||||||
|---|---|---|---|---|---|---|---|---|---|---|---|
| SFT 去噪阶段 (SFT Denoising Stage) | 2026-06-03 | 2026-06-03 | concept |
|
|
SFT 去噪阶段 (SFT Denoising Stage)
核心发现
zhang-reconciling-sft-interaction-2026 揭示了 SFT 过程呈现清晰的两阶段动力学：
第一阶段：去噪阶段（Denoising Stage）
- 时长：极短（~1000 训练步以内）
- 主要行为：移除 interaction-types-sft
- 被移除的交互几乎全部是：高阶、非泛化、正负效应抵消的噪声模式
- 移除的交互数量占总移除量的绝大部分
- 新交互涌现：极少，且涌现的少量交互质量较高（低阶、泛化性强）
- 保留交互：少量低阶、可靠的交互被识别并巩固
- 本质：这是 SFT 唯一真正有效的阶段
第二阶段：过拟合阶段（Overfitting Stage）
- 时长：占据 SFT 过程的大部分
- 主要行为：大量涌现新的 interaction-types-sft
- 高阶、非泛化、正负效应抵消
- 与训练-测试损失差距增大强相关
- 交互移除：几乎停止
- 本质：持续微调不仅无效，反而有害
理论意义
这一发现从根本上重新定义了 SFT 的效用：
- SFT 的本质是去噪而非学习新能力
- SFT 的有效窗口极窄——少量样本就够了
- 大规模 SFT 数据的边际价值有限
实践启示
- 为 sft-early-stopping 提供了原则性依据
- 交互演变可作为早停的诊断信号
- 解释了为什么 SFT 在 LLM 上效果不一致：取决于去噪是否在过拟合开始前充分完成