44 lines
1.6 KiB
Markdown
44 lines
1.6 KiB
Markdown
---
|
||
title: "Two-Phase Pre-Training"
|
||
created: 2026-05-29
|
||
updated: 2026-05-29
|
||
type: concept
|
||
tags: ["pre-training", "training-schedule", "LLM"]
|
||
sources: ["https://arxiv.org/abs/2605.06546"]
|
||
---
|
||
|
||
# Two-Phase Pre-Training
|
||
|
||
**Two-Phase Pre-Training** 是一种 LLM 预训练范式：先用某种高效但粗糙的方式训练，再切换到标准训练。[[token-superposition-training|TST]] 是该范式的一个典型实例。
|
||
|
||
## 一般形式
|
||
|
||
1. **阶段一（先导阶段）**：用替代目标或简化表示训练，使模型获得"预-预训练"基础
|
||
2. **阶段二（恢复/精调阶段）**：切换回标准 autoregressive training
|
||
|
||
## 在 LLM 预训练中的先例
|
||
|
||
| 方法 | 阶段一 | 阶段二 |
|
||
|------|--------|--------|
|
||
| TST (Peng et al. 2026) | Token 叠加 + MCE loss | 标准 CE |
|
||
| Patch-Level (Shao et al. 2025) | Patch 平均 + CE | 标准 token-level |
|
||
| Bolmo (Minixhofer et al.) | Byte-level 预训练 | Subword 恢复 |
|
||
| Hu et al. | 小模型预训练 | 大模型继承 |
|
||
|
||
## TST 的独特性
|
||
|
||
TST 与其他两阶段方法的关键区别：
|
||
- **不引入新的投影层或 adapter** — embedding 和 LM head 在阶段间共享
|
||
- 阶段二的"恢复"只是移除叠加代码，模型结构**完全不变**
|
||
- 这使 TST 成为纯 drop-in 方案
|
||
|
||
## 关键洞察
|
||
|
||
两阶段训练的成功依赖于 **表示对齐**（[[representation-alignment]]）——如果在阶段之间重新初始化 key layers（如 embedding 和 LM head），所有增益消失。
|
||
|
||
## 相关
|
||
|
||
- [[token-superposition-training]] — TST 的具体实现
|
||
- [[representation-alignment]] — 跨阶段表示对齐
|
||
- [[coarse-to-fine-granularity]] — 底层设计原则
|