54 lines
2.5 KiB
Markdown
54 lines
2.5 KiB
Markdown
---
|
||
title: "Token Superposition Training: 高效 LLM 预训练的 Token 叠加方法"
|
||
created: 2026-05-29
|
||
updated: 2026-05-29
|
||
type: paper
|
||
arxiv: "2605.06546"
|
||
authors: ["Bowen Peng", "Théo Gigant", "Jeffrey Quesnelle"]
|
||
venue: "arXiv cs.CL, May 2026"
|
||
tags: ["pre-training", "efficiency", "token-superposition", "LLM"]
|
||
sources: ["https://arxiv.org/abs/2605.06546"]
|
||
---
|
||
|
||
# Token Superposition Training (TST): 高效 LLM 预训练
|
||
|
||
> **论文**: Peng, Gigant & Quesnelle (Nous Research, 2026) — arXiv:2605.06546
|
||
|
||
## 核心问题
|
||
|
||
LLM 预训练在大规模下计算成本极高，现有优化方法（MoE、稀疏注意力、压缩建模）通常需要**侵入式修改**模型架构。**能否在不改动模型架构的前提下，仅通过提高训练时 token 吞吐量来提升预训练效率？**
|
||
|
||
## 方法：Token Superposition Training (TST)
|
||
|
||
TST 是一个简单的 **drop-in** 方法，分两阶段：
|
||
|
||
### 阶段一：叠加阶段（Superposition Phase）
|
||
- **输入叠加**：将连续 s 个 token 的 embedding 取平均，形成单个 "s-token"
|
||
- **输出叠加**：预测下一个 bag 的全部 s 个 token，使用 [[multi-hot-cross-entropy|MCE]] 损失
|
||
- 效果：等 FLOPs 下吞入 s× 更多数据 token
|
||
|
||
### 阶段二：恢复阶段（Recovery Phase）
|
||
- 完全回归标准 next-token prediction 训练
|
||
- 不做任何 adapter 或投影层——embedding 和 LM head **保持不变**
|
||
|
||
## 关键发现
|
||
|
||
1. **2.5× 加速**：在 10B A1B MoE 模型上，等 loss 条件下预训练时间减少 2.5 倍
|
||
2. **表示对齐至关重要**：叠加和恢复阶段**共享** embedding 和 LM head——若在两阶段之间重新初始化，所有增益消失
|
||
3. **超参数鲁棒**：bag size s ∈ [4, 8]，叠加比例 r ∈ [0.2, 0.4] 内均有效
|
||
4. **输入+输出叠加均有贡献**，但输入叠加的增益机制仍有待解释
|
||
|
||
## 核心洞察
|
||
|
||
TST 的本质是 **粗→细粒度调度**（[[coarse-to-fine-granularity]]）：先用低分辨率、高吞吐量的数据分布进行"预-预训练"，再切换到标准分辨率。这与 ViT 中的 patch size scheduling 和 byte-level → subword 转移共享同一设计哲学。
|
||
|
||
## 概念网络
|
||
|
||
- [[token-superposition-training]] — 方法总览
|
||
- [[multi-hot-cross-entropy]] — 核心损失函数
|
||
- [[input-superposition]] — 输入侧的 token 叠加
|
||
- [[two-phase-pretraining]] — 两阶段训练范式
|
||
- [[representation-alignment]] — 跨阶段表示对齐
|
||
- [[coarse-to-fine-granularity]] — 底层设计原则
|
||
- [[throughput-hypothesis]] — 吞吐量假说
|