53 lines
2.7 KiB
Markdown
53 lines
2.7 KiB
Markdown
---
|
||
title: "Review: Token Superposition Training"
|
||
created: 2026-05-29
|
||
type: review
|
||
paper: "peng-tst-2026"
|
||
arxiv: "2605.06546"
|
||
---
|
||
|
||
# 📌 Review: Token Superposition Training
|
||
|
||
**论文**: Efficient Pre-Training with Token Superposition
|
||
**作者**: Bowen Peng, Théo Gigant, Jeffrey Quesnelle (Nous Research)
|
||
**arXiv**: 2605.06546 | **领域**: cs.CL | **评审时间**: 2026-05-29
|
||
|
||
---
|
||
|
||
## 🎯 核心概念
|
||
|
||
1. **[[token-superposition-training|Token Superposition Training (TST)]]** — 两阶段预训练方法：叠加阶段用 s-token 提高吞吐量，恢复阶段回归标准训练。不修改模型架构，纯 drop-in
|
||
2. **[[multi-hot-cross-entropy|Multi-hot Cross-Entropy (MCE)]]** — 预测下一个 bag 全部 token 的损失函数，是标准 CE 的多标签推广
|
||
3. **[[input-superposition|Input Superposition]]** — 将连续 s 个 token embedding 取平均形成 s-token，序列长度缩短 s×
|
||
4. **[[representation-alignment|Representation Alignment]]** — 两阶段间必须共享 embedding 和 LM head，重新初始化会完全消除增益
|
||
5. **[[coarse-to-fine-granularity|Coarse-to-Fine Granularity]]** — 跨模态设计原则：先用粗粒度高吞吐量表示训练，后切换到细粒度
|
||
6. **[[throughput-hypothesis|Throughput Hypothesis]]** — coarser token → 更高训练数据吞吐 → 更好性能
|
||
7. **[[two-phase-pretraining|Two-Phase Pre-Training]]** — 先用替代目标预训练再回归标准的通用范式
|
||
8. **[[s-token|S-Token]]** — 叠加后形成的 latent representation
|
||
|
||
---
|
||
|
||
## 🔗 概念网络
|
||
|
||
**核心连接**: `token-superposition-training` ↔ `input-superposition` ↔ `multi-hot-cross-entropy` ↔ `two-phase-pretraining`
|
||
|
||
**设计原则层**: `coarse-to-fine-granularity` ↔ `throughput-hypothesis` ↔ `representation-alignment`
|
||
|
||
**扩展连接**: 与 wiki 内已有概念（如 multi-token-prediction、subword-tokenization、mixture-of-experts）构成预训练效率优化的概念集群
|
||
|
||
---
|
||
|
||
## 📚 Wiki 集成
|
||
|
||
- **新增页面**: 10 个（1 论文 + 1 raw 存档 + 8 概念）
|
||
- **链接完整性**: 100% 无断链 ✅
|
||
- **总规模**: 447 → 456 页
|
||
|
||
---
|
||
|
||
## 💡 关键洞察
|
||
|
||
**1. "不修改"的力量**：TST 最令人印象深刻之处在于它是一个纯 drop-in 方案——不改架构、不改 tokenizer、不改优化器。这与 MoE、稀疏注意力等方法形成鲜明对比。这背后隐含了一个重要原则：**训练时的表示粒度和推理时的架构可以解耦**。
|
||
|
||
**2. 表示对齐的隐藏重要性**：通过对照实验（随机重新初始化 embedding → 所有增益消失），论文揭示了一个在多阶段训练中容易被忽视的条件——阶段间的表示连续性。这不仅是 TST 工程上的成功关键，更是对任何多阶段训练范式的一般性启示。
|