42 lines
1.8 KiB
Markdown
42 lines
1.8 KiB
Markdown
---
|
||
title: "Throughput Hypothesis (吞吐量假说)"
|
||
created: 2026-05-29
|
||
updated: 2026-05-29
|
||
type: concept
|
||
tags: ["pre-training", "efficiency", "tokenization", "hypothesis"]
|
||
sources: ["https://arxiv.org/abs/2605.06546"]
|
||
---
|
||
|
||
# Throughput Hypothesis (吞吐量假说)
|
||
|
||
**Throughput Hypothesis** 由 Gigant et al. (2025) 提出并经 Peng et al. (2026) 在 [[token-superposition-training|TST]] 中进一步验证：**subword-level 模型相对于 byte-level 模型的性能优势，主要来源于 coarser token 带来的更高训练样本吞吐量，而非表示质量本身的差异。**
|
||
|
||
## 核心主张
|
||
|
||
在等 FLOPs 训练条件下：
|
||
- Coarser tokenization (如 BPE) → 每个 step 处理更多原始字符 → 更高的"有效数据吞吐量"
|
||
- 这一吞吐量差异足以解释 subword vs byte-level 的大部分性能差异
|
||
|
||
## TST 的验证
|
||
|
||
TST 将该假说推向了新方向：
|
||
- 通过 **token 叠加**在训练时人为制造更粗的粒度
|
||
- 发现即使 tokenizer 本身不变，仅提高训练时吞吐量即带来显著增益
|
||
- 这证明吞吐量假说不仅适用于 tokenizer 选择，也适用于训练时表示的动态调度
|
||
|
||
## 隐含推论
|
||
|
||
1. 训练效率优化应关注 **每 FLOP 的数据吞吐量**，而非每 token 的信息密度
|
||
2. 推理时的 token 粒度可以独立于训练时的粒度选择（TST 的关键优势）
|
||
3. 在 compute-bound 场景下，牺牲训练时表示精度换取吞吐量是 Pareto-efficient
|
||
|
||
## 局限
|
||
|
||
这一假说依赖 LLM 预训练是 **compute-bound** 而非 **data-bound** 的前提。Kim et al. (2026) 预测未来可能转向 data-bound——此时 output-only superposition 可能更具优势（不增加数据消耗）。
|
||
|
||
## 相关
|
||
|
||
- [[token-superposition-training]] — TST 方法
|
||
- [[coarse-to-fine-granularity]] — 吞吐量假说的具体实现模式
|
||
- [[peng-tst-2026]] — 原始论文
|