1.7 KiB
1.7 KiB
title, created, updated, type, tags, sources
| title | created | updated | type | tags | sources | |||||
|---|---|---|---|---|---|---|---|---|---|---|
| Representation Alignment | 2026-05-29 | 2026-05-29 | concept |
|
|
Representation Alignment (表示对齐)
Representation Alignment 是 Peng, Gigant & Quesnelle (2026) 在 token-superposition-training 中发现的关键条件：在两阶段训练中，输入 embedding 和输出 LM head 必须在阶段间保持不变，否则所有预训练增益消失。
实验证据
在 3B 模型上进行了对照实验：
- TST baseline: 阶段间保持 embedding 和 LM head
- TST w/ Randomization: 在恢复阶段开始时随机重新初始化 embedding 和 LM head
| 配置 | Final Loss |
|---|---|
| Dense Baseline (无 TST) | 2.808 |
| Dense TST | 2.676 |
| Dense TST w/ Randomization | 2.938 ✗ |
重新初始化后不仅增益消失，甚至比不做 TST 的 baseline 更差——叠加阶段的训练完全被浪费。
解释
LLM 的内部回路对输入/输出表示高度敏感。TST 是为数不多的不修改 embedding 和 LM head 的压缩预训练方法之一，避免了之前方法中 adapter 或投影层引入的"表示不匹配"问题。
本质上：
- 传统方法：修改表示 → 需 adapter 对齐
- TST：不修改表示 → 自然对齐
更广泛的意义
这一发现对任何多阶段训练范式具有普遍启示：阶段间的表示连续性可能比阶段内的算法设计更关键。这与 transfer learning 中 "feature reuse" 假说一致。
相关
- token-superposition-training — 发现 alignment 重要性的方法
- two-phase-pretraining — 两阶段训练范式
- peng-tst-2026 — 原始论文