20260601

concepts/representation-alignment.md

@@ -0,0 +1,44 @@
+---
+title: "Representation Alignment"
+created: 2026-05-29
+updated: 2026-05-29
+type: concept
+tags: ["training", "representation", "LLM", "transfer-learning"]
+sources: ["https://arxiv.org/abs/2605.06546"]
+---
+
+# Representation Alignment (表示对齐)
+
+**Representation Alignment** 是 Peng, Gigant & Quesnelle (2026) 在 [[token-superposition-training|TST]] 中发现的关键条件：**在两阶段训练中，输入 embedding 和输出 LM head 必须在阶段间保持不变**，否则所有预训练增益消失。
+
+## 实验证据
+
+在 3B 模型上进行了对照实验：
+- TST baseline: 阶段间保持 embedding 和 LM head
+- TST w/ Randomization: 在恢复阶段开始时**随机重新初始化** embedding 和 LM head
+
+| 配置 | Final Loss |
+|------|-----------|
+| Dense Baseline (无 TST) | 2.808 |
+| Dense TST | **2.676** |
+| Dense TST w/ Randomization | 2.938 ✗ |
+
+重新初始化后不仅增益消失，甚至**比不做 TST 的 baseline 更差**——叠加阶段的训练完全被浪费。
+
+## 解释
+
+LLM 的内部回路对输入/输出表示高度敏感。TST 是为数不多的**不修改 embedding 和 LM head** 的压缩预训练方法之一，避免了之前方法中 adapter 或投影层引入的"表示不匹配"问题。
+
+本质上：
+- 传统方法：修改表示 → 需 adapter 对齐
+- TST：**不修改表示** → 自然对齐
+
+## 更广泛的意义
+
+这一发现对任何多阶段训练范式具有普遍启示：阶段间的表示连续性可能比阶段内的算法设计更关键。这与 transfer learning 中 "feature reuse" 假说一致。
+
+## 相关
+
+- [[token-superposition-training]] — 发现 alignment 重要性的方法
+- [[two-phase-pretraining]] — 两阶段训练范式
+- [[peng-tst-2026]] — 原始论文