45 lines
1.7 KiB
Markdown
45 lines
1.7 KiB
Markdown
---
|
||
title: "Representation Alignment"
|
||
created: 2026-05-29
|
||
updated: 2026-05-29
|
||
type: concept
|
||
tags: ["training", "representation", "LLM", "transfer-learning"]
|
||
sources: ["https://arxiv.org/abs/2605.06546"]
|
||
---
|
||
|
||
# Representation Alignment (表示对齐)
|
||
|
||
**Representation Alignment** 是 Peng, Gigant & Quesnelle (2026) 在 [[token-superposition-training|TST]] 中发现的关键条件：**在两阶段训练中，输入 embedding 和输出 LM head 必须在阶段间保持不变**，否则所有预训练增益消失。
|
||
|
||
## 实验证据
|
||
|
||
在 3B 模型上进行了对照实验：
|
||
- TST baseline: 阶段间保持 embedding 和 LM head
|
||
- TST w/ Randomization: 在恢复阶段开始时**随机重新初始化** embedding 和 LM head
|
||
|
||
| 配置 | Final Loss |
|
||
|------|-----------|
|
||
| Dense Baseline (无 TST) | 2.808 |
|
||
| Dense TST | **2.676** |
|
||
| Dense TST w/ Randomization | 2.938 ✗ |
|
||
|
||
重新初始化后不仅增益消失，甚至**比不做 TST 的 baseline 更差**——叠加阶段的训练完全被浪费。
|
||
|
||
## 解释
|
||
|
||
LLM 的内部回路对输入/输出表示高度敏感。TST 是为数不多的**不修改 embedding 和 LM head** 的压缩预训练方法之一，避免了之前方法中 adapter 或投影层引入的"表示不匹配"问题。
|
||
|
||
本质上：
|
||
- 传统方法：修改表示 → 需 adapter 对齐
|
||
- TST：**不修改表示** → 自然对齐
|
||
|
||
## 更广泛的意义
|
||
|
||
这一发现对任何多阶段训练范式具有普遍启示：阶段间的表示连续性可能比阶段内的算法设计更关键。这与 transfer learning 中 "feature reuse" 假说一致。
|
||
|
||
## 相关
|
||
|
||
- [[token-superposition-training]] — 发现 alignment 重要性的方法
|
||
- [[two-phase-pretraining]] — 两阶段训练范式
|
||
- [[peng-tst-2026]] — 原始论文
|