---
title: "Representation Alignment"
created: 2026-05-29
updated: 2026-05-29
type: concept
tags: ["training", "representation", "LLM", "transfer-learning"]
sources: ["https://arxiv.org/abs/2605.06546"]
---

# Representation Alignment (表示对齐)

**Representation Alignment** 是 Peng, Gigant & Quesnelle (2026) 在 [[token-superposition-training|TST]] 中发现的关键条件：**在两阶段训练中，输入 embedding 和输出 LM head 必须在阶段间保持不变**，否则所有预训练增益消失。

## 实验证据

在 3B 模型上进行了对照实验：
- TST baseline: 阶段间保持 embedding 和 LM head
- TST w/ Randomization: 在恢复阶段开始时**随机重新初始化** embedding 和 LM head

| 配置 | Final Loss |
|------|-----------|
| Dense Baseline (无 TST) | 2.808 |
| Dense TST | **2.676** |
| Dense TST w/ Randomization | 2.938 ✗ |

重新初始化后不仅增益消失，甚至**比不做 TST 的 baseline 更差**——叠加阶段的训练完全被浪费。

## 解释

LLM 的内部回路对输入/输出表示高度敏感。TST 是为数不多的**不修改 embedding 和 LM head** 的压缩预训练方法之一，避免了之前方法中 adapter 或投影层引入的"表示不匹配"问题。

本质上：
- 传统方法：修改表示 → 需 adapter 对齐
- TST：**不修改表示** → 自然对齐

## 更广泛的意义

这一发现对任何多阶段训练范式具有普遍启示：阶段间的表示连续性可能比阶段内的算法设计更关键。这与 transfer learning 中 "feature reuse" 假说一致。

## 相关

- [[token-superposition-training]] — 发现 alignment 重要性的方法
- [[two-phase-pretraining]] — 两阶段训练范式
- [[peng-tst-2026]] — 原始论文