60 lines
2.5 KiB
Markdown
60 lines
2.5 KiB
Markdown
---
|
||
title: "Tapered Language Models"
|
||
created: 2026-06-29
|
||
updated: 2026-06-29
|
||
type: paper
|
||
tags: [language-model, architecture, transformer, mlp, efficiency, depth-aware]
|
||
sources: [https://arxiv.org/abs/2606.23670]
|
||
authors: ["Reza Bayat (Mila)", "Ali Behrouz (Cornell)", "Aaron Courville (Mila / UdeM / CIFAR)"]
|
||
venue: arXiv:2606.23670v1
|
||
year: 2026
|
||
---
|
||
|
||
# Tapered Language Models (TLMs)
|
||
|
||
> arXiv: [2606.23670v1](https://arxiv.org/abs/2606.23670), cs.LG, June 2026
|
||
|
||
## 一句话
|
||
|
||
现代 LLM 对所有层**均等分配参数**——这是从原始 Transformer 继承的默认设置，从未被质疑。本文发现**早期层需要更多容量、后期层只需精化残差流**，提出 [[depth-aware-capacity-allocation|深度感知容量分配]]：在固定总参数量下，将 MLP 宽度从前向后单调递减（taper），零额外成本提升 perplexity 和下游性能。
|
||
|
||
## 核心发现
|
||
|
||
### 不对称性证据
|
||
|
||
后期层对输出的贡献是**精化（refine）残差流**，而非像早期层那样进行大幅度变换。因此：
|
||
- **更多容量给早期层** → perplexity 改善
|
||
- **更多容量给后期层** → 反而**损害** perplexity
|
||
|
||
### Tapered Language Model (TLM)
|
||
|
||
在固定总参数预算下，将某一参数承载组件（MLP 宽度）沿深度**单调递减**：
|
||
- MLP 是自然的 taper 目标：支配所有 LM 家族的参数量，宽度是单一、干净的调节轴
|
||
- 推荐使用 [[cosine-taper-schedule|余弦衰减调度]]
|
||
|
||
## 实验结果
|
||
|
||
| 规模 | 架构 | 结果 |
|
||
|------|------|------|
|
||
| 440M / 1B / 3B | Transformer | Cosine taper 一致优于 uniform baseline |
|
||
| 440M | Gated Attention | 同上 |
|
||
| 440M | Hope-attention | 同上 |
|
||
| 440M | Titans | 同上 |
|
||
|
||
- **零额外参数、零额外计算**
|
||
- 440M Transformer：uniform 16.28 → cosine taper **14.44**（改善 1.84 perplexity）
|
||
- 最优 taper 范围：1.50× → 0.50× baseline FF width
|
||
- U 形曲线：过强或过弱的 taper 均不如中间值
|
||
|
||
## 架构无关性
|
||
|
||
TLM 原则适用于：Transformer、Gated Attention、Hope-attention、Titans 四种异构架构——说明深度感知容量分配是**跨架构的通用设计轴**，一个"藏在眼皮底下的免费杠杆"。
|
||
|
||
## 相关概念
|
||
|
||
- [[depth-aware-capacity-allocation|深度感知容量分配]]
|
||
- [[mlp-width-tapering|MLP 宽度渐缩]]
|
||
- [[cosine-taper-schedule|余弦衰减调度]]
|
||
- [[subquadratic-transformer-alternatives|次二次方 Transformer 替代]]
|
||
- [[recurrent-transformer-architectures|循环 Transformer 架构]]
|