---
title: "Tapered Language Models"
created: 2026-06-29
updated: 2026-06-29
type: paper
tags: [language-model, architecture, transformer, mlp, efficiency, depth-aware]
sources: [https://arxiv.org/abs/2606.23670]
authors: ["Reza Bayat (Mila)", "Ali Behrouz (Cornell)", "Aaron Courville (Mila / UdeM / CIFAR)"]
venue: arXiv:2606.23670v1
year: 2026
---

# Tapered Language Models (TLMs)

> arXiv: [2606.23670v1](https://arxiv.org/abs/2606.23670), cs.LG, June 2026

## 一句话

现代 LLM 对所有层**均等分配参数**——这是从原始 Transformer 继承的默认设置，从未被质疑。本文发现**早期层需要更多容量、后期层只需精化残差流**，提出 [[depth-aware-capacity-allocation|深度感知容量分配]]：在固定总参数量下，将 MLP 宽度从前向后单调递减（taper），零额外成本提升 perplexity 和下游性能。

## 核心发现

### 不对称性证据

后期层对输出的贡献是**精化（refine）残差流**，而非像早期层那样进行大幅度变换。因此：
- **更多容量给早期层** → perplexity 改善
- **更多容量给后期层** → 反而**损害** perplexity

### Tapered Language Model (TLM)

在固定总参数预算下，将某一参数承载组件（MLP 宽度）沿深度**单调递减**：
- MLP 是自然的 taper 目标：支配所有 LM 家族的参数量，宽度是单一、干净的调节轴
- 推荐使用 [[cosine-taper-schedule|余弦衰减调度]]

## 实验结果

| 规模 | 架构 | 结果 |
|------|------|------|
| 440M / 1B / 3B | Transformer | Cosine taper 一致优于 uniform baseline |
| 440M | Gated Attention | 同上 |
| 440M | Hope-attention | 同上 |
| 440M | Titans | 同上 |

- **零额外参数、零额外计算**
- 440M Transformer：uniform 16.28 → cosine taper **14.44**（改善 1.84 perplexity）
- 最优 taper 范围：1.50× → 0.50× baseline FF width
- U 形曲线：过强或过弱的 taper 均不如中间值

## 架构无关性

TLM 原则适用于：Transformer、Gated Attention、Hope-attention、Titans 四种异构架构——说明深度感知容量分配是**跨架构的通用设计轴**，一个"藏在眼皮底下的免费杠杆"。

## 相关概念

- [[depth-aware-capacity-allocation|深度感知容量分配]]
- [[mlp-width-tapering|MLP 宽度渐缩]]
- [[cosine-taper-schedule|余弦衰减调度]]
- [[subquadratic-transformer-alternatives|次二次方 Transformer 替代]]
- [[recurrent-transformer-architectures|循环 Transformer 架构]]