Tapered Language Models (TLMs)

arXiv: 2606.23670v1, cs.LG, June 2026

一句话

现代 LLM 对所有层均等分配参数——这是从原始 Transformer 继承的默认设置，从未被质疑。本文发现早期层需要更多容量、后期层只需精化残差流，提出 depth-aware-capacity-allocation：在固定总参数量下，将 MLP 宽度从前向后单调递减（taper），零额外成本提升 perplexity 和下游性能。

核心发现

不对称性证据

后期层对输出的贡献是精化（refine）残差流，而非像早期层那样进行大幅度变换。因此：

更多容量给早期层 → perplexity 改善
更多容量给后期层 → 反而损害 perplexity

Tapered Language Model (TLM)

在固定总参数预算下，将某一参数承载组件（MLP 宽度）沿深度单调递减：

MLP 是自然的 taper 目标：支配所有 LM 家族的参数量，宽度是单一、干净的调节轴
推荐使用 cosine-taper-schedule

实验结果

规模	架构	结果
440M / 1B / 3B	Transformer	Cosine taper 一致优于 uniform baseline
440M	Gated Attention	同上
440M	Hope-attention	同上
440M	Titans	同上

零额外参数、零额外计算
440M Transformer：uniform 16.28 → cosine taper 14.44（改善 1.84 perplexity）
最优 taper 范围：1.50× → 0.50× baseline FF width
U 形曲线：过强或过弱的 taper 均不如中间值

架构无关性

TLM 原则适用于：Transformer、Gated Attention、Hope-attention、Titans 四种异构架构——说明深度感知容量分配是跨架构的通用设计轴，一个"藏在眼皮底下的免费杠杆"。

2.5 KiB Raw Permalink Blame History Unescape Escape