20260706:新增一些文章

papers/tapered-language-models.md

@@ -0,0 +1,59 @@
+---
+title: "Tapered Language Models"
+created: 2026-06-29
+updated: 2026-06-29
+type: paper
+tags: [language-model, architecture, transformer, mlp, efficiency, depth-aware]
+sources: [https://arxiv.org/abs/2606.23670]
+authors: ["Reza Bayat (Mila)", "Ali Behrouz (Cornell)", "Aaron Courville (Mila / UdeM / CIFAR)"]
+venue: arXiv:2606.23670v1
+year: 2026
+---
+
+# Tapered Language Models (TLMs)
+
+> arXiv: [2606.23670v1](https://arxiv.org/abs/2606.23670), cs.LG, June 2026
+
+## 一句话
+
+现代 LLM 对所有层**均等分配参数**——这是从原始 Transformer 继承的默认设置，从未被质疑。本文发现**早期层需要更多容量、后期层只需精化残差流**，提出 [[depth-aware-capacity-allocation|深度感知容量分配]]：在固定总参数量下，将 MLP 宽度从前向后单调递减（taper），零额外成本提升 perplexity 和下游性能。
+
+## 核心发现
+
+### 不对称性证据
+
+后期层对输出的贡献是**精化（refine）残差流**，而非像早期层那样进行大幅度变换。因此：
+- **更多容量给早期层** → perplexity 改善
+- **更多容量给后期层** → 反而**损害** perplexity
+
+### Tapered Language Model (TLM)
+
+在固定总参数预算下，将某一参数承载组件（MLP 宽度）沿深度**单调递减**：
+- MLP 是自然的 taper 目标：支配所有 LM 家族的参数量，宽度是单一、干净的调节轴
+- 推荐使用 [[cosine-taper-schedule|余弦衰减调度]]
+
+## 实验结果
+
+| 规模 | 架构 | 结果 |
+|------|------|------|
+| 440M / 1B / 3B | Transformer | Cosine taper 一致优于 uniform baseline |
+| 440M | Gated Attention | 同上 |
+| 440M | Hope-attention | 同上 |
+| 440M | Titans | 同上 |
+
+- **零额外参数、零额外计算**
+- 440M Transformer：uniform 16.28 → cosine taper **14.44**（改善 1.84 perplexity）
+- 最优 taper 范围：1.50× → 0.50× baseline FF width
+- U 形曲线：过强或过弱的 taper 均不如中间值
+
+## 架构无关性
+
+TLM 原则适用于：Transformer、Gated Attention、Hope-attention、Titans 四种异构架构——说明深度感知容量分配是**跨架构的通用设计轴**，一个"藏在眼皮底下的免费杠杆"。
+
+## 相关概念
+
+- [[depth-aware-capacity-allocation|深度感知容量分配]]
+- [[mlp-width-tapering|MLP 宽度渐缩]]
+- [[cosine-taper-schedule|余弦衰减调度]]
+- [[subquadratic-transformer-alternatives|次二次方 Transformer 替代]]
+- [[recurrent-transformer-architectures|循环 Transformer 架构]]