2.1 KiB
2.1 KiB
title, created, type, paper
| title | created | type | paper |
|---|---|---|---|
| Tapered Language Models — Review | 2026-06-29 | review | tapered-language-models |
📌 基本信息
- 论文：Tapered Language Models
- 作者：Reza Bayat (Mila), Ali Behrouz (Cornell), Aaron Courville (Mila/UdeM/CIFAR)
- 领域：语言模型架构设计（cs.LG）
- arXiv：2606.23670v1
- 添加时间：2026-06-29
🎯 核心概念
- 深度感知容量分配 — 质疑 LM 中"所有层均等分配参数"的默认假设，提出容量应随深度递减
- MLP 宽度渐缩 — 在固定总参数量下，将 MLP 中间层宽度从前向后按余弦调度递减
- 余弦衰减调度 — 最优 taper 函数，cos(πℓ/(2L)) 实现连续平滑的容量递减
- 早期-后期不对称性 — 早期层需要变换能力，后期层仅需精化残差流
🔗 概念网络
- 核心连接：depth-aware-capacity-allocation ↔ mlp-width-tapering ↔ cosine-taper-schedule ↔ tapered-language-models
- 已有网络对接：连接 subquadratic-transformer-alternatives、recurrent-transformer-architectures，跨架构验证了 TLM 的通用性
- 新增连接：3 概念 + 1 论文 + 1 Review，零断链
📚 Wiki 集成
- 新增页面：5 个（1 论文 + 3 概念 + 1 Review）
- 链接完整性：100% 零断链
- 总规模：1344 → 1349 页
💡 关键洞察
- "藏在眼皮底下的免费杠杆" — Transformer 已提出 9 年，均等层宽从未被系统性质疑。本文用一个简单的直觉（后期层只需精化）+ 干净的实验设计（固定预算、MLP 为调节轴、4 架构 3 规模），发现了一个零成本的 perplexity 改善轴。这是最好的那种研究：问题如此明显，以至于一旦指出就再也无法忽视
- U 形曲线的哲学 — 最优 taper 强度在 1.50→0.50，而非极端值。这说明"不对称"本身是好的，但"过度不对称"反而有害——存在一个最优的容量梯度。这对 NAS 和架构搜索有直接指导意义