39 lines
2.1 KiB
Markdown
39 lines
2.1 KiB
Markdown
---
|
||
title: "Tapered Language Models — Review"
|
||
created: 2026-06-29
|
||
type: review
|
||
paper: tapered-language-models
|
||
---
|
||
|
||
# 📌 基本信息
|
||
|
||
- **论文**：Tapered Language Models
|
||
- **作者**：Reza Bayat (Mila), Ali Behrouz (Cornell), Aaron Courville (Mila/UdeM/CIFAR)
|
||
- **领域**：语言模型架构设计（cs.LG）
|
||
- **arXiv**：2606.23670v1
|
||
- **添加时间**：2026-06-29
|
||
|
||
# 🎯 核心概念
|
||
|
||
1. **深度感知容量分配** — 质疑 LM 中"所有层均等分配参数"的默认假设，提出容量应随深度递减
|
||
2. **MLP 宽度渐缩** — 在固定总参数量下，将 MLP 中间层宽度从前向后按余弦调度递减
|
||
3. **余弦衰减调度** — 最优 taper 函数，cos(πℓ/(2L)) 实现连续平滑的容量递减
|
||
4. **早期-后期不对称性** — 早期层需要变换能力，后期层仅需精化残差流
|
||
|
||
# 🔗 概念网络
|
||
|
||
- **核心连接**：[[depth-aware-capacity-allocation|深度感知容量分配]] ↔ [[mlp-width-tapering|MLP 渐缩]] ↔ [[cosine-taper-schedule|余弦调度]] ↔ [[tapered-language-models|论文主页]]
|
||
- **已有网络对接**：连接 [[subquadratic-transformer-alternatives|次二次方替代架构]]、[[recurrent-transformer-architectures|循环架构]]，跨架构验证了 TLM 的通用性
|
||
- **新增连接**：3 概念 + 1 论文 + 1 Review，零断链
|
||
|
||
# 📚 Wiki 集成
|
||
|
||
- 新增页面：5 个（1 论文 + 3 概念 + 1 Review）
|
||
- 链接完整性：100% 零断链
|
||
- 总规模：1344 → 1349 页
|
||
|
||
# 💡 关键洞察
|
||
|
||
1. **"藏在眼皮底下的免费杠杆"** — Transformer 已提出 9 年，均等层宽从未被系统性质疑。本文用一个简单的直觉（后期层只需精化）+ 干净的实验设计（固定预算、MLP 为调节轴、4 架构 3 规模），发现了一个零成本的 perplexity 改善轴。这是最好的那种研究：问题如此明显，以至于一旦指出就再也无法忽视
|
||
2. **U 形曲线的哲学** — 最优 taper 强度在 1.50→0.50，而非极端值。这说明"不对称"本身是好的，但"过度不对称"反而有害——存在一个最优的容量梯度。这对 NAS 和架构搜索有直接指导意义
|