20260706:新增一些文章

reviews/tapered-language-models-review-20260629.md

@@ -0,0 +1,38 @@
+---
+title: "Tapered Language Models — Review"
+created: 2026-06-29
+type: review
+paper: tapered-language-models
+---
+
+# 📌 基本信息
+
+- **论文**：Tapered Language Models
+- **作者**：Reza Bayat (Mila), Ali Behrouz (Cornell), Aaron Courville (Mila/UdeM/CIFAR)
+- **领域**：语言模型架构设计（cs.LG）
+- **arXiv**：2606.23670v1
+- **添加时间**：2026-06-29
+
+# 🎯 核心概念
+
+1. **深度感知容量分配** — 质疑 LM 中"所有层均等分配参数"的默认假设，提出容量应随深度递减
+2. **MLP 宽度渐缩** — 在固定总参数量下，将 MLP 中间层宽度从前向后按余弦调度递减
+3. **余弦衰减调度** — 最优 taper 函数，cos(πℓ/(2L)) 实现连续平滑的容量递减
+4. **早期-后期不对称性** — 早期层需要变换能力，后期层仅需精化残差流
+
+# 🔗 概念网络
+
+- **核心连接**：[[depth-aware-capacity-allocation|深度感知容量分配]] ↔ [[mlp-width-tapering|MLP 渐缩]] ↔ [[cosine-taper-schedule|余弦调度]] ↔ [[tapered-language-models|论文主页]]
+- **已有网络对接**：连接 [[subquadratic-transformer-alternatives|次二次方替代架构]]、[[recurrent-transformer-architectures|循环架构]]，跨架构验证了 TLM 的通用性
+- **新增连接**：3 概念 + 1 论文 + 1 Review，零断链
+
+# 📚 Wiki 集成
+
+- 新增页面：5 个（1 论文 + 3 概念 + 1 Review）
+- 链接完整性：100% 零断链
+- 总规模：1344 → 1349 页
+
+# 💡 关键洞察
+
+1. **"藏在眼皮底下的免费杠杆"** — Transformer 已提出 9 年，均等层宽从未被系统性质疑。本文用一个简单的直觉（后期层只需精化）+ 干净的实验设计（固定预算、MLP 为调节轴、4 架构 3 规模），发现了一个零成本的 perplexity 改善轴。这是最好的那种研究：问题如此明显，以至于一旦指出就再也无法忽视
+2. **U 形曲线的哲学** — 最优 taper 强度在 1.50→0.50，而非极端值。这说明"不对称"本身是好的，但"过度不对称"反而有害——存在一个最优的容量梯度。这对 NAS 和架构搜索有直接指导意义