20260706:新增一些文章

concepts/depth-aware-capacity-allocation.md

@@ -0,0 +1,38 @@
+---
+title: "Depth-Aware Capacity Allocation（深度感知容量分配）"
+created: 2026-06-29
+updated: 2026-06-29
+type: concept
+tags: [language-model, architecture, efficiency, depth, parameter-allocation]
+sources: [[tapered-language-models]]
+confidence: high
+---
+
+# Depth-Aware Capacity Allocation
+
+> [[tapered-language-models|Tapered Language Models]] 提出的架构设计轴：在固定总参数预算下，**不**对所有层均等分配容量，而是根据层在深度中的位置进行差异化分配。
+
+## 核心直觉
+
+现代 LM 中各层对输出的贡献**不均匀**：
+- **早期层**：构建 token 的初步表示，需要更多变换能力 → 应分配更多容量
+- **后期层**：精化残差流（refine residual stream），变换幅度小 → 可以减少容量
+
+## 设计原则
+
+1. **固定总预算**：不增加总参数量
+2. **单调递减**：容量从前向后递减
+3. **MLP 作为调节轴**：MLP 宽度（d_ff）是所有 LM 架构共有的、单一干净的调节维度
+
+## 实验验证
+
+[[tapered-language-models|Bayat et al. (2026)]] 在 4 种架构、3 个规模上验证：
+- 早期层多分配 → perplexity 改善
+- 后期层多分配 → **损害**（验证了不对称性方向）
+- [[cosine-taper-schedule|余弦衰减]] 表现最优
+
+## 相关概念
+
+- [[tapered-language-models|Tapered Language Models]]
+- [[mlp-width-tapering|MLP 宽度渐缩]]
+- [[cosine-taper-schedule|余弦衰减调度]]