myWiki/concepts/depth-aware-capacity-allocation.md

title, created, updated, type, tags, sources, confidence

title	created	updated	type	tags	sources	confidence
Depth-Aware Capacity Allocation（深度感知容量分配）	2026-06-29	2026-06-29	concept	language-model architecture efficiency depth parameter-allocation	tapered-language-models	high

Depth-Aware Capacity Allocation

tapered-language-models 提出的架构设计轴：在固定总参数预算下，不对所有层均等分配容量，而是根据层在深度中的位置进行差异化分配。

核心直觉

现代 LM 中各层对输出的贡献不均匀：

• 早期层：构建 token 的初步表示，需要更多变换能力 → 应分配更多容量
• 后期层：精化残差流（refine residual stream），变换幅度小 → 可以减少容量

设计原则

1. 固定总预算：不增加总参数量
2. 单调递减：容量从前向后递减
3. MLP 作为调节轴：MLP 宽度（d_ff）是所有 LM 架构共有的、单一干净的调节维度

实验验证

tapered-language-models 在 4 种架构、3 个规模上验证：

• 早期层多分配 → perplexity 改善
• 后期层多分配 → 损害（验证了不对称性方向）
• cosine-taper-schedule 表现最优

相关概念

• tapered-language-models
• mlp-width-tapering
• cosine-taper-schedule