---
title: "Depth-Aware Capacity Allocation（深度感知容量分配）"
created: 2026-06-29
updated: 2026-06-29
type: concept
tags: [language-model, architecture, efficiency, depth, parameter-allocation]
sources: [[tapered-language-models]]
confidence: high
---

# Depth-Aware Capacity Allocation

> [[tapered-language-models|Tapered Language Models]] 提出的架构设计轴：在固定总参数预算下，**不**对所有层均等分配容量，而是根据层在深度中的位置进行差异化分配。

## 核心直觉

现代 LM 中各层对输出的贡献**不均匀**：
- **早期层**：构建 token 的初步表示，需要更多变换能力 → 应分配更多容量
- **后期层**：精化残差流（refine residual stream），变换幅度小 → 可以减少容量

## 设计原则

1. **固定总预算**：不增加总参数量
2. **单调递减**：容量从前向后递减
3. **MLP 作为调节轴**：MLP 宽度（d_ff）是所有 LM 架构共有的、单一干净的调节维度

## 实验验证

[[tapered-language-models|Bayat et al. (2026)]] 在 4 种架构、3 个规模上验证：
- 早期层多分配 → perplexity 改善
- 后期层多分配 → **损害**（验证了不对称性方向）
- [[cosine-taper-schedule|余弦衰减]] 表现最优

## 相关概念

- [[tapered-language-models|Tapered Language Models]]
- [[mlp-width-tapering|MLP 宽度渐缩]]
- [[cosine-taper-schedule|余弦衰减调度]]