39 lines
1.4 KiB
Markdown
39 lines
1.4 KiB
Markdown
---
|
||
title: "Depth-Aware Capacity Allocation（深度感知容量分配）"
|
||
created: 2026-06-29
|
||
updated: 2026-06-29
|
||
type: concept
|
||
tags: [language-model, architecture, efficiency, depth, parameter-allocation]
|
||
sources: [[tapered-language-models]]
|
||
confidence: high
|
||
---
|
||
|
||
# Depth-Aware Capacity Allocation
|
||
|
||
> [[tapered-language-models|Tapered Language Models]] 提出的架构设计轴：在固定总参数预算下，**不**对所有层均等分配容量，而是根据层在深度中的位置进行差异化分配。
|
||
|
||
## 核心直觉
|
||
|
||
现代 LM 中各层对输出的贡献**不均匀**：
|
||
- **早期层**：构建 token 的初步表示，需要更多变换能力 → 应分配更多容量
|
||
- **后期层**：精化残差流（refine residual stream），变换幅度小 → 可以减少容量
|
||
|
||
## 设计原则
|
||
|
||
1. **固定总预算**：不增加总参数量
|
||
2. **单调递减**：容量从前向后递减
|
||
3. **MLP 作为调节轴**：MLP 宽度（d_ff）是所有 LM 架构共有的、单一干净的调节维度
|
||
|
||
## 实验验证
|
||
|
||
[[tapered-language-models|Bayat et al. (2026)]] 在 4 种架构、3 个规模上验证：
|
||
- 早期层多分配 → perplexity 改善
|
||
- 后期层多分配 → **损害**（验证了不对称性方向）
|
||
- [[cosine-taper-schedule|余弦衰减]] 表现最优
|
||
|
||
## 相关概念
|
||
|
||
- [[tapered-language-models|Tapered Language Models]]
|
||
- [[mlp-width-tapering|MLP 宽度渐缩]]
|
||
- [[cosine-taper-schedule|余弦衰减调度]]
|