1.3 KiB
1.3 KiB
title, created, updated, type, tags, sources, confidence
| title | created | updated | type | tags | sources | confidence | |||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| MLP Width Tapering（MLP 宽度渐缩） | 2026-06-29 | 2026-06-29 | concept |
|
|
high |
MLP Width Tapering
depth-aware-capacity-allocation 的具体实例化：在固定总参数量下，将 Transformer/LLM 中 MLP 的中间层宽度（d_ff）沿深度单调递减。
为什么选 MLP
| 组件 | 参数占比 | 跨架构通用性 | 调节轴 |
|---|---|---|---|
| MLP (FFN) | 主导（~2/3） | 所有架构共享 | 单一标量 d_ff |
| Attention | 次之 | 架构差异大 | 多头/维度耦合 |
| LayerNorm | 极小 | 通用 | 无意义 |
MLP 是自然的 taper 目标：参数量最大、架构通用、调节维度单一干净。
Cosine Schedule
推荐的衰减方式见 cosine-taper-schedule：
w_ℓ = w_max · (cos(πℓ/(2L)))^p
- ℓ ∈ [0, L-1]：层索引
- p：控制陡峭度
- 最优范围：1.50× → 0.50× baseline d_ff
效果
440M Transformer：uniform 16.28 → cosine taper 14.44 perplexity（零额外参数/计算）。