---
title: "MLP Width Tapering（MLP 宽度渐缩）"
created: 2026-06-29
updated: 2026-06-29
type: concept
tags: [language-model, mlp, architecture, efficiency, transformer]
sources: [[tapered-language-models]]
confidence: high
---

# MLP Width Tapering

> [[depth-aware-capacity-allocation|深度感知容量分配]] 的具体实例化：在固定总参数量下，将 Transformer/LLM 中 MLP 的中间层宽度（d_ff）沿深度单调递减。

## 为什么选 MLP

| 组件 | 参数占比 | 跨架构通用性 | 调节轴 |
|------|---------|-------------|--------|
| **MLP (FFN)** | 主导（~2/3） | 所有架构共享 | 单一标量 d_ff |
| Attention | 次之 | 架构差异大 | 多头/维度耦合 |
| LayerNorm | 极小 | 通用 | 无意义 |

MLP 是自然的 taper 目标：参数量最大、架构通用、调节维度单一干净。

## Cosine Schedule

推荐的衰减方式见 [[cosine-taper-schedule|余弦衰减调度]]：

> w_ℓ = w_max · (cos(πℓ/(2L)))^p

- ℓ ∈ [0, L-1]：层索引
- p：控制陡峭度
- 最优范围：1.50× → 0.50× baseline d_ff

## 效果

440M Transformer：uniform 16.28 → cosine taper 14.44 perplexity（零额外参数/计算）。

## 相关概念

- [[depth-aware-capacity-allocation|深度感知容量分配]]
- [[cosine-taper-schedule|余弦衰减调度]]
- [[tapered-language-models|Tapered Language Models]]