---
title: "Cosine Taper Schedule（余弦衰减调度）"
created: 2026-06-29
updated: 2026-06-29
type: concept
tags: [language-model, schedule, cosine, architecture, efficiency]
sources: [[tapered-language-models]]
confidence: high
---

# Cosine Taper Schedule

> [[mlp-width-tapering|MLP 宽度渐缩]] 的最优调度函数——使用余弦函数将 MLP 宽度从前向后平滑递减。

## 公式

第 ℓ 层的 MLP 宽度：

> w_ℓ = w_max · (cos(πℓ/(2L)))^p

- w_max：第 0 层（首层）的宽度
- L：总层数
- p：控制 steepness（论文中使用 p ≈ 1）

## 与其他调度的对比

| 调度 | 440M Transformer perplexity | 特点 |
|------|---------------------------|------|
| Uniform | 16.28 | 基准 |
| Step-wise | 15.96 | 硬截断，不连续 |
| Linear | 15.49 | 连续但不平滑 |
| **Cosine** | **14.44** | 连续平滑，最优 |

## U 形曲线

Taper 的强度存在最优值：1.50× → 0.50× baseline d_ff。过强（1.75× → 0.25×）或过弱（1.25× → 0.75×）均不如中间值——说明存在一个最优的**容量梯度**。

## 相关概念

- [[mlp-width-tapering|MLP 宽度渐缩]]
- [[depth-aware-capacity-allocation|深度感知容量分配]]
- [[tapered-language-models|Tapered Language Models]]