43 lines
1.2 KiB
Markdown
43 lines
1.2 KiB
Markdown
---
|
||
title: "Cosine Taper Schedule（余弦衰减调度）"
|
||
created: 2026-06-29
|
||
updated: 2026-06-29
|
||
type: concept
|
||
tags: [language-model, schedule, cosine, architecture, efficiency]
|
||
sources: [[tapered-language-models]]
|
||
confidence: high
|
||
---
|
||
|
||
# Cosine Taper Schedule
|
||
|
||
> [[mlp-width-tapering|MLP 宽度渐缩]] 的最优调度函数——使用余弦函数将 MLP 宽度从前向后平滑递减。
|
||
|
||
## 公式
|
||
|
||
第 ℓ 层的 MLP 宽度：
|
||
|
||
> w_ℓ = w_max · (cos(πℓ/(2L)))^p
|
||
|
||
- w_max：第 0 层（首层）的宽度
|
||
- L：总层数
|
||
- p：控制 steepness（论文中使用 p ≈ 1）
|
||
|
||
## 与其他调度的对比
|
||
|
||
| 调度 | 440M Transformer perplexity | 特点 |
|
||
|------|---------------------------|------|
|
||
| Uniform | 16.28 | 基准 |
|
||
| Step-wise | 15.96 | 硬截断，不连续 |
|
||
| Linear | 15.49 | 连续但不平滑 |
|
||
| **Cosine** | **14.44** | 连续平滑，最优 |
|
||
|
||
## U 形曲线
|
||
|
||
Taper 的强度存在最优值：1.50× → 0.50× baseline d_ff。过强（1.75× → 0.25×）或过弱（1.25× → 0.75×）均不如中间值——说明存在一个最优的**容量梯度**。
|
||
|
||
## 相关概念
|
||
|
||
- [[mlp-width-tapering|MLP 宽度渐缩]]
|
||
- [[depth-aware-capacity-allocation|深度感知容量分配]]
|
||
- [[tapered-language-models|Tapered Language Models]]
|