---
title: "Muon Optimizer"
domain: "Deep Learning / Optimization"
tags: [optimizer, training, convergence, transformer]
sources: [[deepseek-v4-million-token-context]], Jordan et al. (2024), Liu et al. (2025)
---

# Muon Optimizer

> **类型**: Concept (Tier 1 — Core)
> **来源**: [[deepseek-v4-million-token-context]]

## 定义

Muon 是一种基于矩阵正交化的优化器，相比 AdamW 具有更快的收敛速度和更好的训练稳定性。DeepSeek-V4 中，Muon 应用于大多数模块（除 embedding、prediction head、mHC 静态偏置、RMSNorm 外）。

## 核心算法

```
for each weight W ∈ ℝⁿˣᵐ:
    Gₜ = ∇W Lₜ(Wₜ₋₁)           # 计算梯度
    Mₜ = μMₜ₋₁ + Gₜ            # 动量累积
    Oₜ' = HybridNewtonSchulz(μMₜ + Gₜ)  # Nesterov + 混合 Newton-Schulz
    Oₜ = Oₜ' · √max(n,m) · γ   # RMS 重缩放
    Wₜ = Wₜ₋₁ · (1 − ηλ) − ηOₜ # 权重衰减 + 更新
```

### 混合 Newton-Schulz 迭代

两阶段策略（共 10 次迭代）：
1. **前 8 步**：系数 (a,b,c) = (3.4445, −4.7750, 2.0315) — 快速收敛
2. **后 2 步**：系数 (a,b,c) = (2, −1.5, 0.5) — 精确正交化

迭代公式：Mₖ = aMₖ₋₁ + b(Mₖ₋₁Mₖ₋₁ᵀ)Mₖ₋₁ + c(Mₖ₋₁Mₖ₋₁ᵀ)²Mₖ₋₁

## 关键设计

### 1. Nesterov 技巧
使用 Nesterov 动量（μMₜ + Gₜ）而非标准动量进行牛顿迭代。

### 2. RMS 重缩放
将更新矩阵的 RMS 缩放到固定值，便于复用 AdamW 的超参数。

### 3. 避免注意力爆炸
DeepSeek-V4 的注意力架构允许在 Q/K 上直接应用 RMSNorm，避免使用 QK-Clip。

## 与 AdamW 的混合使用

| 模块 | 优化器 |
|------|--------|
| Embedding | AdamW |
| Prediction Head | AdamW |
| mHC 静态偏置/门控 | AdamW |
| RMSNorm 权重 | AdamW |
| **其他所有模块** | **Muon** |

## 优势

- 更快收敛：通过矩阵正交化加速训练
- 更好稳定性：混合 Newton-Schulz 迭代确保数值精度
- 无缝集成：RMS 重缩放允许复用 AdamW 超参数

## 相关概念

- [[manifold-constrained-hyper-connections]] — mHC（共同提升训练稳定性）

---

*Last Updated: 2026-04-27*