---
title: "Mixture of Experts (MoE)"
domain: "Deep Learning / Model Architecture"
tags: [moe, architecture, sparsity, transformer]
sources: [[deepseek-v4-million-token-context]], Dai et al. (2024)
---

# Mixture of Experts (MoE)

> **类型**: Concept (Tier 2 — Foundation)
> **来源**: [[deepseek-v4-million-token-context]]

## 定义

Mixture of Experts（MoE）是一种神经网络架构范式，通过稀疏激活机制，每个 token 只路由到模型参数的一个子集（专家），从而在扩大总参数量的同时控制计算开销。

## DeepSeekMoE 设计

DeepSeek-V4 继承并扩展了 DeepSeekMoE 框架：

### 核心组件
- **细粒度路由专家**：大量小型专家，每个 token 选择 top-k 激活
- **共享专家**：所有 token 始终激活的专家，捕获通用知识
- **路由策略**：Sqrt(Softplus(·)) 替代 Sigmoid 计算亲和度分数

### DeepSeek-V4 的改进

1. **负载均衡**：辅助损失自由策略 + 轻微序列级平衡损失
2. **移除路由目标数限制**：灵活的路由拓扑
3. **Hash 路由**：前几层 Transformer 的 FFN 用 Hash 路由替代密集层
4. **FP4 量化**：路由专家权重采用 FP4 精度

### Expert Parallelism 优化

[[deepseek-v4-million-token-context|DeepSeek-V4]] 引入细粒度通信-计算重叠：
- 将专家分组为 waves，流水线化 dispatch/compute/combine
- MegaMoE2 mega-kernel：理论加速 1.92×
- 在每个 GPU 上通信延迟可被计算完全隐藏

## 效率分析

对于 V4-Pro 的 token-expert 对：
- 计算量：6hd FLOPs（SwiGLU gate + up + down projections）
- 通信量：3h bytes（FP8 dispatch + BF16 combine）
- 需求：C/B ≤ 6144 FLOPs/Byte（即每 GBps 带宽可支撑 6.1 TFLOP/s 计算）

## 相关概念

- [[fp4-quantization-training]] — FP4 量化训练
- [[subquadratic-transformer-alternatives]] — Transformer 替代架构

---

*Last Updated: 2026-04-27*