---
title: "MTP (Multi-Token Prediction)"
created: 2026-06-28
updated: 2026-06-28
type: concept
tags: [speculative-decoding, autoregressive-drafting, deepseek, production]
sources: [DSpark]
---
# Multi-Token Prediction (MTP)

MTP（Multi-Token Prediction）是 DeepSeek 系列模型（DeepSeek-V2, V3, V4）内置的[[autoregressive-drafting|自回归草稿（Autoregressive Drafting）]]机制，作为生产环境中的投机解码草稿器。

## 变体

- **MTP-1**：单 token 草稿模式，DSpark 论文中的生产基线。历史上被维持是因为静态多 token 草稿器（MTP-3/5）在高并发下会因过度验证开销严格降低总吞吐量
- **MTP-3/5**：多 token 草稿模式

## 在 DSpark 部署中的角色

DSpark 在 DeepSeek-V4 发布两周后取代了 MTP-1 成为生产系统。DSpark-5（最大草稿长度 $\gamma=5$）相比 MTP-1：
- V4-Flash：在匹配吞吐量下，每用户生成速度提升 60%-85%
- V4-Pro：提升 57%-78%

关键突破：DSpark 通过[[confidence-scheduled-verification|置信度调度验证（Confidence-Scheduled Verification）]]安全解锁了大草稿块的性能潜力，解决了 MTP-3/5 因固定长度验证导致的吞吐量退化问题。

## 参考

- [[DSpark]]
- [[autoregressive-drafting|自回归草稿（Autoregressive Drafting）]]
- [[Eagle3]]
