31 lines
1.3 KiB
Markdown
31 lines
1.3 KiB
Markdown
---
|
||
title: "MTP (Multi-Token Prediction)"
|
||
created: 2026-06-28
|
||
updated: 2026-06-28
|
||
type: concept
|
||
tags: [speculative-decoding, autoregressive-drafting, deepseek, production]
|
||
sources: [DSpark]
|
||
---
|
||
# Multi-Token Prediction (MTP)
|
||
|
||
MTP（Multi-Token Prediction）是 DeepSeek 系列模型（DeepSeek-V2, V3, V4）内置的[[autoregressive-drafting|自回归草稿（Autoregressive Drafting）]]机制，作为生产环境中的投机解码草稿器。
|
||
|
||
## 变体
|
||
|
||
- **MTP-1**：单 token 草稿模式，DSpark 论文中的生产基线。历史上被维持是因为静态多 token 草稿器（MTP-3/5）在高并发下会因过度验证开销严格降低总吞吐量
|
||
- **MTP-3/5**：多 token 草稿模式
|
||
|
||
## 在 DSpark 部署中的角色
|
||
|
||
DSpark 在 DeepSeek-V4 发布两周后取代了 MTP-1 成为生产系统。DSpark-5（最大草稿长度 $\gamma=5$）相比 MTP-1：
|
||
- V4-Flash：在匹配吞吐量下，每用户生成速度提升 60%-85%
|
||
- V4-Pro：提升 57%-78%
|
||
|
||
关键突破：DSpark 通过[[confidence-scheduled-verification|置信度调度验证（Confidence-Scheduled Verification）]]安全解锁了大草稿块的性能潜力，解决了 MTP-3/5 因固定长度验证导致的吞吐量退化问题。
|
||
|
||
## 参考
|
||
|
||
- [[DSpark]]
|
||
- [[autoregressive-drafting|自回归草稿（Autoregressive Drafting）]]
|
||
- [[Eagle3]]
|