---
title: "Pareto Frontier (LLM Serving)"
created: 2026-06-28
updated: 2026-06-28
type: concept
tags: [llm-serving, performance-engineering, trade-off-analysis]
sources: [DSpark]
---
# Pareto Frontier in LLM Serving

在 LLM 服务系统中，Pareto 前沿描述了**系统吞吐量**和**每用户生成速度（交互性）**之间的最优权衡边界。

## 定义

在给定硬件和并发约束下，任何操作系统吞吐量（token/s/GPU）和每用户生成速度（tok/s/user）的组合落在 Pareto 前沿上意味着：提高一个指标必然降低另一个。

## DSpark 的贡献

[[DSpark]] 通过[[hardware-aware-prefix-scheduler|硬件感知前缀调度器（Hardware-Aware Prefix Scheduler）]]的负载自适应验证预算分配，将 DeepSeek-V4 服务的 Pareto 前沿**整体外移**：

| 系统 | SLA | MTP-1 吞吐量 | DSpark 吞吐量 | 提升 |
|------|-----|------------|-------------|------|
| V4-Flash | 80 tok/s/user | 基线 | +51% | — |
| V4-Flash | 120 tok/s/user | 近失效 | 维持可用 | 前沿解锁 |
| V4-Pro | 35 tok/s/user | 基线 | +52% | — |
| V4-Pro | 50 tok/s/user | 近失效 | 维持可用 | 前沿解锁 |

## 关键洞察

DSpark 并未消除投机解码的 trade-off 本身（仍有草稿端固定成本），但通过**智能路由验证预算**——闲置计算→长验证、高并发→短验证——最大化了给定预算下的收益，从而在相同硬件上实现此前不可达的性能层级。

## 参考

- [[DSpark]]
- [[hardware-aware-prefix-scheduler|硬件感知前缀调度器（Hardware-Aware Prefix Scheduler）]]