36 lines
1.6 KiB
Markdown
36 lines
1.6 KiB
Markdown
---
|
||
title: "Pareto Frontier (LLM Serving)"
|
||
created: 2026-06-28
|
||
updated: 2026-06-28
|
||
type: concept
|
||
tags: [llm-serving, performance-engineering, trade-off-analysis]
|
||
sources: [DSpark]
|
||
---
|
||
# Pareto Frontier in LLM Serving
|
||
|
||
在 LLM 服务系统中，Pareto 前沿描述了**系统吞吐量**和**每用户生成速度（交互性）**之间的最优权衡边界。
|
||
|
||
## 定义
|
||
|
||
在给定硬件和并发约束下，任何操作系统吞吐量（token/s/GPU）和每用户生成速度（tok/s/user）的组合落在 Pareto 前沿上意味着：提高一个指标必然降低另一个。
|
||
|
||
## DSpark 的贡献
|
||
|
||
[[DSpark]] 通过[[hardware-aware-prefix-scheduler|硬件感知前缀调度器（Hardware-Aware Prefix Scheduler）]]的负载自适应验证预算分配，将 DeepSeek-V4 服务的 Pareto 前沿**整体外移**：
|
||
|
||
| 系统 | SLA | MTP-1 吞吐量 | DSpark 吞吐量 | 提升 |
|
||
|------|-----|------------|-------------|------|
|
||
| V4-Flash | 80 tok/s/user | 基线 | +51% | — |
|
||
| V4-Flash | 120 tok/s/user | 近失效 | 维持可用 | 前沿解锁 |
|
||
| V4-Pro | 35 tok/s/user | 基线 | +52% | — |
|
||
| V4-Pro | 50 tok/s/user | 近失效 | 维持可用 | 前沿解锁 |
|
||
|
||
## 关键洞察
|
||
|
||
DSpark 并未消除投机解码的 trade-off 本身（仍有草稿端固定成本），但通过**智能路由验证预算**——闲置计算→长验证、高并发→短验证——最大化了给定预算下的收益，从而在相同硬件上实现此前不可达的性能层级。
|
||
|
||
## 参考
|
||
|
||
- [[DSpark]]
|
||
- [[hardware-aware-prefix-scheduler|硬件感知前缀调度器（Hardware-Aware Prefix Scheduler）]]
|