Pareto Frontier in LLM Serving

在 LLM 服务系统中，Pareto 前沿描述了系统吞吐量和**每用户生成速度（交互性）**之间的最优权衡边界。

定义

在给定硬件和并发约束下，任何操作系统吞吐量（token/s/GPU）和每用户生成速度（tok/s/user）的组合落在 Pareto 前沿上意味着：提高一个指标必然降低另一个。

DSpark 通过hardware-aware-prefix-scheduler的负载自适应验证预算分配，将 DeepSeek-V4 服务的 Pareto 前沿整体外移：

系统	SLA	MTP-1 吞吐量	DSpark 吞吐量	提升
V4-Flash	80 tok/s/user	基线	+51%	—
V4-Flash	120 tok/s/user	近失效	维持可用	前沿解锁
V4-Pro	35 tok/s/user	基线	+52%	—
V4-Pro	50 tok/s/user	近失效	维持可用	前沿解锁

DSpark 并未消除投机解码的 trade-off 本身（仍有草稿端固定成本），但通过智能路由验证预算——闲置计算→长验证、高并发→短验证——最大化了给定预算下的收益，从而在相同硬件上实现此前不可达的性能层级。