20260706:新增一些文章

This commit is contained in:
2026-07-06 10:14:02 +08:00
parent 6021dea160
commit 24b006225b
194 changed files with 8512 additions and 91 deletions

View File

@@ -0,0 +1,35 @@
---
title: "Pareto Frontier (LLM Serving)"
created: 2026-06-28
updated: 2026-06-28
type: concept
tags: [llm-serving, performance-engineering, trade-off-analysis]
sources: [DSpark]
---
# Pareto Frontier in LLM Serving
在 LLM 服务系统中Pareto 前沿描述了**系统吞吐量**和**每用户生成速度(交互性)**之间的最优权衡边界。
## 定义
在给定硬件和并发约束下任何操作系统吞吐量token/s/GPU和每用户生成速度tok/s/user的组合落在 Pareto 前沿上意味着:提高一个指标必然降低另一个。
## DSpark 的贡献
[[DSpark]] 通过[[hardware-aware-prefix-scheduler|硬件感知前缀调度器Hardware-Aware Prefix Scheduler]]的负载自适应验证预算分配,将 DeepSeek-V4 服务的 Pareto 前沿**整体外移**
| 系统 | SLA | MTP-1 吞吐量 | DSpark 吞吐量 | 提升 |
|------|-----|------------|-------------|------|
| V4-Flash | 80 tok/s/user | 基线 | +51% | — |
| V4-Flash | 120 tok/s/user | 近失效 | 维持可用 | 前沿解锁 |
| V4-Pro | 35 tok/s/user | 基线 | +52% | — |
| V4-Pro | 50 tok/s/user | 近失效 | 维持可用 | 前沿解锁 |
## 关键洞察
DSpark 并未消除投机解码的 trade-off 本身(仍有草稿端固定成本),但通过**智能路由验证预算**——闲置计算→长验证、高并发→短验证——最大化了给定预算下的收益,从而在相同硬件上实现此前不可达的性能层级。
## 参考
- [[DSpark]]
- [[hardware-aware-prefix-scheduler|硬件感知前缀调度器Hardware-Aware Prefix Scheduler]]