20260706:新增一些文章
This commit is contained in:
35
concepts/pareto-frontier-llm-serving.md
Normal file
35
concepts/pareto-frontier-llm-serving.md
Normal file
@@ -0,0 +1,35 @@
|
||||
---
|
||||
title: "Pareto Frontier (LLM Serving)"
|
||||
created: 2026-06-28
|
||||
updated: 2026-06-28
|
||||
type: concept
|
||||
tags: [llm-serving, performance-engineering, trade-off-analysis]
|
||||
sources: [DSpark]
|
||||
---
|
||||
# Pareto Frontier in LLM Serving
|
||||
|
||||
在 LLM 服务系统中,Pareto 前沿描述了**系统吞吐量**和**每用户生成速度(交互性)**之间的最优权衡边界。
|
||||
|
||||
## 定义
|
||||
|
||||
在给定硬件和并发约束下,任何操作系统吞吐量(token/s/GPU)和每用户生成速度(tok/s/user)的组合落在 Pareto 前沿上意味着:提高一个指标必然降低另一个。
|
||||
|
||||
## DSpark 的贡献
|
||||
|
||||
[[DSpark]] 通过[[hardware-aware-prefix-scheduler|硬件感知前缀调度器(Hardware-Aware Prefix Scheduler)]]的负载自适应验证预算分配,将 DeepSeek-V4 服务的 Pareto 前沿**整体外移**:
|
||||
|
||||
| 系统 | SLA | MTP-1 吞吐量 | DSpark 吞吐量 | 提升 |
|
||||
|------|-----|------------|-------------|------|
|
||||
| V4-Flash | 80 tok/s/user | 基线 | +51% | — |
|
||||
| V4-Flash | 120 tok/s/user | 近失效 | 维持可用 | 前沿解锁 |
|
||||
| V4-Pro | 35 tok/s/user | 基线 | +52% | — |
|
||||
| V4-Pro | 50 tok/s/user | 近失效 | 维持可用 | 前沿解锁 |
|
||||
|
||||
## 关键洞察
|
||||
|
||||
DSpark 并未消除投机解码的 trade-off 本身(仍有草稿端固定成本),但通过**智能路由验证预算**——闲置计算→长验证、高并发→短验证——最大化了给定预算下的收益,从而在相同硬件上实现此前不可达的性能层级。
|
||||
|
||||
## 参考
|
||||
|
||||
- [[DSpark]]
|
||||
- [[hardware-aware-prefix-scheduler|硬件感知前缀调度器(Hardware-Aware Prefix Scheduler)]]
|
||||
Reference in New Issue
Block a user