393 B
393 B
title, created, updated, type, tags, sources
| title | created | updated | type | tags | sources | |||
|---|---|---|---|---|---|---|---|---|
| SGLang | 2026-06-24 | 2026-06-24 | concept |
|
|
SGLang
SGLang 是高效的 LLM 推理引擎。Unlimited OCR 为其实现了 R-SWA 的 KV cache 管理支持和优化，使模型在 SGLang 上能以恒定 TPS 和 GPU 内存运行。