1.5 KiB
1.5 KiB
title, created, updated, type, tags, sources
| title | created | updated | type | tags | sources | ||||
|---|---|---|---|---|---|---|---|---|---|
| Dynamic Beam Serving (DBS) | 2026-06-28 | 2026-06-28 | concept |
|
|
Dynamic Beam Serving (DBS)
Dynamic Beam Serving（DBS）是 GR4AD 提出的动态束搜索服务机制，通过自适应调整束宽度在效率与效果之间取得最优权衡。
组成
1. Dynamic Beam Width（DBW）
固定束宽度在所有解码步骤中使用相同的 B 是次优的。最终返回的候选数由最后一步的束宽决定，但总解码成本由早期步骤的束宽主导（它们控制传播到后续步骤的假设数）。
DBW 采用渐进递增的束宽调度：如将 512\text{-}512\text{-}512 替换为 $128\text{-}256\text{-}512$。早期步骤使用较小束宽减少计算，后期步骤扩展到目标候选数。最终候选质量基本不受影响，但计算量大幅降低。
2. Traffic-Aware Adaptive Beam Search（TABS）
推荐流量存在强峰谷周期。服务约束由峰值负载决定。TABS 根据瞬时流量调整总束宽规模：
B_t = B_{base} \cdot f(Q_t, C_{avail})
- 谷值期（$Q_t < Q_{threshold}$）：增大束宽，利用闲置计算资源进行更广泛的假设探索
- 峰值期：维持基准束宽，保证延迟和吞吐量在预算内
效果
GR4AD 中 DBS 使 QPS 提升 20%，同时在谷值期通过 60% 的束宽扩展提升收入，峰值期保持稳定。