1.4 KiB
1.4 KiB
title, created, updated, type, tags, sources
| title | created | updated | type | tags | sources | ||||
|---|---|---|---|---|---|---|---|---|---|
| Eagle3 | 2026-06-28 | 2026-06-28 | concept |
|
|
Eagle3
Eagle3（Li et al., 2026b）是基于 TTT（Training-Time Test）的最先进autoregressive-drafting方法。在 DSpark 的评估中作为自回归基线。
架构特点
- 自回归生成：逐 token 顺序预测，每个位置条件化于先前采样的 token
- TTT horizon = 7（与 DFlash/DSpark 的块大小对齐）
- 浅层网络（仅 1 层），受限于
O(\gamma)的草稿延迟约束
性能特征
DSpark 论文的逐位置分析揭示了 Eagle3 的独特模式：
- 位置 1 较低：由于浅层网络容量受限（如 Chat 场景 ~0.53 vs 并行 DFlash ~0.72）
- 后续位置维持或上升：得益于显式条件化——一旦早期 token 锁定语义路径，后续 token 更可预测
这种模式解释了为何 Eagle3 在某些场景下总接受长度低于并行草稿器，尽管其逐 token 建模能力更强：前缀接受机制下，第一个 token 的低接受率对整个块的影响被放大。