32 lines
1.4 KiB
Markdown
32 lines
1.4 KiB
Markdown
---
|
||
title: "Eagle3"
|
||
created: 2026-06-28
|
||
updated: 2026-06-28
|
||
type: concept
|
||
tags: [speculative-decoding, autoregressive-drafting, baseline-method]
|
||
sources: [DSpark]
|
||
---
|
||
# Eagle3
|
||
|
||
Eagle3（Li et al., 2026b）是基于 TTT（Training-Time Test）的最先进[[autoregressive-drafting|自回归草稿（Autoregressive Drafting）]]方法。在 [[DSpark]] 的评估中作为自回归基线。
|
||
|
||
## 架构特点
|
||
|
||
- 自回归生成：逐 token 顺序预测，每个位置条件化于先前采样的 token
|
||
- TTT horizon = 7（与 DFlash/DSpark 的块大小对齐）
|
||
- 浅层网络（仅 1 层），受限于 $O(\gamma)$ 的草稿延迟约束
|
||
|
||
## 性能特征
|
||
|
||
DSpark 论文的逐位置分析揭示了 Eagle3 的独特模式：
|
||
- **位置 1 较低**：由于浅层网络容量受限（如 Chat 场景 ~0.53 vs 并行 DFlash ~0.72）
|
||
- **后续位置维持或上升**：得益于显式条件化——一旦早期 token 锁定语义路径，后续 token 更可预测
|
||
|
||
这种模式解释了为何 Eagle3 在某些场景下总接受长度低于并行草稿器，尽管其逐 token 建模能力更强：前缀接受机制下，第一个 token 的低接受率对整个块的影响被放大。
|
||
|
||
## 参考
|
||
|
||
- [[DSpark]]
|
||
- [[autoregressive-drafting|自回归草稿（Autoregressive Drafting）]]
|
||
- [[position-wise-conditional-acceptance|位置条件接受率（Position-wise Conditional Acceptance）]]
|