20260706:新增一些文章

concepts/Eagle3.md

@@ -0,0 +1,31 @@
+---
+title: "Eagle3"
+created: 2026-06-28
+updated: 2026-06-28
+type: concept
+tags: [speculative-decoding, autoregressive-drafting, baseline-method]
+sources: [DSpark]
+---
+# Eagle3
+
+Eagle3（Li et al., 2026b）是基于 TTT（Training-Time Test）的最先进[[autoregressive-drafting|自回归草稿（Autoregressive Drafting）]]方法。在 [[DSpark]] 的评估中作为自回归基线。
+
+## 架构特点
+
+- 自回归生成：逐 token 顺序预测，每个位置条件化于先前采样的 token
+- TTT horizon = 7（与 DFlash/DSpark 的块大小对齐）
+- 浅层网络（仅 1 层），受限于 $O(\gamma)$ 的草稿延迟约束
+
+## 性能特征
+
+DSpark 论文的逐位置分析揭示了 Eagle3 的独特模式：
+- **位置 1 较低**：由于浅层网络容量受限（如 Chat 场景 ~0.53 vs 并行 DFlash ~0.72）
+- **后续位置维持或上升**：得益于显式条件化——一旦早期 token 锁定语义路径，后续 token 更可预测
+
+这种模式解释了为何 Eagle3 在某些场景下总接受长度低于并行草稿器，尽管其逐 token 建模能力更强：前缀接受机制下，第一个 token 的低接受率对整个块的影响被放大。
+
+## 参考
+
+- [[DSpark]]
+- [[autoregressive-drafting|自回归草稿（Autoregressive Drafting）]]
+- [[position-wise-conditional-acceptance|位置条件接受率（Position-wise Conditional Acceptance）]]