---
title: "KV Injection"
created: 2026-06-28
updated: 2026-06-28
type: concept
tags: [speculative-decoding, feature-transfer, draft-architecture]
sources: [DFlash, DSpark]
---
# KV Injection

KV 注入（KV Injection）是 [[DFlash]]（及继承其骨干的 [[DSpark]]）中使用的目标模型上下文特征注入技术。草稿模型在 prefill 阶段从目标模型的选定层提取隐藏状态，经过投影后注入草稿模型的每一层。

## 机制

**上下文特征提取**：

$$H_{ctx} = \text{RMSNorm}\left(W_c [H^{(l_1)}; ...; H^{(l_m)}]\right)$$

其中 $W_c \in \mathbb{R}^{d \times md}$ 是共享投影矩阵，$\{l_1, ..., l_m\}$ 是选定的目标模型层。

**层内注入**：在草稿模型的每一层的 key 和 value 计算中，将注入的上下文特征沿序列维度拼接到草稿块表示之前：

$$K_i = [W_i^K H_{ctx}; W_i^K H_d], \quad V_i = [W_i^V H_{ctx}; W_i^V H_d]$$

块内所有位置双向注意力到彼此及注入的目标上下文。

## 效果

KV 注入使得草稿模型能利用目标模型的**丰富上下文表示**，大幅提升预测质量。这是并行草稿器能在位置 1 上超过浅层自回归草稿器的关键——目标模型的深层语义表示直接流向草稿模型。

## 参考

- [[DFlash]]
- [[DSpark]]
- [[parallel-drafting|并行草稿（Parallel Drafting）]]