2.1 KiB
2.1 KiB
title, created, updated, type, tags, sources
| title | created | updated | type | tags | sources | |||||
|---|---|---|---|---|---|---|---|---|---|---|
| N-gram Embedding (in LLMs) | 2026-06-25 | 2026-06-25 | concept |
|
|
N-gram Embedding (in LLMs)
N-gram Embedding 是经典统计语言建模技术在现代 LLM 架构中的复兴——将局部 token 序列映射为稠密嵌入向量，通过 O(1) 查找替代昂贵的计算检索。
经典 N-gram 模型
N-gram 模型基于马尔可夫假设：P(w_t | w_{1:t-1}) ≈ P(w_t | w_{t-n+1:t-1})。传统实现受限于：
- 数据稀疏性（组合爆炸）
- 平滑技术的局限
- 缺乏语义泛化
在 Transformer 中的现代化
OverEncoding (Huang et al., 2025)
将 N-gram 嵌入直接平均到词表嵌入中——最简单的集成方式，但扩展潜力有限。
Engram (Cheng et al., 2026)
将 N-gram 嵌入提升为一等建模原语：
- Tokenizer Compression：NFKC 归一化 + 小写化，将语义等价 token 映射到同一规范 ID（23% 词表缩减）
- Multi-Head Hashing：K 个独立哈希函数 × N-gram 阶数，乘性 XOR 哈希避免组合爆炸
- Context-aware Gating：当前隐藏状态动态调制检索到的静态嵌入
- Depthwise Causal Convolution：扩展感受野
为什么有效
语言中存在大量局部静态规律：
- 命名实体（"Alexander the Great"）→ 多 token 但语义单一
- 公式化表达（"on the other hand"）→ 固定搭配
- 领域术语（"stochastic gradient descent"）→ 高频共现
这些模式天然适合廉价查找而非深度计算。经典 N-gram 能捕获它们的事实说明：Transformer 用多个早期层重建这些模式是对计算深度的浪费。
与现代架构的关系
- MoE：N-gram 嵌入是条件记忆的实例，与条件计算互补
- Attention：N-gram 嵌入释放了注意力容量，使其聚焦全局上下文而非局部依赖
- KV Cache：与 N-gram 嵌入的关系尚未被充分探索——局部依赖被嵌入后，注意力所需的 KV 缓存可能缩小