20260625:很多新内容

reviews/engram-conditional-memory-20260625.md

@@ -0,0 +1,42 @@
+---
+title: "Engram Review — 条件记忆作为 Transformer 的新稀疏轴"
+created: 2026-06-25
+updated: 2026-06-25
+type: review
+tags: ["review", "conditional-memory", "sparsity", "scaling-law"]
+sources:
+  - "[[engram-conditional-memory-2026]]"
+---
+
+📌 基本信息
+- 论文：Conditional Memory via Scalable Lookup: A New Axis of Sparsity for LLMs
+- 作者：Cheng et al. (PKU / DeepSeek-AI)
+- arXiv：2601.07372 | 2026-01-12
+- 领域：cs.CL, cs.AI (模型架构 / 稀疏性)
+- 代码：github.com/deepseek-ai/Engram
+
+🎯 核心概念
+
+1. [[conditional-memory|Conditional Memory]] — 与 MoE 的条件计算互补的新稀疏轴：通过稀疏查找而非稀疏激活来扩展模型容量
+2. [[engram|Engram 模块]] — 现代化 N-gram 嵌入：词表压缩 → 多头哈希 → 上下文感知门控 → 深度可分离卷积
+3. [[sparsity-allocation|Sparsity Allocation]] — U 形缩放律：纯 MoE 和纯 Engram 都不如混合，最优 ρ≈75-80%
+4. [[ngram-embedding|N-gram Embedding]] — 经典技术的现代化复兴：局部静态模式天然适合 O(1) 查找
+5. [[memory-compute-decoupling|Memory-Compute Decoupling]] — 确定性寻址使嵌入表可卸载到主机内存，开销 <3%
+
+🔗 概念网络
+
+- 核心连接：conditional-memory ↔ engram ↔ sparsity-allocation ↔ ngram-embedding ↔ memory-compute-decoupling
+- 桥接已有概念：[[mixture-of-experts]]（MoE 的条件计算轴）、[[long-context-understanding]]（注意力容量释放效果）
+- 扩展方向：与 [[lu-kv]]（KV Cache 淘汰）的潜在交叉——如果 N-gram 嵌入接管局部依赖，KV Cache 是否可以缩小？
+
+📚 Wiki 集成
+
+- 新增页面：6 个（1 论文 + 5 概念）
+- 链接密度：核心概念平均 4 个链接
+- 总规模：从 ~1145 页 + 6 = ~1151 页
+
+💡 关键洞察
+
+1. **最大的收益不在知识，在推理** — Engram 的 MMLU +3.4 符合直觉，但 BBH +5.0 和 HumanEval +3.0 揭示了一个更深刻的事实：记忆模块的真正价值不是"存更多事实"，而是释放计算深度。早期层不再被迫重建静态查找表，剩余层有效加深。
+
+2. **U 形律说明单一稀疏轴不够** — MoE 是当前主流，但 ρ=1（纯 MoE）被实验证明是次优的。条件记忆不是 MoE 的替代，是其结构必要性补全。这为下一代稀疏模型架构指明方向：两个稀疏轴都需要一等原语地位。