20260514:增加新内容

reviews/elf-embedded-language-flows-review-20260513.md

@@ -0,0 +1,102 @@
+---
+title: "Review: ELF — Embedded Language Flows"
+created: 2026-05-13
+updated: 2026-05-13
+type: review
+paper: elf-embedded-language-flows
+---
+
+# Review: ELF — Embedded Language Flows
+
+📌 **基本信息**
+- **论文标题**: ELF: Embedded Language Flows
+- **作者**: Keya Hu*, Linlu Qiu*, Yiyang Lu, Hanhong Zhao, Tianhong Li, Yoon Kim, Jacob Andreas, Kaiming He (MIT; *equal contribution)
+- **arXiv**: 2605.10938 | **日期**: 2026-05-11
+- **领域**: Diffusion Language Models, Flow Matching, Language Generation
+- **代码**: https://github.com/lillian039/ELF
+- **Wiki 集成时间**: 2026-05-13
+
+---
+
+## 🎯 核心概念
+
+1. **Embedded Language Flows** — 在连续嵌入空间中运行 Flow Matching 的语言扩散模型，全程保持连续表示，仅在最后一步通过共享权重网络离散化
+
+2. **Flow Matching** — 连续时间生成框架，通过学习速度场将噪声沿直线轨迹（Rectified Flows）变换为数据，自然兼容 x-prediction 参数化
+
+3. **Shared-Weight Discretization** — 同一网络通过二进制 mode token 切换去噪（MSE）和解码（CE），消除对单独 decoder 的需求
+
+4. **x-Prediction Parameterization** — 网络直接预测干净嵌入 x̂ 而非速度 v̂，使去噪和解码两种训练目标在语义上统一
+
+5. **Classifier-Free Guidance for Language** — 将图像域成熟的 CFG 技术首次有效应用于语言扩散，配合 Self-Conditioning 构建条件信号
+
+6. **Self-Conditioning** — 用模型自身的中间预测作为下一步条件输入，为无条件生成提供 CFG 所需的条件信号
+
+7. **Rectified Flows** — 直线插值路径 z_t = t·x + (1-t)·ε，提供恒定速度场和高效的 ODE 求解
+
+8. **SDE Sampler** — 在每步注入小噪声的随机采样策略，小模型上显著优于纯 ODE
+
+9. **Generative Perplexity** — 用预训练 GPT-2 Large 评估生成样本的核心质量指标
+
+---
+
+## 🔗 概念网络
+
+### 核心连接
+```
+Embedded Language Flows
+    ├── Flow Matching (生成框架)
+    │   ├── Rectified Flows (插值路径)
+    │   └── x-Prediction Parameterization
+    ├── Shared-Weight Discretization
+    │   └── Continuous → Discrete (仅在 t=1)
+    ├── Self-Conditioning
+    │   └── Classifier-Free Guidance for Language
+    └── SDE Sampler (推理策略)
+```
+
+### 扩展连接
+- **连续 vs 离散对比轴**: Continuous DLM ↔ Discrete DLM
+- **评估体系**: Generative Perplexity 连接所有 DLM 工作
+- **图像域迁移**: CFG、训练时 CFG、蒸馏 → 语言扩散
+
+### 修复断链
+- 创建 9 个核心概念页 + 2 个占位概念页，100% 链接完整性
+
+---
+
+## 📚 Wiki 集成
+
+| 维度 | 详情 |
+|------|------|
+| 新增页面 | **13 个**（1 raw + 1 paper + 11 concepts） |
+| 概念网络核心节点 | 9 个，围绕 ELF-共享权重-CFG 三角 |
+| 链接密度 | 核心概念平均 4.5 个双向链接 |
+| 断链率 | **0%**（全部 wikilink 已解析） |
+| 总规模 | 265 → **278** 页 |
+
+---
+
+## 💡 关键洞察
+
+### 1. 「性能差距」源于设计，而非语言本质
+
+连续 DLM 长期被认为不如离散 DLM，但 ELF 用极简设计证明：只需**消除中间 CE 监督 + 消除单独 decoder + 正确的参数化选择**，连续方法即可全面超越。105M ELF 超越 170M 离散/连续基线，训练 token 仅 10%。这是对扩散语言模型方向的**根本性纠偏**。
+
+### 2. 图像域的成熟技术正在涌入语言扩散
+
+ELF 最大的方法论贡献可能不是新算法，而是**架构的桥梁效应**：通过保持在连续空间操作，CFG、训练时 CFG、蒸馏、高效采样——这些图像域积累多年的技术——可以几乎零摩擦地迁移到语言扩散。这意味着未来连续 DLM 的发展速度可能远超离散方法，因为它可以直接"搭便车"于图像扩散的整个生态。
+
+### 3. 从"离散化是核心问题"到"离散化是最小化处理"
+
+历史上的连续 DLM（Diffusion-LM 等）将离散化视为贯穿全程的问题（每步 CE loss、rounding、simplex 约束）。ELF 反其道而行：**离散化仅在最后一步发生**，其他时间完全在连续空间自由流动。这种「最小化离散化」哲学可能是连续 DLM 未来设计的核心原则。
+
+---
+
+## 📊 与已有 Wiki 知识的连接
+
+ELF 与 wiki 中已集成的以下主题形成概念交叉：
+
+- **GRPO / MathForge 系列**（强化学习训练优化）→ ELF 使用 Muon optimizer，关注训练效率
+- **Hyperagents / 自修改代理** → Self-Conditioning 的迭代预测在某些层面类似元认知循环
+- **DeepSeek-V3 / MLA** → 连续嵌入压缩与瓶颈设计（ELF 使用 512→128→512 bottleneck）