20260514:增加新内容

concepts/sde-sampler-language.md

@@ -0,0 +1,55 @@
+---
+title: "SDE Sampler for Language Diffusion"
+created: 2026-05-13
+updated: 2026-05-13
+type: concept
+tags: [sampling, diffusion-language-model, SDE, stochastic]
+sources:
+  - https://arxiv.org/abs/2605.10938
+---
+
+# SDE Sampler for Language Diffusion
+
+SDE 采样器是 [[embedded-language-flows|ELF]] 中除 ODE 采样外的另一种推理策略，通过在每步注入小噪声引入随机性。
+
+## 原理
+
+标准 Flow Matching 推理求解确定性 ODE：
+
+```
+dz_t/dt = v_θ(z_t, t)
+```
+
+SDE 采样器在每步添加随机扰动：
+
+```
+z_{t+Δt} = z_t + Δt·v_θ(z_t, t) + √(γ·Δt)·ξ,  ξ ~ N(0,I)
+```
+
+同时调整时间变量 t 向噪声方向偏移，模拟真正的随机微分方程行为。
+
+## 效果
+
+ELF 实验中，SDE 采样器：
+- 在小模型（ELF-B）上显著优于 ODE（Gen. PPL 更低）
+- 在大模型（ELF-L）上 ODE 与 SDE 差距缩小
+- 引入的多样性略高于 ODE（unigram entropy 略增）
+
+## 与 ODE 的权衡
+
+| 维度 | ODE | SDE |
+|------|-----|-----|
+| 确定性 | 完全确定 | 随机 |
+| 质量（小模型） | 基准 | 更优 |
+| 质量（大模型） | 接近 SDE | 优势缩小 |
+| 可复现性 | 是 | 否（需 seed） |
+
+## 实现
+
+ELF 的 SDE 采样器是一个启发式近似，而非精确求解完整 SDE——参考了图像生成中的类似做法（如 Ma et al., 2024 的 SDE 推导）。
+
+## 相关概念
+
+- [[embedded-language-flows]] — 使用此采样器的模型
+- [[flow-matching]] — 基础生成框架
+- [[continuous-diffusion-language-models]] — 连续 DLM 类别