myWiki/concepts/sde-sampler-language.md

title, created, updated, type, tags, sources

title	created	updated	type	tags	sources
SDE Sampler for Language Diffusion	2026-05-13	2026-05-13	concept	sampling diffusion-language-model SDE stochastic	https://arxiv.org/abs/2605.10938

SDE Sampler for Language Diffusion

SDE 采样器是 embedded-language-flows 中除 ODE 采样外的另一种推理策略，通过在每步注入小噪声引入随机性。

原理

标准 Flow Matching 推理求解确定性 ODE：

dz_t/dt = v_θ(z_t, t)

SDE 采样器在每步添加随机扰动：

z_{t+Δt} = z_t + Δt·v_θ(z_t, t) + √(γ·Δt)·ξ,  ξ ~ N(0,I)

同时调整时间变量 t 向噪声方向偏移，模拟真正的随机微分方程行为。

效果

ELF 实验中，SDE 采样器：

• 在小模型（ELF-B）上显著优于 ODE（Gen. PPL 更低）
• 在大模型（ELF-L）上 ODE 与 SDE 差距缩小
• 引入的多样性略高于 ODE（unigram entropy 略增）

与 ODE 的权衡

维度	ODE	SDE
确定性	完全确定	随机
质量（小模型）	基准	更优
质量（大模型）	接近 SDE	优势缩小
可复现性	是	否（需 seed）

实现

ELF 的 SDE 采样器是一个启发式近似，而非精确求解完整 SDE——参考了图像生成中的类似做法（如 Ma et al., 2024 的 SDE 推导）。

相关概念

• embedded-language-flows — 使用此采样器的模型
• flow-matching — 基础生成框架
• continuous-diffusion-language-models — 连续 DLM 类别