---
title: "Continuous Diffusion Language Models"
created: 2026-05-13
updated: 2026-05-13
type: concept
tags: [diffusion-language-model, continuous-embeddings, language-generation]
sources:
  - https://arxiv.org/abs/2605.10938
---

# Continuous Diffusion Language Models

连续扩散语言模型（Continuous DLM）将离散 token 映射到连续表示空间进行去噪生成，与在 token 空间直接操作的[[discrete-diffusion-language-models|离散 DLM]] 形成对比。

## 两类连续 DLM

### 嵌入空间方法（Embedding-space）

直接在 token 嵌入上添加高斯噪声并去噪：
- **Diffusion-LM**：在嵌入空间加噪，通过 rounding 步骤恢复 token
- **CDCD**、**DiffuSeq**：类似思路，用于文本扩散和序列生成
- 共同特征：中间步骤通常通过 CE loss 施加 token 级监督

### 潜在扩散方法（Latent Diffusion）

在冻结编码器的潜在表示上操作：
- **LD4LG**：冻结编码器 → 潜在空间扩散 → 单独训练 decoder 恢复 token
- 需要额外的 decoder 模块

## ELF 的独特性

[[embedded-language-flows|ELF]] 属于嵌入空间方法，但有两个关键区别：

1. **无中间 CE 监督**：除最后一步外，全程使用 MSE loss，不施加 token 级约束
2. **无单独 decoder**：利用 Flow Matching 的最后一步自然完成离散化（[[shared-weight-discretization]]）

这种极简设计使其能**无缝迁移图像域扩散模型的成熟技术**（CFG、蒸馏、高效采样）。

## 关键争议

连续 DLM 长期被认为不如离散 DLM，但 ELF 表明这**不是语言建模固有特性，而是算法设计问题**。通过正确的设计选择（[[flow-matching]] + [[x-prediction-parameterization]] + [[shared-weight-discretization]]），连续 DLM 可以全面超越离散方法。

## 相关概念

- [[flow-matching]] — 连续时间生成框架
- [[embedded-language-flows]] — 当前最优连续 DLM
- [[discrete-diffusion-language-models]] — 离散空间的对比方法
- [[shared-weight-discretization]] — ELF 的核心离散化机制