---
title: "Flow Matching"
created: 2026-05-13
updated: 2026-05-13
type: concept
tags: [generative-modeling, diffusion, continuous-time, ODE]
sources:
  - https://arxiv.org/abs/2210.02747
---

# Flow Matching

Flow Matching 是一种连续时间生成建模框架，通过学习速度场（velocity field）来定义从噪声到数据的连续变换路径。

## 核心公式

给定数据分布 p_data(x) 和噪声分布 p_noise(ε)（通常 ε ~ N(0,I)），定义**线性插值路径**（[[rectified-flows]]）：

```
z_t = t·x + (1-t)·ε,  t ∈ [0,1]
```

速度场定义为 z_t 对时间的导数：

```
v = dz/dt = x - ε
```

训练目标是最小化预测速度与真实速度的 MSE：

```
L_MSE = E_{t,x,ε} ||v_θ(z_t, t) - v||²
```

## x-prediction vs v-prediction

由于 v = (x - z_t)/(1-t)，网络可以直接预测 x（[[x-prediction-parameterization]]）而非 v：

```
x_θ = net_θ(z_t, t)
v_θ = (x_θ - z_t) / (1-t)
```

x-prediction 在 [[embedded-language-flows|ELF]] 中至关重要：它与解码任务（预测干净离散 token）的语义一致，使得共享权重设计可行。

## 推理

通过求解 ODE `dz_t/dt = v_θ(z_t, t)` 从 z_0 ~ N(0,I) 逐步推进到 z_1 ≈ x。可使用欧拉求解器或更高级的数值方法。

## 与其他框架的关系

- **DDPM**：离散时间步，高斯前向过程 + 去噪后向过程
- **Score-based models**：通过 score function ∇log p_t(z) 参数化；Flow Matching 可统一在此框架下
- **Rectified Flows**：Flow Matching 的特例，使用直线插值路径

## 在语言建模中的应用

[[embedded-language-flows|ELF]] 将 Flow Matching 应用于语言生成：离散 token → T5 编码 → 连续嵌入空间 → Flow Matching 去噪 → 最后一步解码回 token。

## 参考

- Lipman et al., "Flow Matching for Generative Modeling", ICLR 2023
- Albergo & Vanden-Eijnden, "Stochastic Interpolants", JMLR 2025