1.9 KiB
1.9 KiB
title, created, updated, type, tags, sources
| title | created | updated | type | tags | sources | ||||
|---|---|---|---|---|---|---|---|---|---|
| 前馈扩散 (Feed-Forward Diffusion) | 2026-07-13 | 2026-07-13 | concept |
|
|
前馈扩散
定义
前馈扩散是 GenCeption 将多步迭代扩散模型改造为单步前馈感知模型的核心技术。它保留了预训练扩散骨干的丰富特征，同时消除推理时的迭代采样开销。
改造步骤
给定预训练的 Rectified Flow DiT（预测 velocity v = ε - x₀）：
- 输入替换：将噪声 latent x_t 替换为干净视频 latent x₀
- 时间步固定：条件时间步 t = 0（对应生成过程的终点）
- 输出取反：将 DiT 的 velocity 输出取反：-v = x₀ - ε → 更接近目标视频 latent
- 单步前向：仅执行一次 forward pass，无去噪循环
- 末层特征：直接从最后一层提取特征（不用中间层）
直觉理解
将 DiT 重新定义为强大的特征提取器而非生成器：
- 条件在 t=0 上：信号 DiT "输入已经是干净的，直接提取特征"
- velocity 取反：因为 Rectified Flow 训练目标 v = ε - x₀，取反后得到 x₀ - ε，与干净 latent 更接近
- 最后一层：确保特征与后续 VAE decoder 原生对齐
与迭代扩散的对比
| 迭代扩散（生成） | 前馈扩散（感知） | |
|---|---|---|
| 输入 | 噪声 latent x_T | 干净 latent x₀ |
| 步数 | 多步（50-1000） | 单步 |
| 时间步 | t 递减 | t=0 固定 |
| 目标 | 多样性 | 准确性 |
| 速度 | 慢 | 快 |
设计原则
最大化与原始预训练机制的一致性——最小化架构修改，以完整保留预训练表示。这确保了丰富的时空先验在微调过程中不会退化。