52 lines
1.9 KiB
Markdown
52 lines
1.9 KiB
Markdown
---
|
||
title: "前馈扩散 (Feed-Forward Diffusion)"
|
||
created: 2026-07-13
|
||
updated: 2026-07-13
|
||
type: concept
|
||
tags: [diffusion, perception, computer-vision]
|
||
sources:
|
||
- arxiv:2607.09024
|
||
---
|
||
|
||
# 前馈扩散
|
||
|
||
## 定义
|
||
|
||
**前馈扩散**是 GenCeption 将多步迭代扩散模型改造为单步前馈感知模型的核心技术。它保留了预训练扩散骨干的丰富特征，同时消除推理时的迭代采样开销。
|
||
|
||
## 改造步骤
|
||
|
||
给定预训练的 Rectified Flow DiT（预测 velocity v = ε - x₀）：
|
||
|
||
1. **输入替换**：将噪声 latent x_t 替换为干净视频 latent x₀
|
||
2. **时间步固定**：条件时间步 t = 0（对应生成过程的终点）
|
||
3. **输出取反**：将 DiT 的 velocity 输出取反：-v = x₀ - ε → 更接近目标视频 latent
|
||
4. **单步前向**：仅执行一次 forward pass，无去噪循环
|
||
5. **末层特征**：直接从最后一层提取特征（不用中间层）
|
||
|
||
## 直觉理解
|
||
|
||
将 DiT 重新定义为**强大的特征提取器**而非生成器：
|
||
- 条件在 t=0 上：信号 DiT "输入已经是干净的，直接提取特征"
|
||
- velocity 取反：因为 Rectified Flow 训练目标 v = ε - x₀，取反后得到 x₀ - ε，与干净 latent 更接近
|
||
- 最后一层：确保特征与后续 VAE decoder 原生对齐
|
||
|
||
## 与迭代扩散的对比
|
||
|
||
| | 迭代扩散（生成） | 前馈扩散（感知） |
|
||
|---|---|---|
|
||
| 输入 | 噪声 latent x_T | 干净 latent x₀ |
|
||
| 步数 | 多步（50-1000） | 单步 |
|
||
| 时间步 | t 递减 | t=0 固定 |
|
||
| 目标 | 多样性 | 准确性 |
|
||
| 速度 | 慢 | 快 |
|
||
|
||
## 设计原则
|
||
|
||
**最大化与原始预训练机制的一致性**——最小化架构修改，以完整保留预训练表示。这确保了丰富的时空先验在微调过程中不会退化。
|
||
|
||
## 参考
|
||
- [[genception-video-vision-2026|GenCeption (ECCV 2026)]]
|
||
- [[video-generation-pretraining|视频生成预训练]]
|
||
- [[diffusion-as-feature-extractor|扩散特征提取]]
|