44 lines
1.8 KiB
Markdown
44 lines
1.8 KiB
Markdown
---
|
||
title: "扩散特征提取 (Diffusion as Feature Extractor)"
|
||
created: 2026-07-13
|
||
updated: 2026-07-13
|
||
type: concept
|
||
tags: [diffusion, representation-learning, computer-vision]
|
||
sources:
|
||
- arxiv:2607.09024
|
||
---
|
||
|
||
# 扩散特征提取
|
||
|
||
## 定义
|
||
|
||
将预训练扩散模型（特别是 DiT）重新定义为**视觉特征提取器**而非生成器。这是 GenCeption 和一系列相关工作共用的核心思想。
|
||
|
||
## 原理
|
||
|
||
扩散模型在去噪过程中学会了对视觉世界的丰富内部表示（geometry、texture、physics、object relations）。这些表示可以被提取并用于感知任务，而非仅用于图像/视频生成。
|
||
|
||
GenCeption 将其形式化为 [[feed-forward-diffusion|前馈扩散]]——t=0、velocity 取反、单步 forward。
|
||
|
||
## 相关工作谱系
|
||
|
||
| 工作 | 模型 | 任务 | 关键贡献 |
|
||
|------|------|------|----------|
|
||
| Marigold | Stable Diffusion | 单目深度 | 首个证明图像扩散→深度估计可行 |
|
||
| GenPercept | 图像扩散 | 稠密感知 | 系统性研究特征注入/解码/训练目标 |
|
||
| Diception | 图像扩散 | 多任务感知 | 文本引导的任务切换 |
|
||
| BufferAnytime | 图像扩散+时序层 | 视频深度/法向 | 时序一致性 |
|
||
| DepthCrafter | 视频扩散 | 深度 | CLIP/DINO 对齐 |
|
||
| **GenCeption** | **视频扩散** | **通用视频感知** | **统一架构+前馈改造** |
|
||
|
||
## 核心设计问题
|
||
|
||
1. **用哪些层**：GenCeption 仅用最后一层（与 VAE decoder 原生对齐）
|
||
2. **时间步选择**：t=0 对应生成终点，噪声最小，信息最丰富
|
||
3. **输出格式**：velocity 取反后与 VAE decoder 兼容
|
||
|
||
## 参考
|
||
- [[genception-video-vision-2026|GenCeption (ECCV 2026)]]
|
||
- [[feed-forward-diffusion|前馈扩散]]
|
||
- [[video-generation-pretraining|视频生成预训练]]
|