20260720

concepts/diffusion-as-feature-extractor.md

@@ -0,0 +1,43 @@
+---
+title: "扩散特征提取 (Diffusion as Feature Extractor)"
+created: 2026-07-13
+updated: 2026-07-13
+type: concept
+tags: [diffusion, representation-learning, computer-vision]
+sources:
+  - arxiv:2607.09024
+---
+
+# 扩散特征提取
+
+## 定义
+
+将预训练扩散模型（特别是 DiT）重新定义为**视觉特征提取器**而非生成器。这是 GenCeption 和一系列相关工作共用的核心思想。
+
+## 原理
+
+扩散模型在去噪过程中学会了对视觉世界的丰富内部表示（geometry、texture、physics、object relations）。这些表示可以被提取并用于感知任务，而非仅用于图像/视频生成。
+
+GenCeption 将其形式化为 [[feed-forward-diffusion|前馈扩散]]——t=0、velocity 取反、单步 forward。
+
+## 相关工作谱系
+
+| 工作 | 模型 | 任务 | 关键贡献 |
+|------|------|------|----------|
+| Marigold | Stable Diffusion | 单目深度 | 首个证明图像扩散→深度估计可行 |
+| GenPercept | 图像扩散 | 稠密感知 | 系统性研究特征注入/解码/训练目标 |
+| Diception | 图像扩散 | 多任务感知 | 文本引导的任务切换 |
+| BufferAnytime | 图像扩散+时序层 | 视频深度/法向 | 时序一致性 |
+| DepthCrafter | 视频扩散 | 深度 | CLIP/DINO 对齐 |
+| **GenCeption** | **视频扩散** | **通用视频感知** | **统一架构+前馈改造** |
+
+## 核心设计问题
+
+1. **用哪些层**：GenCeption 仅用最后一层（与 VAE decoder 原生对齐）
+2. **时间步选择**：t=0 对应生成终点，噪声最小，信息最丰富
+3. **输出格式**：velocity 取反后与 VAE decoder 兼容
+
+## 参考
+- [[genception-video-vision-2026|GenCeption (ECCV 2026)]]
+- [[feed-forward-diffusion|前馈扩散]]
+- [[video-generation-pretraining|视频生成预训练]]