52 lines
1.9 KiB
Markdown
52 lines
1.9 KiB
Markdown
---
|
||
title: "统一任务表示 (Unified Task Representation)"
|
||
created: 2026-07-13
|
||
updated: 2026-07-13
|
||
type: concept
|
||
tags: [computer-vision, multi-task, architecture]
|
||
sources:
|
||
- arxiv:2607.09024
|
||
---
|
||
|
||
# 统一任务表示
|
||
|
||
## 定义
|
||
|
||
GenCeption 的**统一任务表示**策略将所有视觉感知任务的输出映射到共享的表示空间，使得单一架构和权重可以处理多种异构任务——仅通过文本 prompt 切换任务模态，无需架构修改。
|
||
|
||
## 两大策略
|
||
|
||
### 稠密任务：统一到 3 通道 RGB 空间 [0,1]
|
||
|
||
| 任务 | 映射方式 |
|
||
|------|----------|
|
||
| 深度估计 | 单通道复制到 RGB 三通道 |
|
||
| 表面法向 | 三个方向分量 = RGB 三通道 |
|
||
| 前景分割 | 单通道复制 |
|
||
| DensePose | 语义 UV 坐标 → RGB |
|
||
| 相机姿态 | [[rothko-raymap|Rothko Raymap]] — 6→3 通道 |
|
||
|
||
### 稀疏任务：可学习 Token + MLP
|
||
|
||
2D/3D 关键点等结构化输出不适用于 RGB 映射。解决方案：
|
||
- 附加 T 个可学习 token 到视频 latent（每个视频帧一个）
|
||
- 经过 DiT 处理后，MLP 将每个 token 解码为 K 维目标
|
||
- 使用 3D RoPE + 位置插值维持与预训练的时间边界兼容
|
||
|
||
## 设计哲学
|
||
|
||
> 类似于将非文本数据格式化为文本字符串以供 LLM 处理，我们主张将视觉任务直接投影到连续像素空间——这是预训练视觉先验的最佳利用域。
|
||
|
||
## 关键含义
|
||
|
||
**任务规范从架构修改转移到数据格式设计**：
|
||
- 旧范式：新任务 → 新 head / 新 decoder / 新 loss
|
||
- GenCeption：新任务 → 设计数据表示格式（如何将输出映射到 RGB 或 token），架构和损失函数保持不变
|
||
|
||
这使得模型可以**随视觉任务谱系的不断扩展而规模化**。
|
||
|
||
## 参考
|
||
- [[genception-video-vision-2026|GenCeption (ECCV 2026)]]
|
||
- [[rothko-raymap|Rothko Raymap]]
|
||
- [[data-driven-task-specification|数据驱动任务规约]]
|