---
title: "统一任务表示 (Unified Task Representation)"
created: 2026-07-13
updated: 2026-07-13
type: concept
tags: [computer-vision, multi-task, architecture]
sources:
  - arxiv:2607.09024
---

# 统一任务表示

## 定义

GenCeption 的**统一任务表示**策略将所有视觉感知任务的输出映射到共享的表示空间，使得单一架构和权重可以处理多种异构任务——仅通过文本 prompt 切换任务模态，无需架构修改。

## 两大策略

### 稠密任务：统一到 3 通道 RGB 空间 [0,1]

| 任务 | 映射方式 |
|------|----------|
| 深度估计 | 单通道复制到 RGB 三通道 |
| 表面法向 | 三个方向分量 = RGB 三通道 |
| 前景分割 | 单通道复制 |
| DensePose | 语义 UV 坐标 → RGB |
| 相机姿态 | [[rothko-raymap|Rothko Raymap]] — 6→3 通道 |

### 稀疏任务：可学习 Token + MLP

2D/3D 关键点等结构化输出不适用于 RGB 映射。解决方案：
- 附加 T 个可学习 token 到视频 latent（每个视频帧一个）
- 经过 DiT 处理后，MLP 将每个 token 解码为 K 维目标
- 使用 3D RoPE + 位置插值维持与预训练的时间边界兼容

## 设计哲学

> 类似于将非文本数据格式化为文本字符串以供 LLM 处理，我们主张将视觉任务直接投影到连续像素空间——这是预训练视觉先验的最佳利用域。

## 关键含义

**任务规范从架构修改转移到数据格式设计**：
- 旧范式：新任务 → 新 head / 新 decoder / 新 loss
- GenCeption：新任务 → 设计数据表示格式（如何将输出映射到 RGB 或 token），架构和损失函数保持不变

这使得模型可以**随视觉任务谱系的不断扩展而规模化**。

## 参考
- [[genception-video-vision-2026|GenCeption (ECCV 2026)]]
- [[rothko-raymap|Rothko Raymap]]
- [[data-driven-task-specification|数据驱动任务规约]]