42 lines
1.5 KiB
Markdown
42 lines
1.5 KiB
Markdown
---
|
||
title: "数据驱动任务规约 (Data-Driven Task Specification)"
|
||
created: 2026-07-13
|
||
updated: 2026-07-13
|
||
type: concept
|
||
tags: [computer-vision, multi-task, architecture-design]
|
||
sources:
|
||
- arxiv:2607.09024
|
||
---
|
||
|
||
# 数据驱动任务规约
|
||
|
||
## 定义
|
||
|
||
GenCeption 的核心设计哲学：**任务规范从架构修改转移到数据格式设计**。在这种范式下，集成新的视觉能力不需要改变架构或训练配方——仅需调整数据的表示方式。
|
||
|
||
## 范式对比
|
||
|
||
| | 旧范式（专用模型） | 新范式（GenCeption） |
|
||
|---|---|---|
|
||
| 新任务意味着 | 新 encoder/decoder/loss | 新数据格式 |
|
||
| 任务切换方式 | 加载不同模型 | 切换文本 prompt |
|
||
| 架构 | 任务特定 | 统一（统一 backbone + head + loss） |
|
||
| 扩展性 | 每任务需独立工程 | 格式化为 RGB 或 token 即可 |
|
||
|
||
## LLM 类比
|
||
|
||
> 正如 LLM 将非文本数据格式化为文本字符串（"translate English to French: ..."），GenCeption 将视觉任务投影到连续像素空间。
|
||
|
||
这与 LLM 的 "everything is a string" 哲学同构——**"everything is a pixel map"**。
|
||
|
||
## 实现
|
||
|
||
- 稠密任务：3 通道 RGB 空间（见 [[unified-task-representation|统一任务表示]]）
|
||
- 稀疏任务：可学习 token + MLP（见 [[learnable-tokens-sparse|可学习 token]]）
|
||
- 文本 prompt 切换模态："output: depth" / "output: normal" / "output: segmentation"
|
||
|
||
## 参考
|
||
- [[genception-video-vision-2026|GenCeption (ECCV 2026)]]
|
||
- [[unified-task-representation|统一任务表示]]
|
||
- [[rothko-raymap|Rothko Raymap]]
|