This commit is contained in:
2026-07-20 14:14:55 +08:00
parent 24b006225b
commit ebb0e425ca
88 changed files with 3995 additions and 6 deletions

View File

@@ -0,0 +1,41 @@
---
title: "数据驱动任务规约 (Data-Driven Task Specification)"
created: 2026-07-13
updated: 2026-07-13
type: concept
tags: [computer-vision, multi-task, architecture-design]
sources:
- arxiv:2607.09024
---
# 数据驱动任务规约
## 定义
GenCeption 的核心设计哲学:**任务规范从架构修改转移到数据格式设计**。在这种范式下,集成新的视觉能力不需要改变架构或训练配方——仅需调整数据的表示方式。
## 范式对比
| | 旧范式(专用模型) | 新范式GenCeption |
|---|---|---|
| 新任务意味着 | 新 encoder/decoder/loss | 新数据格式 |
| 任务切换方式 | 加载不同模型 | 切换文本 prompt |
| 架构 | 任务特定 | 统一(统一 backbone + head + loss |
| 扩展性 | 每任务需独立工程 | 格式化为 RGB 或 token 即可 |
## LLM 类比
> 正如 LLM 将非文本数据格式化为文本字符串("translate English to French: ..."GenCeption 将视觉任务投影到连续像素空间。
这与 LLM 的 "everything is a string" 哲学同构——**"everything is a pixel map"**。
## 实现
- 稠密任务3 通道 RGB 空间(见 [[unified-task-representation|统一任务表示]]
- 稀疏任务:可学习 token + MLP见 [[learnable-tokens-sparse|可学习 token]]
- 文本 prompt 切换模态:"output: depth" / "output: normal" / "output: segmentation"
## 参考
- [[genception-video-vision-2026|GenCeption (ECCV 2026)]]
- [[unified-task-representation|统一任务表示]]
- [[rothko-raymap|Rothko Raymap]]