20260720
This commit is contained in:
32
concepts/rothko-raymap.md
Normal file
32
concepts/rothko-raymap.md
Normal file
@@ -0,0 +1,32 @@
|
||||
---
|
||||
title: "Rothko Raymap"
|
||||
created: 2026-07-13
|
||||
updated: 2026-07-13
|
||||
type: concept
|
||||
tags: [computer-vision, camera-pose, representation]
|
||||
sources:
|
||||
- arxiv:2607.09024
|
||||
---
|
||||
|
||||
# Rothko Raymap
|
||||
|
||||
## 定义
|
||||
|
||||
GenCeption 中用于将 **6 通道相机光线数据(3 旋转 + 3 平移)压缩为单张 3 通道 RGB 图像**的空间布局方案。名称来源于其类似 Rothko 绘画的色块排列。
|
||||
|
||||
## 设计
|
||||
|
||||
相机姿态传统上表示为 4×4 矩阵(旋转+平移)。在 GenCeption 的统一 RGB 表示框架下,需要将 6 通道压缩到 3 通道:
|
||||
|
||||
- **中央区域**:光线原点(ray origins, 3 通道)
|
||||
- **外围区域**:光线方向(ray directions, 3 通道)
|
||||
|
||||
通过在空间上分区,6 通道信息被"折叠"进一张标准 RGB 图像,可直接由 DiT + VAE decoder 处理。
|
||||
|
||||
## 设计哲学
|
||||
|
||||
这是 GenCeption 的 [[data-driven-task-specification|数据驱动任务规约]] 哲学的典型体现:不添加专门的相机姿态 head/decoder/loss,而是**设计一种数据格式将相机信息映射到模型原生的 RGB 像素空间**。
|
||||
|
||||
## 参考
|
||||
- [[genception-video-vision-2026|GenCeption (ECCV 2026)]]
|
||||
- [[unified-task-representation|统一任务表示]]
|
||||
Reference in New Issue
Block a user