Files
myWiki/concepts/rothko-raymap.md
2026-07-20 14:14:55 +08:00

1.2 KiB
Raw Blame History

title, created, updated, type, tags, sources
title created updated type tags sources
Rothko Raymap 2026-07-13 2026-07-13 concept
computer-vision
camera-pose
representation
arxiv:2607.09024

Rothko Raymap

定义

GenCeption 中用于将 6 通道相机光线数据3 旋转 + 3 平移)压缩为单张 3 通道 RGB 图像的空间布局方案。名称来源于其类似 Rothko 绘画的色块排列。

设计

相机姿态传统上表示为 4×4 矩阵(旋转+平移)。在 GenCeption 的统一 RGB 表示框架下,需要将 6 通道压缩到 3 通道:

  • 中央区域光线原点ray origins, 3 通道)
  • 外围区域光线方向ray directions, 3 通道)

通过在空间上分区6 通道信息被"折叠"进一张标准 RGB 图像,可直接由 DiT + VAE decoder 处理。

设计哲学

这是 GenCeption 的 data-driven-task-specification 哲学的典型体现:不添加专门的相机姿态 head/decoder/loss而是设计一种数据格式将相机信息映射到模型原生的 RGB 像素空间

参考