20260720

concepts/learnable-tokens-sparse.md

@@ -0,0 +1,24 @@
+---
+title: "可学习Token稀疏预测 (Learnable Tokens for Sparse Prediction)"
+created: 2026-07-13
+updated: 2026-07-13
+type: concept
+tags: [computer-vision, sparse-prediction, tokens]
+sources:
+  - arxiv:2607.09024
+---
+
+# 可学习 Token 稀疏预测
+
+## 定义
+
+GenCeption 中处理稀疏视觉任务（2D/3D 关键点预测）的轻量级扩展机制。通过在视频 latent 上附加可学习 token，保持与预训练 DiT 的兼容性，同时支持结构化坐标输出。
+
+## 设计
+
+- 附加 T 个可学习 token（每帧一个）
+- 使用 DiT 的 3D RoPE，空间位置可学习，时间位置通过位置插值降采样
+- 经过 DiT → MLP 解码为 K 维坐标
+
+## 参考
+- [[genception-video-vision-2026|GenCeption (ECCV 2026)]]