myWiki/concepts/learnable-tokens-sparse.md

title, created, updated, type, tags, sources

title	created	updated	type	tags	sources
可学习Token稀疏预测 (Learnable Tokens for Sparse Prediction)	2026-07-13	2026-07-13	concept	computer-vision sparse-prediction tokens	arxiv:2607.09024

可学习 Token 稀疏预测

定义

GenCeption 中处理稀疏视觉任务（2D/3D 关键点预测）的轻量级扩展机制。通过在视频 latent 上附加可学习 token，保持与预训练 DiT 的兼容性，同时支持结构化坐标输出。

设计

• 附加 T 个可学习 token（每帧一个）
• 使用 DiT 的 3D RoPE，空间位置可学习，时间位置通过位置插值降采样
• 经过 DiT → MLP 解码为 K 维坐标

参考

• genception-video-vision-2026