25 lines
744 B
Markdown
25 lines
744 B
Markdown
---
|
||
title: "可学习Token稀疏预测 (Learnable Tokens for Sparse Prediction)"
|
||
created: 2026-07-13
|
||
updated: 2026-07-13
|
||
type: concept
|
||
tags: [computer-vision, sparse-prediction, tokens]
|
||
sources:
|
||
- arxiv:2607.09024
|
||
---
|
||
|
||
# 可学习 Token 稀疏预测
|
||
|
||
## 定义
|
||
|
||
GenCeption 中处理稀疏视觉任务（2D/3D 关键点预测）的轻量级扩展机制。通过在视频 latent 上附加可学习 token，保持与预训练 DiT 的兼容性，同时支持结构化坐标输出。
|
||
|
||
## 设计
|
||
|
||
- 附加 T 个可学习 token（每帧一个）
|
||
- 使用 DiT 的 3D RoPE，空间位置可学习，时间位置通过位置插值降采样
|
||
- 经过 DiT → MLP 解码为 K 维坐标
|
||
|
||
## 参考
|
||
- [[genception-video-vision-2026|GenCeption (ECCV 2026)]]
|