40 lines
1.2 KiB
Markdown
40 lines
1.2 KiB
Markdown
---
|
||
title: "DeepSeek-ViT"
|
||
domain: "Deep Learning / Vision"
|
||
tags: [vit, vision-transformer, deepseek, visual-encoding]
|
||
sources: [[thinking-with-visual-primitives]]
|
||
---
|
||
|
||
# DeepSeek-ViT
|
||
|
||
> DeepSeek 自研的视觉 Transformer，支持任意分辨率输入，配合 3×3 空间压缩实现极致 token 效率。
|
||
|
||
## 架构
|
||
|
||
- 从头训练的 Vision Transformer
|
||
- 支持**任意分辨率**输入
|
||
- 14×14 patch size → 生成 patch tokens
|
||
- ViT 输出端施加 **3×3 空间 token 压缩**：每 9 个相邻 patch token 沿通道维度压缩为 1 个 token
|
||
|
||
## Token 压缩管道
|
||
|
||
以 756×756 图像为例：
|
||
|
||
```
|
||
原始像素 (571,536)
|
||
→ Patch Embedding → 2,916 patch tokens
|
||
→ 3×3 空间压缩 → 324 visual tokens (进入 LLM prefilling)
|
||
→ CSA 压缩 → 81 KV entries
|
||
```
|
||
|
||
**总压缩比：7056×**
|
||
|
||
## 视觉 token 数量限制
|
||
|
||
为平衡性能和计算成本，视觉 token 输出限制在 **81 到 384** 之间。超出范围的图像在保留宽高比的前提下缩放。
|
||
|
||
## 相关概念
|
||
|
||
- [[compressed-sparse-attention|压缩稀疏注意力]] — ViT 之后的 KV cache 压缩
|
||
- [[visual-primitives|视觉原语]] — ViT 输出的使用方式
|
||
- [[token-efficiency|token-效率]] — 整体效率指标 |