99 lines
5.1 KiB
Markdown
99 lines
5.1 KiB
Markdown
---
|
||
title: "Review — Thinking with Visual Primitives"
|
||
date: 2026-04-30
|
||
paper: "Thinking with Visual Primitives"
|
||
authors: "DeepSeek-AI"
|
||
domain: "Multimodal AI / Visual Reasoning"
|
||
---
|
||
|
||
# 📌 Thinking with Visual Primitives — 集成 Review
|
||
|
||
**论文**: Thinking with Visual Primitives
|
||
**作者**: Ruijie Lu, Yiyang Ma, Xiaokang Chen (Project Lead) et al. — DeepSeek-AI, 北京大学, 清华大学
|
||
**来源**: [GitHub](https://github.com/deepseek-ai/Thinking-with-Visual-Primitives) (2026)
|
||
**集成时间**: 2026-04-30
|
||
|
||
---
|
||
|
||
## 🎯 核心概念
|
||
|
||
1. **视觉原语 (Visual Primitives)** — Bounding boxes 和 points 被提升为「思维的最小单位」，直接交织进 MLLM 的 Chain-of-Thought 推理链。框用于精确定位对象，点用于抽象空间引用和轨迹追踪。
|
||
|
||
2. **引用鸿沟 (Reference Gap)** — 自然语言在连续视觉空间中无法提供精确、无歧义的空间指代。这是现有 MLLM 在复杂空间推理中逻辑崩溃的**根本瓶颈**，比感知鸿沟更深层。「Seeing is not reasoning.」
|
||
|
||
3. **极致 Token 效率** — 从 756×756 图像到仅 81 个 KV entries，压缩比 **7056×**。以 GPT-5.4 1/8、Gemini 1/12 的 token 预算，在空间推理和拓扑任务上实现反超。
|
||
|
||
4. **训练流水线** — 「train specialists—then—merge」策略：专项 SFT（框专家 FTwG + 点专家 FTwP）→ 专项 RL（GRPO + 多维度 RM）→ 统一 RFT → 在线策略蒸馏。
|
||
|
||
5. **四大冷启动任务** — 粗粒度计数、细粒度计数、迷宫导航、路径追踪。每个任务都设计了专门的奖励模型（指数衰减奖励、因果探索进度、双向轨迹评估等）。
|
||
|
||
---
|
||
|
||
## 🔗 概念网络
|
||
|
||
### 核心连接
|
||
```
|
||
视觉原语 ←→ 引用鸿沟 ←→ 感知鸿沟
|
||
↓
|
||
框原语（计数/空间推理） + 点原语（迷宫/路径追踪）
|
||
↓
|
||
专项SFT→专项RL(GRPO)→统一RFT→在线策略蒸馏
|
||
↓
|
||
Token效率(7056×) ← CSA + DeepSeek-ViT
|
||
```
|
||
|
||
### 扩展网络
|
||
- 连接到已有概念: [[compressed-sparse-attention]], [[on-policy-distillation]], [[mixture-of-experts]], [[deepseek-v4-million-token-context]]
|
||
- 新建 20 个概念页面，与现有 attention/MoE/训练方法概念形成密集交叉引用
|
||
- 将 wiki 从 LLM 架构层**垂直延伸到多模态视觉推理层**
|
||
|
||
---
|
||
|
||
## 📚 Wiki 集成
|
||
|
||
| 指标 | 数值 |
|
||
|------|------|
|
||
| 新增页面 | **21** 个（1 论文 + 20 概念） |
|
||
| 总规模 | 143 → **164** 页 |
|
||
| 链接密度 | 141 个交叉链接（仅新页面间） |
|
||
| 网络完整性 | **100%** 无断链 |
|
||
| 代码修复 | 75 个中文 wikilink → English kebab-case 格式化 |
|
||
| 覆盖维度 | 新增「多模态视觉推理」知识维度 |
|
||
|
||
### 新增概念一览
|
||
`visual-primitives`, `reference-gap`, `perception-gap`, `chain-of-thought`, `multimodal-large-language-model`, `system-2-thinking`, `deepseek-vit`, `deepseek-v4-flash`, `token-efficiency`, `coarse-grained-counting`, `fine-grained-counting`, `maze-navigation`, `path-tracing`, `group-relative-policy-optimization`, `specialized-sft`, `specialized-rl`, `unified-rft`, `exponential-decay-reward`, `bidirectional-trajectory-evaluation`, `reward-model`
|
||
|
||
---
|
||
|
||
## 💡 关键洞察
|
||
|
||
### 1. 从「看到更多」到「指得更准」的范式转移
|
||
|
||
本文最深刻的贡献不是架构创新，而是**问题定义的重新框架化**。整个多模态社区一直在追求更高分辨率、更多视觉 token，好像问题就是「看得不够清楚」。DeepSeek 指出：即使完美感知，语言本身在空间指代上就是有缺陷的。这个洞察一旦提出就几乎是显然的——人类在解迷宫时不会自言自语「向左第三格再向右第五格」，而是直接用手指。
|
||
|
||
视觉原语本质上是在给 CoT 添加一个**空间类型系统**：让模型能够区分「说"红色的球"」（语言引用，有歧义）和「指 (342, 567) 那个位置」（空间引用，无歧义）。
|
||
|
||
### 2. Token 效率的工程奇迹
|
||
|
||
7056× 的压缩比是惊人的。这意味着 DeepSeek 在说：「我们不需要更贵的硬件，我们需要更聪明的信息压缩」。90 个 KV entries 承载了比 1,100 个密集 token 更丰富的空间信息——因为每个 token 都是精确的空间坐标，而非模糊的 visual embedding。
|
||
|
||
### 3. 对 Agent 和具身 AI 的潜在影响
|
||
|
||
这项工作的真正价值可能尚未完全释放。如果 MLLM 能够原生地「Think in coordinates」，那么：
|
||
- **GUI Agent** 可以直接输出操作坐标而非依赖 OCR+语义匹配
|
||
- **机器人操作** 可以接收精确的抓取点而非「那个杯子」
|
||
- **自动驾驶** 可以用轨迹原语替代高维规划空间
|
||
|
||
---
|
||
|
||
## ⚠️ 局限与未来
|
||
|
||
1. **需要显式触发词** — 当前视觉原语能力无法自主激活
|
||
2. **点原语的泛化有限** — 跨场景拓扑推理仍是开放挑战
|
||
3. **与感知鸿沟方案的整合** — 理论上互补，实战待验证
|
||
4. **中英文能力继承** — 训练数据无中文，但得益于基座模型的多语言能力意外地支持中文推理
|
||
|
||
---
|
||
|
||
*「多模态智能的未来不在于看到更多像素，而在于构建语言与视觉之间精确、无歧义的引用桥梁。」*
|