20260514:增加新内容
This commit is contained in:
42
concepts/perception-gap.md
Normal file
42
concepts/perception-gap.md
Normal file
@@ -0,0 +1,42 @@
|
||||
---
|
||||
title: "感知鸿沟 (Perception Gap)"
|
||||
domain: "Multimodal AI / Visual Reasoning"
|
||||
tags: [perception-gap, multimodal, vision]
|
||||
sources: [[thinking-with-visual-primitives]]
|
||||
---
|
||||
|
||||
# 感知鸿沟 (Perception Gap)
|
||||
|
||||
> MLLM 在低分辨率下无法「看清」细粒度视觉细节——这是当前多模态模型面临的第一层瓶颈。
|
||||
|
||||
## 定义
|
||||
|
||||
Perception Gap(感知鸿沟)指多模态大语言模型因视觉编码器分辨率限制或 token 压缩策略,导致无法捕获图像中的细粒度信息(如小文字、远距离物体、密集场景中的个体)。
|
||||
|
||||
## 现有应对方案
|
||||
|
||||
- 高分辨率裁剪(high-resolution cropping)
|
||||
- 动态 patching(dynamic patching)
|
||||
- 自适应分辨率编码
|
||||
- 多尺度特征融合
|
||||
|
||||
## 与引用鸿沟的关系
|
||||
|
||||
| 维度 | 感知鸿沟 | [[reference-gap|引用鸿沟]] |
|
||||
|------|----------|-------------|
|
||||
| 问题层 | 视觉感知层 | 语言指代层 |
|
||||
| 症状 | 看不清 | 说不清 |
|
||||
| 解决思路 | 更多像素/更高分辨率 | 空间标记作为思维单元 |
|
||||
| 本文态度 | 已被 prior work 部分解决 | **核心贡献所在** |
|
||||
|
||||
> 本文指出:即使完美弥合感知鸿沟,引用鸿沟依然会导致复杂空间推理中的逻辑崩溃。
|
||||
|
||||
## 未来方向
|
||||
|
||||
DeepSeek 团队指出,将视觉原语框架与弥合感知鸿沟的方法相结合,有望实现互补收益——既能「看清」又能「指准」。
|
||||
|
||||
## 相关概念
|
||||
|
||||
- [[reference-gap|引用鸿沟]] — 更深层的瓶颈
|
||||
- [[visual-primitives|视觉原语]] — 解决引用鸿沟的机制
|
||||
- [[coarse-grained-counting|粗粒度计数]] / [[fine-grained-counting|细粒度计数]] — 两类鸿沟的具体表现
|
||||
Reference in New Issue
Block a user