---
title: "OPPO 多模态数据湖架构实践"
created: 2026-04-19
updated: 2026-04-19
type: summary
tags: [llm, system-design, deep-learning, research]
sources: [raw/articles/oppo-multimodal-data-lake-2026.md]
---

# OPPO 多模态数据湖架构实践

**来源:** Data for AI Meetup · 2026
**分享人:** David (OPPO 大数据架构负责人)
**链接:** https://mp.weixin.qq.com/s/cBaYa04qAIGsxG1hD7ll3w

## 核心背景
OPPO 的大数据基础设施从离线 Hive/Spark 演进至全模态数据湖阶段，主要服务于三大场景：手机影像算法迭代、多模态推荐搜索、多模态端侧 Agent。数据爆发式增长带来了数据孤岛、元数据混乱和云上 IO 瓶颈等挑战。

## 架构设计 (四层模型)

| 层级 | 技术选型 | 作用 |
|------|----------|------|
| **计算引擎** | Spark + 二开 Lance | 统一全模态数据查询，基于 Lance 8K 开源项目二次开发 |
| **元数据管理** | [[gravitino-unified-metadata]] | 统一 Catalog，支持 Hive 与 Lance 表同目录管理，多云分布，资产全局可感知 |
| **加速层** | [[curvine-distributed-cache]] | 自研云原生分布式缓存，解决 OSS 带宽配额、专线压力及计算节点磁盘闲置问题 |
| **平台产品层** | 数据地图/权限/治理 | 复用现有能力，实现多模态数据资产统一管理 |

## 关键成果

1. **统一元数据**：一套目录同时管理 Hive 和 Lance 表，支持单条 SQL 跨表 JOIN 查询
2. **控制增量转换存量**：强制所有新增目录通过 Gravitino 访问，逐步收归 PB 级散落算法数据
3. **Curvine 加速验证**：社区版 LanceDB + Curvine 的向量查询性能达到商业版水平
4. **多云无感迁移**：混合云架构（自建+阿里云）下，数据分布对业务透明

## 相关概念

- [[gravitino-unified-metadata]] — Gravitino 统一元数据方案
- [[curvine-distributed-cache]] — Curvine 分布式缓存系统