1.6 KiB
1.6 KiB
title, created, updated, type, tags, sources
| title | created | updated | type | tags | sources | |||||
|---|---|---|---|---|---|---|---|---|---|---|
| MGMR RQ-Kmeans | 2026-06-28 | 2026-06-28 | concept |
|
|
Multi-Granularity Multi-Resolution RQ-Kmeans (MGMR)
MGMR（Multi-Granularity Multi-Resolution）RQ-Kmeans 是 GR4AD 提出的分层量化方法，用于将ua-sid的 MLLM 嵌入量化为离散 ID 序列。
核心思想
标准 RQ-Kmeans 面临两个问题：
- Codebook 利用率低：部分 code 承载过多物品（高碰撞），另一部分 code 被极度稀疏使用
- 非语义信息建模不足：聚类可能过度依赖语义相似性，忽略业务维度（如转化类型）的区分度
MGMR 通过多粒度和多分辨率两个维度解决：
多粒度（Multi-Granularity）：不同层次聚焦不同语义粒度——粗粒度层关注物品大类，细粒度层关注物品子类或属性
多分辨率（Multi-Resolution）：每个粒度层可配置不同的聚类数（codebook 大小），在需要细分的层级分配更大 codebook
技术细节
RQ-Kmeans 的残差量化过程：第 t 层量化的是前一层量化的残差：
s_t = \arg\min_c \|(e - \sum_{i=1}^{t-1} C_i[s_i]) - C_t[c]\|
MGMR 在此基础上对各层独立配置聚类数 |C_t| 和语义粒度，并通过基数约束动态调节各 code 的承载上限。
效果
在 GR4AD 部署中，MGMR 显著降低 SID 碰撞率并提升 codebook 利用率，支撑 4 亿用户规模的实时生成式推荐。