41 lines
1.6 KiB
Markdown
41 lines
1.6 KiB
Markdown
---
|
||
title: "MGMR RQ-Kmeans"
|
||
created: 2026-06-28
|
||
updated: 2026-06-28
|
||
type: concept
|
||
tags: [generative-recommendation, quantization, semantic-id, clustering]
|
||
sources: [GR4AD]
|
||
---
|
||
# Multi-Granularity Multi-Resolution RQ-Kmeans (MGMR)
|
||
|
||
MGMR（Multi-Granularity Multi-Resolution）RQ-Kmeans 是 [[GR4AD]] 提出的分层量化方法，用于将[[ua-sid|UA-SID]]的 MLLM 嵌入量化为离散 ID 序列。
|
||
|
||
## 核心思想
|
||
|
||
标准 RQ-Kmeans 面临两个问题：
|
||
1. **Codebook 利用率低**：部分 code 承载过多物品（高碰撞），另一部分 code 被极度稀疏使用
|
||
2. **非语义信息建模不足**：聚类可能过度依赖语义相似性，忽略业务维度（如转化类型）的区分度
|
||
|
||
MGMR 通过多粒度和多分辨率两个维度解决：
|
||
|
||
**多粒度（Multi-Granularity）**：不同层次聚焦不同语义粒度——粗粒度层关注物品大类，细粒度层关注物品子类或属性
|
||
|
||
**多分辨率（Multi-Resolution）**：每个粒度层可配置不同的聚类数（codebook 大小），在需要细分的层级分配更大 codebook
|
||
|
||
## 技术细节
|
||
|
||
RQ-Kmeans 的残差量化过程：第 $t$ 层量化的是前一层量化的残差：
|
||
$$s_t = \arg\min_c \|(e - \sum_{i=1}^{t-1} C_i[s_i]) - C_t[c]\|$$
|
||
|
||
MGMR 在此基础上对各层独立配置聚类数 $|C_t|$ 和语义粒度，并通过基数约束动态调节各 code 的承载上限。
|
||
|
||
## 效果
|
||
|
||
在 GR4AD 部署中，MGMR 显著降低 SID 碰撞率并提升 codebook 利用率，支撑 4 亿用户规模的实时生成式推荐。
|
||
|
||
## 参考
|
||
|
||
- [[GR4AD]]
|
||
- [[ua-sid|UA-SID]]
|
||
- [[semantic-id|Semantic ID]]
|