20260706:新增一些文章
This commit is contained in:
40
concepts/mgmr-rq-kmeans.md
Normal file
40
concepts/mgmr-rq-kmeans.md
Normal file
@@ -0,0 +1,40 @@
|
||||
---
|
||||
title: "MGMR RQ-Kmeans"
|
||||
created: 2026-06-28
|
||||
updated: 2026-06-28
|
||||
type: concept
|
||||
tags: [generative-recommendation, quantization, semantic-id, clustering]
|
||||
sources: [GR4AD]
|
||||
---
|
||||
# Multi-Granularity Multi-Resolution RQ-Kmeans (MGMR)
|
||||
|
||||
MGMR(Multi-Granularity Multi-Resolution)RQ-Kmeans 是 [[GR4AD]] 提出的分层量化方法,用于将[[ua-sid|UA-SID]]的 MLLM 嵌入量化为离散 ID 序列。
|
||||
|
||||
## 核心思想
|
||||
|
||||
标准 RQ-Kmeans 面临两个问题:
|
||||
1. **Codebook 利用率低**:部分 code 承载过多物品(高碰撞),另一部分 code 被极度稀疏使用
|
||||
2. **非语义信息建模不足**:聚类可能过度依赖语义相似性,忽略业务维度(如转化类型)的区分度
|
||||
|
||||
MGMR 通过多粒度和多分辨率两个维度解决:
|
||||
|
||||
**多粒度(Multi-Granularity)**:不同层次聚焦不同语义粒度——粗粒度层关注物品大类,细粒度层关注物品子类或属性
|
||||
|
||||
**多分辨率(Multi-Resolution)**:每个粒度层可配置不同的聚类数(codebook 大小),在需要细分的层级分配更大 codebook
|
||||
|
||||
## 技术细节
|
||||
|
||||
RQ-Kmeans 的残差量化过程:第 $t$ 层量化的是前一层量化的残差:
|
||||
$$s_t = \arg\min_c \|(e - \sum_{i=1}^{t-1} C_i[s_i]) - C_t[c]\|$$
|
||||
|
||||
MGMR 在此基础上对各层独立配置聚类数 $|C_t|$ 和语义粒度,并通过基数约束动态调节各 code 的承载上限。
|
||||
|
||||
## 效果
|
||||
|
||||
在 GR4AD 部署中,MGMR 显著降低 SID 碰撞率并提升 codebook 利用率,支撑 4 亿用户规模的实时生成式推荐。
|
||||
|
||||
## 参考
|
||||
|
||||
- [[GR4AD]]
|
||||
- [[ua-sid|UA-SID]]
|
||||
- [[semantic-id|Semantic ID]]
|
||||
Reference in New Issue
Block a user