20260706:新增一些文章

This commit is contained in:
2026-07-06 10:14:02 +08:00
parent 6021dea160
commit 24b006225b
194 changed files with 8512 additions and 91 deletions

View File

@@ -0,0 +1,40 @@
---
title: "MGMR RQ-Kmeans"
created: 2026-06-28
updated: 2026-06-28
type: concept
tags: [generative-recommendation, quantization, semantic-id, clustering]
sources: [GR4AD]
---
# Multi-Granularity Multi-Resolution RQ-Kmeans (MGMR)
MGMRMulti-Granularity Multi-ResolutionRQ-Kmeans 是 [[GR4AD]] 提出的分层量化方法,用于将[[ua-sid|UA-SID]]的 MLLM 嵌入量化为离散 ID 序列。
## 核心思想
标准 RQ-Kmeans 面临两个问题:
1. **Codebook 利用率低**:部分 code 承载过多物品(高碰撞),另一部分 code 被极度稀疏使用
2. **非语义信息建模不足**:聚类可能过度依赖语义相似性,忽略业务维度(如转化类型)的区分度
MGMR 通过多粒度和多分辨率两个维度解决:
**多粒度Multi-Granularity**:不同层次聚焦不同语义粒度——粗粒度层关注物品大类,细粒度层关注物品子类或属性
**多分辨率Multi-Resolution**每个粒度层可配置不同的聚类数codebook 大小),在需要细分的层级分配更大 codebook
## 技术细节
RQ-Kmeans 的残差量化过程:第 $t$ 层量化的是前一层量化的残差:
$$s_t = \arg\min_c \|(e - \sum_{i=1}^{t-1} C_i[s_i]) - C_t[c]\|$$
MGMR 在此基础上对各层独立配置聚类数 $|C_t|$ 和语义粒度,并通过基数约束动态调节各 code 的承载上限。
## 效果
在 GR4AD 部署中MGMR 显著降低 SID 碰撞率并提升 codebook 利用率,支撑 4 亿用户规模的实时生成式推荐。
## 参考
- [[GR4AD]]
- [[ua-sid|UA-SID]]
- [[semantic-id|Semantic ID]]