20260706:新增一些文章
This commit is contained in:
35
concepts/semantic-id.md
Normal file
35
concepts/semantic-id.md
Normal file
@@ -0,0 +1,35 @@
|
||||
---
|
||||
title: "Semantic ID"
|
||||
created: 2026-06-28
|
||||
updated: 2026-06-28
|
||||
type: concept
|
||||
tags: [generative-recommendation, tokenization, quantization]
|
||||
sources: [GR4AD]
|
||||
---
|
||||
# Semantic ID
|
||||
|
||||
语义 ID(Semantic ID,SID)是[[generative-recommendation|生成式推荐(Generative Recommendation)]]中的物品 tokenization 方法:利用 LLM/MLLM 将物品内容编码为语义嵌入,再通过分层量化(hierarchical quantization)将连续嵌入离散化为结构化的多级 token 序列。由此,推荐被转化为序列生成任务——模型自回归地预测目标物品的 SID 序列。
|
||||
|
||||
## 设计要点
|
||||
|
||||
1. **语义空间**:物品嵌入应符合用户兴趣的语义结构——相似物品在嵌入空间中接近,便于层次聚类
|
||||
2. **分层结构**:多级 SID(如 $s_1, s_2, s_3$)形成从粗粒度到细粒度的层次,越高层语义越泛化
|
||||
3. **碰撞率控制**:不同的物品可能被映射到相同的 SID(碰撞),需要平衡碰撞率与探索能力
|
||||
|
||||
## 量化方法
|
||||
|
||||
| 方法 | 代表工作 | 特点 |
|
||||
|------|---------|------|
|
||||
| RQ-VAE | TIGER | 残差量化,端到端训练 |
|
||||
| RQ-Kmeans | QARM, GR4AD | 聚类量化,基数约束 |
|
||||
| **MGMR RQ-Kmeans** | [[GR4AD]] | 多粒度多分辨率量化 |
|
||||
|
||||
## 广告场景的特殊挑战
|
||||
|
||||
广告物品的语义 ID 不仅需要捕捉内容语义(视频、文本),还需建模**非语义业务信号**(转化类型、广告主账户等)。[[ua-sid|UA-SID]] 通过端到端微调的广告 MLLM 嵌入 + [[mgmr-rq-kmeans|MGMR RQ-Kmeans]] 解决这一问题。
|
||||
|
||||
## 参考
|
||||
|
||||
- [[GR4AD]]
|
||||
- [[ua-sid|UA-SID]]
|
||||
- [[generative-recommendation|生成式推荐(Generative Recommendation)]]
|
||||
Reference in New Issue
Block a user