20260706:新增一些文章

This commit is contained in:
2026-07-06 10:14:02 +08:00
parent 6021dea160
commit 24b006225b
194 changed files with 8512 additions and 91 deletions

35
concepts/semantic-id.md Normal file
View File

@@ -0,0 +1,35 @@
---
title: "Semantic ID"
created: 2026-06-28
updated: 2026-06-28
type: concept
tags: [generative-recommendation, tokenization, quantization]
sources: [GR4AD]
---
# Semantic ID
语义 IDSemantic IDSID是[[generative-recommendation|生成式推荐Generative Recommendation]]中的物品 tokenization 方法:利用 LLM/MLLM 将物品内容编码为语义嵌入再通过分层量化hierarchical quantization将连续嵌入离散化为结构化的多级 token 序列。由此,推荐被转化为序列生成任务——模型自回归地预测目标物品的 SID 序列。
## 设计要点
1. **语义空间**:物品嵌入应符合用户兴趣的语义结构——相似物品在嵌入空间中接近,便于层次聚类
2. **分层结构**:多级 SID如 $s_1, s_2, s_3$)形成从粗粒度到细粒度的层次,越高层语义越泛化
3. **碰撞率控制**:不同的物品可能被映射到相同的 SID碰撞需要平衡碰撞率与探索能力
## 量化方法
| 方法 | 代表工作 | 特点 |
|------|---------|------|
| RQ-VAE | TIGER | 残差量化,端到端训练 |
| RQ-Kmeans | QARM, GR4AD | 聚类量化,基数约束 |
| **MGMR RQ-Kmeans** | [[GR4AD]] | 多粒度多分辨率量化 |
## 广告场景的特殊挑战
广告物品的语义 ID 不仅需要捕捉内容语义(视频、文本),还需建模**非语义业务信号**(转化类型、广告主账户等)。[[ua-sid|UA-SID]] 通过端到端微调的广告 MLLM 嵌入 + [[mgmr-rq-kmeans|MGMR RQ-Kmeans]] 解决这一问题。
## 参考
- [[GR4AD]]
- [[ua-sid|UA-SID]]
- [[generative-recommendation|生成式推荐Generative Recommendation]]