20260706:新增一些文章
This commit is contained in:
46
concepts/rubric-personalization.md
Normal file
46
concepts/rubric-personalization.md
Normal file
@@ -0,0 +1,46 @@
|
||||
---
|
||||
title: "Rubric Personalization"
|
||||
created: 2026-06-27
|
||||
updated: 2026-06-27
|
||||
type: concept
|
||||
tags:
|
||||
- rubric
|
||||
- personalization
|
||||
- user-preference
|
||||
sources:
|
||||
- "rubrics-survey-2026"
|
||||
---
|
||||
|
||||
# Rubric Personalization
|
||||
|
||||
## 定义
|
||||
|
||||
为**个体用户**构建定制化 rubric,显式捕捉个人偏好(风格、详细程度、推理模式、交互目标),使评估和训练不再依赖通用的一刀切标准。
|
||||
|
||||
## 动机
|
||||
|
||||
在开放任务(创意写作、推荐、教育、助手式交互)中,响应质量高度**用户依赖**。不同用户偏好的 trade-off 不同(准确性 vs 创意 vs 简洁 vs 情感共鸣),通用 rubric 无法捕捉这些差异。
|
||||
|
||||
## 代表方法
|
||||
|
||||
- **PREFINE** (Ueda & Takayanagi, 2025):从用户历史构建伪用户 agent,生成用户专属 rubric 引导 critique 和 refinement
|
||||
|
||||
## 核心挑战
|
||||
|
||||
1. **偏好推断困难**:用户偏好隐式、稀疏、有噪声、上下文依赖——需要多少历史数据才能推断出忠实的 rubric?
|
||||
2. **偏好动态性**:偏好随时间变化、跨任务不同,静态用户画像快速过时
|
||||
3. **浅层个性化风险**:系统可能过拟合到易观察信号(措辞、风格、长度),而忽略深层偏好(事实严谨性、情感细微度、实用价值)
|
||||
4. **安全与个性化张力**:优化用户专属 rubric 不应强化偏见、不安全或低质量偏好
|
||||
|
||||
## 未来方向
|
||||
|
||||
- 分离用户偏好与通用安全标准
|
||||
- 审计个性化 rubric 的有害/偏见标准
|
||||
- 建模偏好不确定性
|
||||
- 允许用户检查/修改代表他们的 rubric
|
||||
|
||||
## 参考
|
||||
|
||||
- [[rubrics-for-llms|Rubrics for LLMs]]
|
||||
- [[rubrics-survey-2026|Rubrics Survey (2026)]]
|
||||
- [[rubric-safety]]
|
||||
Reference in New Issue
Block a user