47 lines
1.6 KiB
Markdown
47 lines
1.6 KiB
Markdown
---
|
||
title: "Rubric Personalization"
|
||
created: 2026-06-27
|
||
updated: 2026-06-27
|
||
type: concept
|
||
tags:
|
||
- rubric
|
||
- personalization
|
||
- user-preference
|
||
sources:
|
||
- "rubrics-survey-2026"
|
||
---
|
||
|
||
# Rubric Personalization
|
||
|
||
## 定义
|
||
|
||
为**个体用户**构建定制化 rubric，显式捕捉个人偏好（风格、详细程度、推理模式、交互目标），使评估和训练不再依赖通用的一刀切标准。
|
||
|
||
## 动机
|
||
|
||
在开放任务（创意写作、推荐、教育、助手式交互）中，响应质量高度**用户依赖**。不同用户偏好的 trade-off 不同（准确性 vs 创意 vs 简洁 vs 情感共鸣），通用 rubric 无法捕捉这些差异。
|
||
|
||
## 代表方法
|
||
|
||
- **PREFINE** (Ueda & Takayanagi, 2025)：从用户历史构建伪用户 agent，生成用户专属 rubric 引导 critique 和 refinement
|
||
|
||
## 核心挑战
|
||
|
||
1. **偏好推断困难**：用户偏好隐式、稀疏、有噪声、上下文依赖——需要多少历史数据才能推断出忠实的 rubric？
|
||
2. **偏好动态性**：偏好随时间变化、跨任务不同，静态用户画像快速过时
|
||
3. **浅层个性化风险**：系统可能过拟合到易观察信号（措辞、风格、长度），而忽略深层偏好（事实严谨性、情感细微度、实用价值）
|
||
4. **安全与个性化张力**：优化用户专属 rubric 不应强化偏见、不安全或低质量偏好
|
||
|
||
## 未来方向
|
||
|
||
- 分离用户偏好与通用安全标准
|
||
- 审计个性化 rubric 的有害/偏见标准
|
||
- 建模偏好不确定性
|
||
- 允许用户检查/修改代表他们的 rubric
|
||
|
||
## 参考
|
||
|
||
- [[rubrics-for-llms|Rubrics for LLMs]]
|
||
- [[rubrics-survey-2026|Rubrics Survey (2026)]]
|
||
- [[rubric-safety]]
|