---
title: "Rubric Personalization"
created: 2026-06-27
updated: 2026-06-27
type: concept
tags:
  - rubric
  - personalization
  - user-preference
sources:
  - "rubrics-survey-2026"
---

# Rubric Personalization

## 定义

为**个体用户**构建定制化 rubric，显式捕捉个人偏好（风格、详细程度、推理模式、交互目标），使评估和训练不再依赖通用的一刀切标准。

## 动机

在开放任务（创意写作、推荐、教育、助手式交互）中，响应质量高度**用户依赖**。不同用户偏好的 trade-off 不同（准确性 vs 创意 vs 简洁 vs 情感共鸣），通用 rubric 无法捕捉这些差异。

## 代表方法

- **PREFINE** (Ueda & Takayanagi, 2025)：从用户历史构建伪用户 agent，生成用户专属 rubric 引导 critique 和 refinement

## 核心挑战

1. **偏好推断困难**：用户偏好隐式、稀疏、有噪声、上下文依赖——需要多少历史数据才能推断出忠实的 rubric？
2. **偏好动态性**：偏好随时间变化、跨任务不同，静态用户画像快速过时
3. **浅层个性化风险**：系统可能过拟合到易观察信号（措辞、风格、长度），而忽略深层偏好（事实严谨性、情感细微度、实用价值）
4. **安全与个性化张力**：优化用户专属 rubric 不应强化偏见、不安全或低质量偏好

## 未来方向

- 分离用户偏好与通用安全标准
- 审计个性化 rubric 的有害/偏见标准
- 建模偏好不确定性
- 允许用户检查/修改代表他们的 rubric

## 参考

- [[rubrics-for-llms|Rubrics for LLMs]]
- [[rubrics-survey-2026|Rubrics Survey (2026)]]
- [[rubric-safety]]