1.6 KiB
1.6 KiB
title, created, updated, type, tags, sources
| title | created | updated | type | tags | sources | ||||
|---|---|---|---|---|---|---|---|---|---|
| Rubric Personalization | 2026-06-27 | 2026-06-27 | concept |
|
|
Rubric Personalization
定义
为个体用户构建定制化 rubric，显式捕捉个人偏好（风格、详细程度、推理模式、交互目标），使评估和训练不再依赖通用的一刀切标准。
动机
在开放任务（创意写作、推荐、教育、助手式交互）中，响应质量高度用户依赖。不同用户偏好的 trade-off 不同（准确性 vs 创意 vs 简洁 vs 情感共鸣），通用 rubric 无法捕捉这些差异。
代表方法
- PREFINE (Ueda & Takayanagi, 2025)：从用户历史构建伪用户 agent，生成用户专属 rubric 引导 critique 和 refinement
核心挑战
- 偏好推断困难：用户偏好隐式、稀疏、有噪声、上下文依赖——需要多少历史数据才能推断出忠实的 rubric？
- 偏好动态性：偏好随时间变化、跨任务不同，静态用户画像快速过时
- 浅层个性化风险：系统可能过拟合到易观察信号（措辞、风格、长度），而忽略深层偏好（事实严谨性、情感细微度、实用价值）
- 安全与个性化张力：优化用户专属 rubric 不应强化偏见、不安全或低质量偏好
未来方向
- 分离用户偏好与通用安全标准
- 审计个性化 rubric 的有害/偏见标准
- 建模偏好不确定性
- 允许用户检查/修改代表他们的 rubric