1.9 KiB
1.9 KiB
title, created, updated, type, tags, sources
| title | created | updated | type | tags | sources | |||||
|---|---|---|---|---|---|---|---|---|---|---|
| Rubric Safety | 2026-06-27 | 2026-06-27 | concept |
|
|
Rubric Safety
定义
Rubric safety 关注 rubric 本身被恶意或不当设计/修改 时对评估和训练系统产生的系统性风险。Rubric 不应被视为"天然安全"的透明指令——它们可以成为攻击面。
RIPD: Rubric-Induced Preference Drift
Ding et al. (2026) 发现：看似自然、符合 benchmark 规范的 rubric 编辑可以系统性偏移 LLM judge 的偏好。这类编辑可能：
- 不显著降低 aggregate benchmark 性能
- 但仍然改变 judge 在特定领域上的偏好方向
- 影响下游 alignment 结果
攻击向量
恶意或设计不当的 rubric 可以：
- 微妙改变 criterion weights：表面上维度不变，实际某些维度被削弱
- 引入偏置措辞：措辞差异即使对人类等价，对 LLM judge 可能产生不同判断
- 重塑 decision boundary：强调某些维度、淡化其他维度
- 看起来合理：对人类检查者似乎合理，但系统性改变 judge 行为
级联风险
Rubric → Judge → Preference Data → Policy Training：
- 被污染的 rubric 导致 judge 产生偏置判断
- 偏置判断成为偏好标签
- 偏好标签训练 policy model
- Policy 学到偏置行为
- 后续评估因使用同样脆弱的 rubric judge 无法检测偏移
这使 rubric safety 成为 pipeline-level 问题，而非仅仅是 prompt-level。
未来方向
- 检测不安全的 rubric 编辑
- 审计跨领域偏好偏移
- 验证 rubric 在改写/精炼下的不变性
- 开发对抗性测试：扰动 rubric 措辞、顺序、权重，测量 judge 行为稳定性