60 lines
1.9 KiB
Markdown
60 lines
1.9 KiB
Markdown
---
|
||
title: "Rubric Safety"
|
||
created: 2026-06-27
|
||
updated: 2026-06-27
|
||
type: concept
|
||
tags:
|
||
- rubric
|
||
- safety
|
||
- evaluation
|
||
- alignment
|
||
sources:
|
||
- "rubrics-survey-2026"
|
||
---
|
||
|
||
# Rubric Safety
|
||
|
||
## 定义
|
||
|
||
Rubric safety 关注 **rubric 本身被恶意或不当设计/修改** 时对评估和训练系统产生的系统性风险。Rubric 不应被视为"天然安全"的透明指令——它们可以成为攻击面。
|
||
|
||
## RIPD: Rubric-Induced Preference Drift
|
||
|
||
Ding et al. (2026) 发现：看似自然、符合 benchmark 规范的 rubric 编辑可以**系统性偏移 LLM judge 的偏好**。这类编辑可能：
|
||
- 不显著降低 aggregate benchmark 性能
|
||
- 但仍然改变 judge 在特定领域上的偏好方向
|
||
- 影响下游 alignment 结果
|
||
|
||
## 攻击向量
|
||
|
||
恶意或设计不当的 rubric 可以：
|
||
1. **微妙改变 criterion weights**：表面上维度不变，实际某些维度被削弱
|
||
2. **引入偏置措辞**：措辞差异即使对人类等价，对 LLM judge 可能产生不同判断
|
||
3. **重塑 decision boundary**：强调某些维度、淡化其他维度
|
||
4. **看起来合理**：对人类检查者似乎合理，但系统性改变 judge 行为
|
||
|
||
## 级联风险
|
||
|
||
Rubric → Judge → Preference Data → Policy Training：
|
||
1. 被污染的 rubric 导致 judge 产生偏置判断
|
||
2. 偏置判断成为偏好标签
|
||
3. 偏好标签训练 policy model
|
||
4. Policy 学到偏置行为
|
||
5. 后续评估因使用同样脆弱的 rubric judge 无法检测偏移
|
||
|
||
这使 rubric safety 成为 **pipeline-level 问题**，而非仅仅是 prompt-level。
|
||
|
||
## 未来方向
|
||
|
||
- 检测不安全的 rubric 编辑
|
||
- 审计跨领域偏好偏移
|
||
- 验证 rubric 在改写/精炼下的不变性
|
||
- 开发对抗性测试：扰动 rubric 措辞、顺序、权重，测量 judge 行为稳定性
|
||
|
||
## 参考
|
||
|
||
- [[rubrics-for-llms|Rubrics for LLMs]]
|
||
- [[rubrics-survey-2026|Rubrics Survey (2026)]]
|
||
- [[rubric-personalization]]
|
||
- [[reward-hacking]]
|