---
title: "Rubric Safety"
created: 2026-06-27
updated: 2026-06-27
type: concept
tags:
  - rubric
  - safety
  - evaluation
  - alignment
sources:
  - "rubrics-survey-2026"
---

# Rubric Safety

## 定义

Rubric safety 关注 **rubric 本身被恶意或不当设计/修改** 时对评估和训练系统产生的系统性风险。Rubric 不应被视为"天然安全"的透明指令——它们可以成为攻击面。

## RIPD: Rubric-Induced Preference Drift

Ding et al. (2026) 发现：看似自然、符合 benchmark 规范的 rubric 编辑可以**系统性偏移 LLM judge 的偏好**。这类编辑可能：
- 不显著降低 aggregate benchmark 性能
- 但仍然改变 judge 在特定领域上的偏好方向
- 影响下游 alignment 结果

## 攻击向量

恶意或设计不当的 rubric 可以：
1. **微妙改变 criterion weights**：表面上维度不变，实际某些维度被削弱
2. **引入偏置措辞**：措辞差异即使对人类等价，对 LLM judge 可能产生不同判断
3. **重塑 decision boundary**：强调某些维度、淡化其他维度
4. **看起来合理**：对人类检查者似乎合理，但系统性改变 judge 行为

## 级联风险

Rubric → Judge → Preference Data → Policy Training：
1. 被污染的 rubric 导致 judge 产生偏置判断
2. 偏置判断成为偏好标签
3. 偏好标签训练 policy model
4. Policy 学到偏置行为
5. 后续评估因使用同样脆弱的 rubric judge 无法检测偏移

这使 rubric safety 成为 **pipeline-level 问题**，而非仅仅是 prompt-level。

## 未来方向

- 检测不安全的 rubric 编辑
- 审计跨领域偏好偏移
- 验证 rubric 在改写/精炼下的不变性
- 开发对抗性测试：扰动 rubric 措辞、顺序、权重，测量 judge 行为稳定性

## 参考

- [[rubrics-for-llms|Rubrics for LLMs]]
- [[rubrics-survey-2026|Rubrics Survey (2026)]]
- [[rubric-personalization]]
- [[reward-hacking]]