20260706:新增一些文章

concepts/rubric-safety.md

@@ -0,0 +1,59 @@
+---
+title: "Rubric Safety"
+created: 2026-06-27
+updated: 2026-06-27
+type: concept
+tags:
+  - rubric
+  - safety
+  - evaluation
+  - alignment
+sources:
+  - "rubrics-survey-2026"
+---
+
+# Rubric Safety
+
+## 定义
+
+Rubric safety 关注 **rubric 本身被恶意或不当设计/修改** 时对评估和训练系统产生的系统性风险。Rubric 不应被视为"天然安全"的透明指令——它们可以成为攻击面。
+
+## RIPD: Rubric-Induced Preference Drift
+
+Ding et al. (2026) 发现：看似自然、符合 benchmark 规范的 rubric 编辑可以**系统性偏移 LLM judge 的偏好**。这类编辑可能：
+- 不显著降低 aggregate benchmark 性能
+- 但仍然改变 judge 在特定领域上的偏好方向
+- 影响下游 alignment 结果
+
+## 攻击向量
+
+恶意或设计不当的 rubric 可以：
+1. **微妙改变 criterion weights**：表面上维度不变，实际某些维度被削弱
+2. **引入偏置措辞**：措辞差异即使对人类等价，对 LLM judge 可能产生不同判断
+3. **重塑 decision boundary**：强调某些维度、淡化其他维度
+4. **看起来合理**：对人类检查者似乎合理，但系统性改变 judge 行为
+
+## 级联风险
+
+Rubric → Judge → Preference Data → Policy Training：
+1. 被污染的 rubric 导致 judge 产生偏置判断
+2. 偏置判断成为偏好标签
+3. 偏好标签训练 policy model
+4. Policy 学到偏置行为
+5. 后续评估因使用同样脆弱的 rubric judge 无法检测偏移
+
+这使 rubric safety 成为 **pipeline-level 问题**，而非仅仅是 prompt-level。
+
+## 未来方向
+
+- 检测不安全的 rubric 编辑
+- 审计跨领域偏好偏移
+- 验证 rubric 在改写/精炼下的不变性
+- 开发对抗性测试：扰动 rubric 措辞、顺序、权重，测量 judge 行为稳定性
+
+## 参考
+
+- [[rubrics-for-llms|Rubrics for LLMs]]
+- [[rubrics-survey-2026|Rubrics Survey (2026)]]
+- [[rubric-personalization]]
+- [[reward-hacking]]