20260625:很多新内容

concepts/barker-gibbs.md

@@ -0,0 +1,49 @@
+---
+title: "Barker Gibbs"
+created: 2026-06-25
+updated: 2026-06-25
+type: concept
+tags: [mcmc, gibbs-sampling, llm, discriminative, rejection-sampling]
+sources:
+  - "[[large-language-gibbs]]"
+---
+
+# Barker Gibbs
+
+**Barker Gibbs** 是 Large Language Gibbs 框架中的一种核变体，使用 LLM 的**判别能力**（而非生成能力）来实现 Gibbs 重采样。相比 Basic Gibbs 的直接条件采样，Barker Gibbs 更适合指令微调模型（其生成概率可能未被良好校准）。
+
+## 核心机制
+
+Barker Gibbs 将 LLM 用作偏好比较器：
+
+1. **提议**：从均匀分布 q(·) 中抽取候选值 X_i'
+2. **比较**：向 LLM 展示当前值 X_i 和候选值 X_i'，询问"哪个更合理"
+3. **接受**：根据 Barker 规则计算接受概率
+
+```
+p^LM(X_i' ≻ X_i | X_{-i}) = q^*(X_{-i}, X_i') / (q^*(X_{-i}, X_i) + q^*(X_{-i}, X_i'))
+```
+
+## 与 Basic Gibbs 的对比
+
+| 维度 | Basic Gibbs | Barker Gibbs |
+|------|-----------|-------------|
+| LLM 使用方式 | 生成式（采样） | 判别式（比较） |
+| 适用模型 | base + instruct | 更适合 instruct |
+| 校准要求 | 需要校准的生成概率 | 仅需判别性偏好 |
+| 概率保证 | 直接近似条件分布 | Barker 规则保证稳态不变 |
+
+## 为什么需要
+
+指令微调模型（如 RLHF 后的模型）的生成概率往往未被良好校准——模型可能对某些 token 过于自信或犹豫。Barker Gibbs 绕过了这个问题：LLM 只需做"二选一"偏好判断，这通常比生成完整样本更可靠。
+
+## 在 Large Language Gibbs 中的位置
+
+Barker Gibbs 是 Basic Gibbs 的**互补方案**——当 LLM 的生成条件不可靠时，改用判别条件；当两者都可用时，Barker Gibbs 的稳态分布与 Basic Gibbs 的稳态分布一致（在 Barker 规则假设下）。
+
+## 参考
+
+- Barker, A. A. (1965) — Barker's rule 原始文献
+- [[large-language-gibbs]] — 提出 Barker Gibbs 的论文
+- [[gambling-gibbs]] — 另一种判别式核变体
+- [[llm-mcmc]] — LLM + MCMC 的整体框架