---
title: "Barker Gibbs"
created: 2026-06-25
updated: 2026-06-25
type: concept
tags: [mcmc, gibbs-sampling, llm, discriminative, rejection-sampling]
sources:
  - "[[large-language-gibbs]]"
---

# Barker Gibbs

**Barker Gibbs** 是 Large Language Gibbs 框架中的一种核变体，使用 LLM 的**判别能力**（而非生成能力）来实现 Gibbs 重采样。相比 Basic Gibbs 的直接条件采样，Barker Gibbs 更适合指令微调模型（其生成概率可能未被良好校准）。

## 核心机制

Barker Gibbs 将 LLM 用作偏好比较器：

1. **提议**：从均匀分布 q(·) 中抽取候选值 X_i'
2. **比较**：向 LLM 展示当前值 X_i 和候选值 X_i'，询问"哪个更合理"
3. **接受**：根据 Barker 规则计算接受概率

```
p^LM(X_i' ≻ X_i | X_{-i}) = q^*(X_{-i}, X_i') / (q^*(X_{-i}, X_i) + q^*(X_{-i}, X_i'))
```

## 与 Basic Gibbs 的对比

| 维度 | Basic Gibbs | Barker Gibbs |
|------|-----------|-------------|
| LLM 使用方式 | 生成式（采样） | 判别式（比较） |
| 适用模型 | base + instruct | 更适合 instruct |
| 校准要求 | 需要校准的生成概率 | 仅需判别性偏好 |
| 概率保证 | 直接近似条件分布 | Barker 规则保证稳态不变 |

## 为什么需要

指令微调模型（如 RLHF 后的模型）的生成概率往往未被良好校准——模型可能对某些 token 过于自信或犹豫。Barker Gibbs 绕过了这个问题：LLM 只需做"二选一"偏好判断，这通常比生成完整样本更可靠。

## 在 Large Language Gibbs 中的位置

Barker Gibbs 是 Basic Gibbs 的**互补方案**——当 LLM 的生成条件不可靠时，改用判别条件；当两者都可用时，Barker Gibbs 的稳态分布与 Basic Gibbs 的稳态分布一致（在 Barker 规则假设下）。

## 参考

- Barker, A. A. (1965) — Barker's rule 原始文献
- [[large-language-gibbs]] — 提出 Barker Gibbs 的论文
- [[gambling-gibbs]] — 另一种判别式核变体
- [[llm-mcmc]] — LLM + MCMC 的整体框架