88 lines
3.3 KiB
Markdown
88 lines
3.3 KiB
Markdown
---
|
||
title: "Structured Inference with Large Language Gibbs"
|
||
created: 2026-06-25
|
||
updated: 2026-06-25
|
||
type: paper
|
||
tags: [mcmc, gibbs-sampling, llm, probabilistic-inference, bayesian, structure-learning, reasoning]
|
||
sources:
|
||
- https://arxiv.org/abs/2606.19264
|
||
- https://github.com/hyeok9855/large-language-gibbs
|
||
---
|
||
|
||
# Large Language Gibbs
|
||
|
||
**Large Language Gibbs** 是由 Edinburgh 团队（Choi, Gouk, Whitammer）提出的结构化概率推断框架。核心创新在于：**将 LLM 的条件分布作为 Gibbs 采样的转移算子**，通过迭代重采样消除自回归生成的顺序偏差，实现更可靠的联合分布采样。
|
||
|
||
## 核心方法论
|
||
|
||
### 1. Gibbs 采样与 LLM 条件分布
|
||
|
||
标准 Gibbs 采样从联合分布中采样：随机选择变量 i，从 p(X_i | X_{-i}) 重采样。Large Language Gibbs 用 LLM 的 next-token conditional 近似这些单变量条件分布：
|
||
|
||
```
|
||
q_i^LM(X_i | X_{-i}) = E_{σ_{-i}}[p^LM(X_i | seq(X_{-i}, σ_{-i}) ⊕ [c_i])]
|
||
```
|
||
|
||
**关键设计**：每次重采样前将其他变量**随机排列**（random permutation），消除固定序列顺序的偏差。
|
||
|
||
### 2. 稳态分布 q^sym
|
||
|
||
论文证明了链的稳态分布为：
|
||
|
||
```
|
||
q^sym(X) = E_σ[p^LM(seq(X, σ))]
|
||
```
|
||
|
||
即：对所有变量排列下 LLM 似然的期望。当 LLM 满足排列不变性假设时，q^sym 的各单变量条件与 LLM 的条件分布一致。即使假设不完全成立，随机排列也显著降低了顺序偏差。
|
||
|
||
### 3. 三类核变体
|
||
|
||
| 核 | 机制 | 优势 |
|
||
|----|------|------|
|
||
| **Basic Gibbs** | 直接从 LLM 的条件分布采样 | 最直接 |
|
||
| **[[barker-gibbs|Barker Gibbs]]** | LLM 在 current 和 candidate 之间做偏好比较，Barker 规则决定接受率 | 利用判别能力，克服 base model 采样偏差 |
|
||
| **[[gambling-gibbs|Gambling Gibbs]]** | LLM 判断是否愿意对 candidate 下注，greedy decoding | 无需校准概率，仅需二值判断 |
|
||
|
||
### 4. 实用变体
|
||
|
||
- **Sweeping Gibbs**：按固定顺序循环更新（加速收敛）
|
||
- **Block Gibbs**：一次重采样 B>1 个变量（在高度相关变量中跳出局部模式）
|
||
|
||
## 应用
|
||
|
||
### 合成分布采样（§4）
|
||
|
||
LLM 独立采样有强偏差（如 Llama-3.1-8B 对 Uniform 分布的采样偏向低值），批量采样有高自相关。Gibbs 迭代更新显著纠正了这两种问题。
|
||
|
||
### 一致性推理（§5.1）
|
||
|
||
在 TruthfulQA 和 GSM8K-Verification 上，Gibbs 采样通过迭代条件更新确保相关问题的答案一致性。相比 ICM 的启发式最大化，Gibbs 提供了有理论保证的替代方案。
|
||
|
||
### 贝叶斯结构学习（§5.2）
|
||
|
||
使用 Gibbs 生成合成数据 D_LLM，构造 world-knowledge 驱动的先验：
|
||
|
||
```
|
||
P(G | D; D_LLM, γ) ∝ P_0(G) P(D_LLM | G)^γ P(D | G)
|
||
```
|
||
|
||
在 limited data 下，LLM 先验帮助消歧义马尔可夫等价的 DAG 结构。
|
||
|
||
## 算法流程
|
||
|
||
1. **初始化**：自回归生成所有变量的初值 X_1, ..., X_n
|
||
2. **迭代**（t = 1, ..., T）：
|
||
- 随机选择变量 i
|
||
- 随机排列其他变量 σ_{-i}
|
||
- 从 p^LM(X_i | seq(X_{-i}, σ_{-i}) ⊕ [c_i]) 重采样 X_i
|
||
3. **后处理**：burn-in 丢弃 + thinning 间隔采样
|
||
|
||
## 参考
|
||
|
||
- [原始存档](raw/papers/large-language-gibbs-2026.md)
|
||
- [[barker-gibbs]]
|
||
- [[gambling-gibbs]]
|
||
- [[llm-mcmc]]
|
||
- [[order-bias-removal]]
|
||
- [[llm-consistent-reasoning]]
|