3.3 KiB
3.3 KiB
title, created, updated, type, tags, sources
| title | created | updated | type | tags | sources | |||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| Structured Inference with Large Language Gibbs | 2026-06-25 | 2026-06-25 | paper |
|
|
Large Language Gibbs
Large Language Gibbs 是由 Edinburgh 团队（Choi, Gouk, Whitammer）提出的结构化概率推断框架。核心创新在于：将 LLM 的条件分布作为 Gibbs 采样的转移算子，通过迭代重采样消除自回归生成的顺序偏差，实现更可靠的联合分布采样。
核心方法论
1. Gibbs 采样与 LLM 条件分布
标准 Gibbs 采样从联合分布中采样：随机选择变量 i，从 p(X_i | X_{-i}) 重采样。Large Language Gibbs 用 LLM 的 next-token conditional 近似这些单变量条件分布：
q_i^LM(X_i | X_{-i}) = E_{σ_{-i}}[p^LM(X_i | seq(X_{-i}, σ_{-i}) ⊕ [c_i])]
关键设计：每次重采样前将其他变量随机排列（random permutation），消除固定序列顺序的偏差。
2. 稳态分布 q^sym
论文证明了链的稳态分布为：
q^sym(X) = E_σ[p^LM(seq(X, σ))]
即：对所有变量排列下 LLM 似然的期望。当 LLM 满足排列不变性假设时，q^sym 的各单变量条件与 LLM 的条件分布一致。即使假设不完全成立，随机排列也显著降低了顺序偏差。
3. 三类核变体
| 核 | 机制 | 优势 |
|---|---|---|
| Basic Gibbs | 直接从 LLM 的条件分布采样 | 最直接 |
| **[[barker-gibbs | Barker Gibbs]]** | LLM 在 current 和 candidate 之间做偏好比较，Barker 规则决定接受率 |
| **[[gambling-gibbs | Gambling Gibbs]]** | LLM 判断是否愿意对 candidate 下注，greedy decoding |
4. 实用变体
- Sweeping Gibbs：按固定顺序循环更新（加速收敛）
- Block Gibbs：一次重采样 B>1 个变量（在高度相关变量中跳出局部模式）
应用
合成分布采样（§4）
LLM 独立采样有强偏差（如 Llama-3.1-8B 对 Uniform 分布的采样偏向低值），批量采样有高自相关。Gibbs 迭代更新显著纠正了这两种问题。
一致性推理（§5.1）
在 TruthfulQA 和 GSM8K-Verification 上，Gibbs 采样通过迭代条件更新确保相关问题的答案一致性。相比 ICM 的启发式最大化，Gibbs 提供了有理论保证的替代方案。
贝叶斯结构学习（§5.2）
使用 Gibbs 生成合成数据 D_LLM，构造 world-knowledge 驱动的先验：
P(G | D; D_LLM, γ) ∝ P_0(G) P(D_LLM | G)^γ P(D | G)
在 limited data 下，LLM 先验帮助消歧义马尔可夫等价的 DAG 结构。
算法流程
- 初始化：自回归生成所有变量的初值 X_1, ..., X_n
- 迭代（t = 1, ..., T）：
- 随机选择变量 i
- 随机排列其他变量 σ_{-i}
- 从 p^LM(X_i | seq(X_{-i}, σ_{-i}) ⊕ [c_i]) 重采样 X_i
- 后处理：burn-in 丢弃 + thinning 间隔采样