20260625:很多新内容

papers/large-language-gibbs.md

@@ -0,0 +1,87 @@
+---
+title: "Structured Inference with Large Language Gibbs"
+created: 2026-06-25
+updated: 2026-06-25
+type: paper
+tags: [mcmc, gibbs-sampling, llm, probabilistic-inference, bayesian, structure-learning, reasoning]
+sources:
+  - https://arxiv.org/abs/2606.19264
+  - https://github.com/hyeok9855/large-language-gibbs
+---
+
+# Large Language Gibbs
+
+**Large Language Gibbs** 是由 Edinburgh 团队（Choi, Gouk, Whitammer）提出的结构化概率推断框架。核心创新在于：**将 LLM 的条件分布作为 Gibbs 采样的转移算子**，通过迭代重采样消除自回归生成的顺序偏差，实现更可靠的联合分布采样。
+
+## 核心方法论
+
+### 1. Gibbs 采样与 LLM 条件分布
+
+标准 Gibbs 采样从联合分布中采样：随机选择变量 i，从 p(X_i | X_{-i}) 重采样。Large Language Gibbs 用 LLM 的 next-token conditional 近似这些单变量条件分布：
+
+```
+q_i^LM(X_i | X_{-i}) = E_{σ_{-i}}[p^LM(X_i | seq(X_{-i}, σ_{-i}) ⊕ [c_i])]
+```
+
+**关键设计**：每次重采样前将其他变量**随机排列**（random permutation），消除固定序列顺序的偏差。
+
+### 2. 稳态分布 q^sym
+
+论文证明了链的稳态分布为：
+
+```
+q^sym(X) = E_σ[p^LM(seq(X, σ))]
+```
+
+即：对所有变量排列下 LLM 似然的期望。当 LLM 满足排列不变性假设时，q^sym 的各单变量条件与 LLM 的条件分布一致。即使假设不完全成立，随机排列也显著降低了顺序偏差。
+
+### 3. 三类核变体
+
+| 核 | 机制 | 优势 |
+|----|------|------|
+| **Basic Gibbs** | 直接从 LLM 的条件分布采样 | 最直接 |
+| **[[barker-gibbs|Barker Gibbs]]** | LLM 在 current 和 candidate 之间做偏好比较，Barker 规则决定接受率 | 利用判别能力，克服 base model 采样偏差 |
+| **[[gambling-gibbs|Gambling Gibbs]]** | LLM 判断是否愿意对 candidate 下注，greedy decoding | 无需校准概率，仅需二值判断 |
+
+### 4. 实用变体
+
+- **Sweeping Gibbs**：按固定顺序循环更新（加速收敛）
+- **Block Gibbs**：一次重采样 B>1 个变量（在高度相关变量中跳出局部模式）
+
+## 应用
+
+### 合成分布采样（§4）
+
+LLM 独立采样有强偏差（如 Llama-3.1-8B 对 Uniform 分布的采样偏向低值），批量采样有高自相关。Gibbs 迭代更新显著纠正了这两种问题。
+
+### 一致性推理（§5.1）
+
+在 TruthfulQA 和 GSM8K-Verification 上，Gibbs 采样通过迭代条件更新确保相关问题的答案一致性。相比 ICM 的启发式最大化，Gibbs 提供了有理论保证的替代方案。
+
+### 贝叶斯结构学习（§5.2）
+
+使用 Gibbs 生成合成数据 D_LLM，构造 world-knowledge 驱动的先验：
+
+```
+P(G | D; D_LLM, γ) ∝ P_0(G) P(D_LLM | G)^γ P(D | G)
+```
+
+在 limited data 下，LLM 先验帮助消歧义马尔可夫等价的 DAG 结构。
+
+## 算法流程
+
+1. **初始化**：自回归生成所有变量的初值 X_1, ..., X_n
+2. **迭代**（t = 1, ..., T）：
+   - 随机选择变量 i
+   - 随机排列其他变量 σ_{-i}
+   - 从 p^LM(X_i | seq(X_{-i}, σ_{-i}) ⊕ [c_i]) 重采样 X_i
+3. **后处理**：burn-in 丢弃 + thinning 间隔采样
+
+## 参考
+
+- [原始存档](raw/papers/large-language-gibbs-2026.md)
+- [[barker-gibbs]]
+- [[gambling-gibbs]]
+- [[llm-mcmc]]
+- [[order-bias-removal]]
+- [[llm-consistent-reasoning]]