myWiki/raw/papers/large-language-gibbs-2026.md

Structured Inference with Large Language Gibbs

• arXiv: 2606.19264v1
• Published: 2026-06-17
• Authors: Sanghyeok Choi, Henry Gouk, Esmeralda S. Whitammer (University of Edinburgh, CIFAR)
• Categories: cs.LG, cs.CL
• Code: https://github.com/hyeok9855/large-language-gibbs
• Source: https://arxiv.org/abs/2606.19264

Abstract

Large Language Gibbs 是一种结构化概率推断方案，将 LLM 的条件分布用作 Gibbs 采样的转移算子（transition operator）。核心思想：不通过单次自回归生成结构化对象，而是迭代地根据其他变量重新采样单个变量（利用 LLM 的 next-token conditional）。这种方法避免了生成顺序依赖的偏差，产生的稳态分布反映了所有局部条件之间的折衷。应用于合成分布采样、一致性推理（GSM8K/TruthfulQA）和贝叶斯结构学习。

Key Contributions

1. 将 LLM 条件分布形式化为 Gibbs 采样转移算子，给出稳态分布 q^sym 的理论刻画
2. 提出三类核变体：Basic Gibbs（直接条件采样）、Barker Gibbs（偏好比较）、Gambling Gibbs（赌博决策）
3. 随机排列策略消除变量顺序偏差
4. 三个应用场景验证：采样偏差纠正、一致性推理、因果结构先验