20 lines
1.2 KiB
Markdown
20 lines
1.2 KiB
Markdown
# Structured Inference with Large Language Gibbs
|
||
|
||
- **arXiv**: 2606.19264v1
|
||
- **Published**: 2026-06-17
|
||
- **Authors**: Sanghyeok Choi, Henry Gouk, Esmeralda S. Whitammer (University of Edinburgh, CIFAR)
|
||
- **Categories**: cs.LG, cs.CL
|
||
- **Code**: https://github.com/hyeok9855/large-language-gibbs
|
||
- **Source**: https://arxiv.org/abs/2606.19264
|
||
|
||
## Abstract
|
||
|
||
Large Language Gibbs 是一种结构化概率推断方案，将 LLM 的条件分布用作 Gibbs 采样的转移算子（transition operator）。核心思想：不通过单次自回归生成结构化对象，而是迭代地根据其他变量重新采样单个变量（利用 LLM 的 next-token conditional）。这种方法避免了生成顺序依赖的偏差，产生的稳态分布反映了所有局部条件之间的折衷。应用于合成分布采样、一致性推理（GSM8K/TruthfulQA）和贝叶斯结构学习。
|
||
|
||
## Key Contributions
|
||
|
||
1. 将 LLM 条件分布形式化为 Gibbs 采样转移算子，给出稳态分布 q^sym 的理论刻画
|
||
2. 提出三类核变体：Basic Gibbs（直接条件采样）、Barker Gibbs（偏好比较）、Gambling Gibbs（赌博决策）
|
||
3. 随机排列策略消除变量顺序偏差
|
||
4. 三个应用场景验证：采样偏差纠正、一致性推理、因果结构先验
|