47 lines
2.5 KiB
Markdown
47 lines
2.5 KiB
Markdown
---
|
||
title: "Large Language Gibbs Review"
|
||
created: 2026-06-25
|
||
updated: 2026-06-25
|
||
type: review
|
||
tags: [mcmc, llm, gibbs-sampling, probabilistic-inference]
|
||
sources:
|
||
- "[[large-language-gibbs]]"
|
||
---
|
||
|
||
# Large Language Gibbs — Review
|
||
|
||
📌 **基本信息**
|
||
- 论文：Structured Inference with Large Language Gibbs
|
||
- 作者：Sanghyeok Choi, Henry Gouk, Esmeralda S. Whitammer（University of Edinburgh, CIFAR）
|
||
- 领域：概率推断 / LLM（cs.LG, cs.CL）
|
||
- arXiv：2606.19264
|
||
- 添加时间：2026-06-25
|
||
|
||
🎯 **核心概念**
|
||
|
||
1. **[[llm-mcmc]]** — 将 LLM 条件分布用作 MCMC 转移算子的伞形框架
|
||
2. **[[barker-gibbs]]** — LLM 偏好比较 + Barker 规则的判别式 Gibbs 核
|
||
3. **[[gambling-gibbs]]** — 将接受/拒绝转化为赌博决策，仅需二值判断
|
||
4. **[[order-bias-removal]]** — 随机排列消除自回归生成的顺序偏差
|
||
5. **[[llm-consistent-reasoning]]** — Gibbs 迭代更新确保相关问题答案一致性
|
||
|
||
🔗 **概念网络**
|
||
|
||
- **新增概念**：5 个
|
||
- **核心连接**：large-language-gibbs ↔ llm-mcmc ↔ barker-gibbs / gambling-gibbs / order-bias-removal ↔ llm-consistent-reasoning
|
||
|
||
📚 **Wiki 集成**
|
||
|
||
- 新增页面：6 个（1 论文 + 5 概念）
|
||
- 链接密度：核心概念平均 4+ 交叉引用
|
||
|
||
💡 **关键洞察**
|
||
|
||
1. **LLM 不是生成器，是条件分布 oracle**：这篇论文的核心范式转变在于——不把 LLM 当作"一次生成完整答案"的系统，而是当作"给定其他变量，这个变量最可能是什么"的条件查询引擎。Gibbs 迭代将这种查询转化为从隐式联合分布中的采样。
|
||
|
||
2. **随机排列是廉价且有效的偏差消除器**：消除自回归 LLM 的顺序偏差不需要训练或微调——只需在每次条件查询前把其他变量随机打乱。这个简单的技巧配合期望聚合，在理论上将任意顺序的条件映射到对称化的联合分布。
|
||
|
||
3. **判别 vs 生成的 LLM 能力分离**：Barker Gibbs 和 Gambling Gibbs 都利用 LLM 的判别能力（"哪个更合理？"）而非生成能力。对于 RLHF 后概率校准不佳的指令模型，这是关键实用贡献——二选一比生成完整样本可靠得多。
|
||
|
||
4. **贝叶斯先验引出是 LLM 的结构化知识提取路径**：第 5.2 节的 DAG 结构学习展示了 LLM 如何在不产生最终答案的情况下贡献价值——作为先验信息源，在数据稀缺时为贝叶斯推断提供额外的结构约束。这比"让 LLM 直接回答因果问题"更 principled。
|