20260625:很多新内容

reviews/large-language-gibbs-2026-06-25.md

@@ -0,0 +1,46 @@
+---
+title: "Large Language Gibbs Review"
+created: 2026-06-25
+updated: 2026-06-25
+type: review
+tags: [mcmc, llm, gibbs-sampling, probabilistic-inference]
+sources:
+  - "[[large-language-gibbs]]"
+---
+
+# Large Language Gibbs — Review
+
+📌 **基本信息**
+- 论文：Structured Inference with Large Language Gibbs
+- 作者：Sanghyeok Choi, Henry Gouk, Esmeralda S. Whitammer（University of Edinburgh, CIFAR）
+- 领域：概率推断 / LLM（cs.LG, cs.CL）
+- arXiv：2606.19264
+- 添加时间：2026-06-25
+
+🎯 **核心概念**
+
+1. **[[llm-mcmc]]** — 将 LLM 条件分布用作 MCMC 转移算子的伞形框架
+2. **[[barker-gibbs]]** — LLM 偏好比较 + Barker 规则的判别式 Gibbs 核
+3. **[[gambling-gibbs]]** — 将接受/拒绝转化为赌博决策，仅需二值判断
+4. **[[order-bias-removal]]** — 随机排列消除自回归生成的顺序偏差
+5. **[[llm-consistent-reasoning]]** — Gibbs 迭代更新确保相关问题答案一致性
+
+🔗 **概念网络**
+
+- **新增概念**：5 个
+- **核心连接**：large-language-gibbs ↔ llm-mcmc ↔ barker-gibbs / gambling-gibbs / order-bias-removal ↔ llm-consistent-reasoning
+
+📚 **Wiki 集成**
+
+- 新增页面：6 个（1 论文 + 5 概念）
+- 链接密度：核心概念平均 4+ 交叉引用
+
+💡 **关键洞察**
+
+1. **LLM 不是生成器，是条件分布 oracle**：这篇论文的核心范式转变在于——不把 LLM 当作"一次生成完整答案"的系统，而是当作"给定其他变量，这个变量最可能是什么"的条件查询引擎。Gibbs 迭代将这种查询转化为从隐式联合分布中的采样。
+
+2. **随机排列是廉价且有效的偏差消除器**：消除自回归 LLM 的顺序偏差不需要训练或微调——只需在每次条件查询前把其他变量随机打乱。这个简单的技巧配合期望聚合，在理论上将任意顺序的条件映射到对称化的联合分布。
+
+3. **判别 vs 生成的 LLM 能力分离**：Barker Gibbs 和 Gambling Gibbs 都利用 LLM 的判别能力（"哪个更合理？"）而非生成能力。对于 RLHF 后概率校准不佳的指令模型，这是关键实用贡献——二选一比生成完整样本可靠得多。
+
+4. **贝叶斯先验引出是 LLM 的结构化知识提取路径**：第 5.2 节的 DAG 结构学习展示了 LLM 如何在不产生最终答案的情况下贡献价值——作为先验信息源，在数据稀缺时为贝叶斯推断提供额外的结构约束。这比"让 LLM 直接回答因果问题"更 principled。