myWiki/concepts/order-bias-removal.md

title, created, updated, type, tags, sources

title	created	updated	type	tags	sources
Order Bias Removal	2026-06-25	2026-06-25	concept	bias llm permutation gibbs-sampling probabilistic-inference	large-language-gibbs

Order Bias Removal

Order Bias Removal（顺序偏差消除）是 Large Language Gibbs 框架中的关键技术，通过随机排列（random permutation）消除自回归 LLM 中因变量序列化顺序导致的系统性偏差。

问题：自回归的顺序偏差

自回归 LLM 在生成多个变量时，生成顺序会影响结果：

• 近因效应（recency effect）：后生成的变量受到最近生成的变量的过度影响
• 上下文忽略（context ignorance）：先生成的变量被后续生成"遗忘"
• 首因效应（primacy effect）：首个变量的生成对后续所有变量有不成比例的影响

这些偏差意味着：从 LLM 的条件分布 p^LM(X_i | X_1, ..., X_{i-1}) 中采样，得到的不一定是"给定所有其他变量"的公平条件分布。

解决方案：随机排列

Large Language Gibbs 的解决方案是用**随机排列（random permutation）**来"对称化"条件分布：

q_i^LM(X_i | X_{-i}) = E_{σ_{-i}}[p^LM(X_i | seq(X_{-i}, σ_{-i}) ⊕ [c_i])]

每次重采样前，将除目标变量外的所有变量随机打乱顺序，再序列化为 prompt。

理论保证

在排列不变性假设（Assumption 3.1）下，随机排列的条件分布等价于对称化联合 q^sym 的单变量条件：

q^sym(X) = E_σ[p^LM(seq(X, σ))]

即使排列不变性不完全成立，随机排列也比任何固定顺序更接近对称化条件——因为它在期望上消除了一次性的顺序选择偏差。

实践意义

• 消除首因/近因效应：每个变量的重采样使用不同的变量顺序
• 不依赖 LLM 的排列不变性：即使 LLM 有明显的位置偏好，期望也能中和
• 代价：每次重采样需要额外的随机化步骤，但不增加额外 LLM 调用

参考

• large-language-gibbs — 首次在 LLM-Gibbs 中系统化地使用随机排列
• llm-mcmc