---
title: "Order Bias Removal"
created: 2026-06-25
updated: 2026-06-25
type: concept
tags: [bias, llm, permutation, gibbs-sampling, probabilistic-inference]
sources:
  - "[[large-language-gibbs]]"
---

# Order Bias Removal

**Order Bias Removal**（顺序偏差消除）是 Large Language Gibbs 框架中的关键技术，通过随机排列（random permutation）消除自回归 LLM 中因变量序列化顺序导致的系统性偏差。

## 问题：自回归的顺序偏差

自回归 LLM 在生成多个变量时，生成顺序会影响结果：

- **近因效应（recency effect）**：后生成的变量受到最近生成的变量的过度影响
- **上下文忽略（context ignorance）**：先生成的变量被后续生成"遗忘"
- **首因效应（primacy effect）**：首个变量的生成对后续所有变量有不成比例的影响

这些偏差意味着：从 LLM 的条件分布 p^LM(X_i | X_1, ..., X_{i-1}) 中采样，得到的不一定是"给定所有其他变量"的公平条件分布。

## 解决方案：随机排列

Large Language Gibbs 的解决方案是用**随机排列（random permutation）**来"对称化"条件分布：

```
q_i^LM(X_i | X_{-i}) = E_{σ_{-i}}[p^LM(X_i | seq(X_{-i}, σ_{-i}) ⊕ [c_i])]
```

每次重采样前，将除目标变量外的所有变量随机打乱顺序，再序列化为 prompt。

## 理论保证

在排列不变性假设（Assumption 3.1）下，随机排列的条件分布等价于对称化联合 q^sym 的单变量条件：

```
q^sym(X) = E_σ[p^LM(seq(X, σ))]
```

即使排列不变性不完全成立，随机排列也比任何固定顺序更接近对称化条件——因为它在期望上消除了一次性的顺序选择偏差。

## 实践意义

- **消除首因/近因效应**：每个变量的重采样使用不同的变量顺序
- **不依赖 LLM 的排列不变性**：即使 LLM 有明显的位置偏好，期望也能中和
- **代价**：每次重采样需要额外的随机化步骤，但不增加额外 LLM 调用

## 参考

- [[large-language-gibbs]] — 首次在 LLM-Gibbs 中系统化地使用随机排列
- [[llm-mcmc]]