---
title: "GFlowNet 微调"
created: 2026-05-12
updated: 2026-05-12
type: concept
tags: ["gflownet", "reinforcement-learning", "llm-fine-tuning"]
sources: ["arxiv:2311.09278", "arxiv:2503.18929", "arxiv:2402.15211"]
---

# GFlowNet 微调

**GFlowNet 微调** 是使用 Generative Flow Networks (GFlowNets) 的目标函数对 LLM 进行后训练的方法，核心优势是 **off-policy 兼容** 和 **多样性采样**。

## GFlowNets 基础

GFlowNets 训练层次化生成模型，使其从给定未归一化密度（奖励函数）按比例采样：$\pi_\theta(x) \propto R(x)$。

关键区别：GFlowNets 学习的是**分布匹配**而非奖励最大化——自然产生多样化输出。

### 三种主要目标

| 目标 | 公式 | 特点 |
|------|------|------|
| Flow Matching (FM) | $\sum_{s' \to s} F(s') = \sum_{s \to s''} F(s)$ | 最基础 |
| Detailed Balance (DB) | $F(s)P_F(s'|s) = F(s')P_B(s|s')$ | 前后向一致 |
| **Trajectory Balance (TB)** | $(\log \frac{Z\prod P_F}{R})^2$ | **用于 LLM 微调** |

## LLM 应用

### Hu et al. (ICLR 2024) — GFlowNet Fine-Tuning

首次将 GFlowNets 用于 LLM 微调，利用 off-policy 性质进行 KL 正则化 RL 推理。

### Lee et al. (ICLR 2025) — Red-Teaming

使用 TB + MLE smoothing 生成多样化、可迁移的对抗攻击提示。

### Bartoldson et al. (NeurIPS 2025) — TBA

将 TB 目标扩展到分布式异步 RL，实现 4×–50× 加速。参见 [[tba|TBA]] 和 [[trajectory-balance-objective|TB 目标]]。

## 为什么 GFlowNets 适合 LLM？

1. **Off-Policy**：不需要当前策略数据 → 支持 replay buffer / 异步训练
2. **多样性**：学习分布而非最大值 → 避免 mode collapse
3. **无 Critic**：不需要价值网络 → 绕开 LLM 中价值估计的困难
4. **与 REINFORCE 等价**：TB\_VarGrad 梯度 = mean-baseline REINFORCE + KL reward

## 相关概念

- [[trajectory-balance-objective]] — TB 目标详解
- [[tba|TBA]] — 异步分布式实现
- [[off-policy-llm-post-training]] — Off-policy 范式
- [[bartoldson-tba-2025|论文页面]]