跳转至

torchgfn: A PyTorch GFlowNet Library

作者: Joseph D. Viviano, Omar G. Younis, Sanghyeok Choi, Victor Schmidt, Yoshua Bengio et al.
来源: JMLR
主题: 统计计算 / 算法
相关性: 3/10
机构绿灯: University of Edinburgh(US News 前 50,免分进入精读)
链接: 期刊页 · arXiv


一、领域脉络与小综述

这个方向是什么

本文所服务的核心方向是生成流网络(Generative Flow Networks, GFlowNets)——一类用于从给定非归一化目标分布(reward function R)中采样组合对象(如分子图、序列、图结构)的生成模型。其根本的统计问题是:如何训练一个随机策略(stochastic policy),使得按该策略生成的对象的概率与其 reward 成正比,即 π(x) ∝ R(x)。与 MCMC 不同,GFlowNets 通过训练一个前馈(amortized)生成策略来"一次性"完成采样,避免了逐点局部探索的高昂代价;与标准强化学习(reward maximization)不同,GFlowNets 的目标不是找到单一最优解,而是以正比于 reward 的概率生成多样化的高 reward 对象。该方向当前处于快速发展期:自 2021 年提出以来,理论框架(Bengio et al., 2023b)已建立,但开源工具链仍不成熟,各实验室的代码实现彼此割裂,缺乏统一标准。

发展脉络(history)

  • 奠基工作:Bengio et al. (2021) 提出 GFlowNets 的基本框架,将生成过程建模为有向无环图(DAG)上的流网络,通过流匹配(flow matching)条件训练策略,使得生成概率与 reward 成正比。该工作确立了"用流守恒条件替代 reward 最大化"的核心思想,并展示了在超网格(HyperGrid)等合成环境中的可行性。
  • 理论深化:Bengio et al. (2023b, "GFlowNet Foundations") 在 JMLR 上系统化地建立了 GFlowNets 的理论基础,给出了流匹配、详细平衡(detailed balance)和轨迹平衡(trajectory balance)等训练目标的统一视角,并证明了这些目标的最优解等价于精确的 reward-proportional 采样。该工作还探讨了 GFlowNets 与变分推断、能量模型之间的联系,为后续扩展提供了理论支撑。
  • 算法改进:Malkin et al. (2022) 提出轨迹平衡(Trajectory Balance, TB)损失,显著改善了长轨迹上的信用分配问题,成为后续最常用的训练目标之一。Madan et al. (2023) 提出子轨迹平衡(SubTB(λ)),在 TB 与详细平衡之间插值,实现了偏差-方差权衡的显式控制。Zhang et al. (2023) 提出对数分区方差损失,进一步稳定了训练。
  • 应用扩展:Deleu et al. (2022) 将 GFlowNets 应用于贝叶斯结构学习,将 DAG 后验采样转化为 GFlowNet 训练问题;Lahlou et al. (2023) 将理论推广到连续状态空间;Zhang et al. (2024) 将 GFlowNets 与扩散模型结合,用于连续分布的 amortized 采样;Kim et al. (2024) 提出局部搜索 GFlowNets,通过回溯与重建机制提升高 reward 区域的利用效率。
  • 生态建设:Tiapkin et al. (2025) 发布 gfnx——一个基于 JAX 的 GFlowNets 库,主打 JIT 编译带来的速度优势(在 CPU 序列生成任务上比 PyTorch 实现快最高 55 倍,GPU 贝叶斯结构学习快最高 80 倍),但仅支持离散环境。本文(torchgfn) 则定位为 PyTorch 生态下的通用库,强调模块化与可扩展性,填补了"通用、易用、支持连续与图环境"的空白。

子线索聚类

被引文献大致落在三条子线索上:

  1. 理论框架与训练目标(Bengio et al. 2021, 2023b; Malkin et al. 2022; Madan et al. 2023; Zhang et al. 2023):这一簇在回答"如何设计训练损失使得 GFlowNet 收敛到 reward-proportional 采样",核心工具是流守恒条件与各种平衡条件的松弛形式。
  2. 应用驱动的方法创新(Deleu et al. 2022; Kim et al. 2024; Laajil et al. 2025):这一簇将 GFlowNets 应用到具体领域(贝叶斯结构学习、分子生成、mRNA 序列设计),并针对领域特性提出算法改进(如局部搜索、课程学习)。
  3. 工程实现与工具链(Paszke et al. 2019; Bou et al. 2023; Tiapkin et al. 2025; 本文):这一簇关注如何将 GFlowNets 落地为可复现、可扩展的软件,核心权衡是易用性 vs. 性能、通用性 vs. 领域特化。

这个方向在追问的核心问题

  1. 训练效率:如何设计损失函数与采样策略,使得 GFlowNet 在长轨迹、大动作空间、稀疏 reward 的环境中仍能高效收敛?(对应 TB、SubTB、局部搜索等方法的动机)
  2. 泛化能力:GFlowNet 训练出的策略能否泛化到训练中未见过的目标分布(即条件 GFlowNets 的泛化误差)?
  3. 连续与混合状态空间:如何将 GFlowNets 从离散组合对象推广到连续或混合空间(Lahlou et al. 2023; Zhang et al. 2024)?
  4. 可复现性与标准化:不同论文的实验设置、环境定义、评估指标差异巨大,如何建立统一的基准?

已知瓶颈:GFlowNets 的训练对超参数敏感,且缺乏理论指导下的初始化策略;现有实现多为特定任务的"一次性代码",难以复用;JAX 版本(gfnx)虽快但生态封闭,PyTorch 版本(本文)虽通用但性能落后 10–20 倍。

⚠️ 作者的 framing(这是作者的说法)

作者将缺口 frame 为:"现有开源代码要么领域特化(recursion、gfnx),要么性能优先于可扩展性(gfnx),缺乏一个通用、模块化、以研究可扩展性为首要设计的 PyTorch 库。" 因此本文的定位是"研究基础设施",而非新算法。作者淡化的竞争路线包括:gfnx 的性能优势(仅在附录 E.3 中承认"10–20 倍慢于 gfnx",但归因于 JIT 编译的固有优势,并暗示 PyTorch 生态的易用性更重要);recursion 的领域成熟度(仅一句"专门用于分子生成"带过)。明显该被引却没出现在 intro 里的:没有引用任何关于 GFlowNets 与 MCMC/变分推断对比的实证研究(如采样质量、混合时间的比较),也没有引用关于 GFlowNets 理论收敛速度的工作(如非渐近界)——这些缺失暗示作者刻意将本文定位为"工具"而非"方法",回避了"GFlowNets 是否真的比现有采样方法更好"这一根本问题。

张力

未见明显对立引用。但存在一个隐含张力:gfnx 声称"速度优先"而 torchgfn 声称"可扩展性优先",两者对"好库"的定义不同,且 gfnx 的 JIT 编译与 torchgfn 的模块化设计在架构上互斥(JIT 需要静态图,模块化需要动态图)。这一张力在附录 E.3 的基准测试中体现为:torchgfn 在速度上全面落后,但作者未讨论"如果用户需要连续环境或自定义损失,gfnx 是否可用"——这暗示 gfnx 的"快"可能以牺牲通用性为代价。


二、最核心、最简单的例子 / 数学问题

第一步:符号、模型、可观测数据

在展开本文的技术细节之前,先建立 GFlowNets 的最小记号体系。以下记号贯穿全文,也是理解 GFlowNets 的通用语言:

  • 状态空间 S:所有可能的中间构造状态(partial objects)的集合。每个状态 s ∈ S 代表一个"部分完成"的对象(如部分构建的分子图、部分填充的序列)。特殊状态:初始状态 s₀(空对象)和终止状态 s_f(吸收态,表示构造完成)。
  • 动作空间 A:所有可能的构造动作的集合。在状态 s 下,合法动作集合记为 A(s) ⊆ A。执行动作 a ∈ A(s) 将状态从 s 转移到 s'(记作 s → s')。
  • 轨迹 τ:从 s₀ 出发、经过一系列动作到达终止状态 s_f 的完整路径,记作 τ = (s₀ → s₁ → … → s_n → s_f)。轨迹空间记为 T。
  • 终止状态 x:每个终止状态 x ∈ X ⊆ S 对应一个完整的对象(如一个完整的分子)。这是研究者最终关心的对象。
  • Reward 函数 R: X → ℝ₊:对每个完整对象 x 赋予一个非负的 reward。R(x) 越大,表示 x 越"好"。R 是给定的、非归一化的目标函数——GFlowNets 的目标是采样 x 的概率正比于 R(x),即 π(x) ∝ R(x)。注意:R 不是概率,不需要归一化。
  • 前向策略 P_F(·|s; θ):参数化的条件概率分布,给出在状态 s 下选择每个合法动作的概率。这是 GFlowNet 学习的主要对象(即"生成策略")。
  • 后向策略 P_B(·|s'; θ):参数化的条件概率分布,给出从状态 s' 回溯到其父状态 s 的概率。后向策略用于定义训练目标,不直接用于采样。
  • 流 F(s):通过状态 s 的"总流量",定义为所有经过 s 的轨迹的累积概率质量。在精确解中,F(s) = Σ_{τ ∋ s} P(τ),且满足流守恒条件:流入 s 的流量等于流出 s 的流量。
  • 可观测数据:在 GFlowNets 的训练中,没有"数据集"——数据是通过策略自身采样生成的。训练过程是:用当前策略 P_F 采样一批轨迹 → 计算损失(如 TB 损失)→ 更新参数 θ → 重新采样。因此,"可观测数据"是策略自身生成的轨迹及其对应的 reward。这与监督学习有本质区别:GFlowNets 是自举式(self-bootstrapping)的,训练分布随策略演化而改变。
  • 关键区分(可观测 vs. 不可观测):
  • 可观测:轨迹 τ、每个状态 s、每个动作 a、终止状态的 reward R(x)。
  • 不可观测:归一化常数 Z = Σ_x R(x)(即配分函数)、精确的流 F(s)、精确的生成概率 π(x)。这些是 GFlowNets 试图隐式估计的对象,但从不直接计算。

第二步:最小内核

GFlowNets 的核心数学问题可以剥离为以下最小形式:

问题:给定一个非归一化的 reward 函数 R: X → ℝ₊,学习一个随机策略 P_F,使得按 P_F 生成的终止状态 x 的概率 π(x) 满足 π(x) ∝ R(x)。

最简特例:考虑一个单步决策问题——从初始状态 s₀ 出发,一步到达终止状态 x(即每个 x 都是一个终止状态,且 A(s₀) = X)。此时没有中间状态,轨迹就是 τ = (s₀ → x)。

在这个特例下: - 前向策略退化为一个简单的分类分布 P_F(x|s₀) = π(x)。 - 目标退化为:学习 π(x) ∝ R(x)。

为什么这个特例是"最小内核":因为 GFlowNets 的所有训练目标(流匹配、详细平衡、轨迹平衡)在这个特例下都退化为同一个简单条件。以轨迹平衡(TB)损失为例,其一般形式为:

L_TB(τ) = [log(Z_θ) + Σ_{t=0}^{n-1} log P_F(s_{t+1}|s_t; θ) − log P_B(s_t|s_{t+1}; θ) − log R(x)]²

在单步特例下,n=1,P_B 退化为恒等(因为只有一个父状态 s₀),损失简化为:

L_TB(x) = [log(Z_θ) + log π_θ(x) − log R(x)]²

这个损失在做什么:它试图让 log(Z_θ) + log π_θ(x) 逼近 log R(x)。如果对所有 x 都成立,则 π_θ(x) = R(x)/Z_θ,即 π_θ ∝ R。Z_θ 是一个可学习的标量参数,用于隐式估计配分函数 Z。

证明为什么成立:对 L_TB 关于 θ 求梯度,当损失对所有 x 都达到 0 时,有 log π_θ(x) = log R(x) − log Z_θ,即 π_θ(x) ∝ R(x)。关键点:这个条件不依赖于轨迹的长度或结构——单步情形下成立的等式,在多步情形下通过"轨迹分解"(将 π(x) 分解为各步策略的乘积)依然成立。这就是为什么 GFlowNets 能处理组合对象:它将"直接学习 π(x) ∝ R(x)"这一全局目标,分解为"在每一步学习局部策略使得全局比例性成立"的序列决策问题。

这个特例揭示了 GFlowNets 的本质:它不是在"优化"一个目标函数(如最大似然或 reward 最大化),而是在求解一个约束满足问题——找到一组策略参数,使得"生成概率 ∝ reward"这一约束在(近似)所有轨迹上成立。训练损失度量的是约束的违反程度,而非预测误差。

为什么这个特例是"最小"的:去掉它,GFlowNets 的许多设计选择(如为什么需要后向策略、为什么需要 Z_θ 参数)就失去了动机。理解了这个单步情形,多步情形只是"在每一步重复应用同一个约束"。


三、这篇论文做了什么

三句话

  1. 研究了什么问题:GFlowNets 领域缺乏一个通用、模块化、以研究可扩展性为首要设计的开源库,现有实现要么领域特化(分子生成)、要么牺牲易用性换取速度(JAX)。
  2. 核心工具 / 方法:设计并实现了一个基于 PyTorch 的 GFlowNets 库,其核心架构是解耦的组件化设计——将环境(Environment)、状态/动作表示(States/Actions)、策略估计器(Estimators)、采样器(Samplers)、训练目标(GFlowNet 子类)视为可独立替换的模块,通过统一的接口(如 PolicyMixin)连接。
  3. 主要结论:torchgfn 在保持 PyTorch 生态易用性的同时,通过向量化批处理实现了比现有 PyTorch 实现(gflownet)快 2–10 倍的性能;虽然比 JAX 版本(gfnx)慢 10–20 倍,但提供了 gfnx 不具备的连续环境、图环境支持和模块化扩展能力。

关键设定与假设

本文是软件工程论文,而非方法论论文,因此其"假设"主要体现在设计选择上:

  • 假设 1:GFlowNets 的训练可以统一为"环境 + 策略 + 损失"三组件交互。这一假设将 GFlowNets 的多样性(离散/连续/图、不同损失函数、不同采样策略)压缩为可组合的接口。其代价是:某些高度特化的算法(如需要自定义状态转移逻辑的算法)可能无法优雅地嵌入该框架。
  • 假设 2:PyTorch 的 torch.Tensor 批处理足以高效表达 GFlowNets 的采样与训练。这一假设在附录 E.3 的基准测试中受到挑战——gfnx 通过 JAX 的 JIT 编译实现了 10–20 倍的速度优势,说明 PyTorch 的动态图机制在 GFlowNets 的采样循环中存在固有开销。
  • 假设 3:模块化设计不会显著损害性能。作者通过向量化批处理(将多个轨迹的采样合并为张量运算)来缓解这一风险,但基准测试显示,在 Ising 10×10 等大状态空间场景下,torchgfn 仍比 gfnx 慢 76.8 倍(见附录 E.3 表 3)。
  • 相比已有文献的定位:相比 recursion(领域特化、图/分子专用),torchgfn 强调通用性;相比 gfnx(JAX、速度优先),torchgfn 强调 PyTorch 生态兼容性和模块化。作者未声称任何算法层面的创新,而是将贡献定位为"研究基础设施"。

主要结果

  • 架构设计:提出了一个四层抽象体系——Env(环境,定义状态转移和 reward)、States/Actions(状态/动作的数据容器,支持掩码和批处理)、Estimators(神经网络模块,输出策略分布或流估计)、GFlowNet 子类(封装具体训练目标,如 TBGFlowNet、SubTBGFlowNet、DBGFlowNet)。PolicyMixin 作为关键接口,统一了向量化(无状态)和循环(有状态)估计器的采样与概率计算逻辑。
  • 性能基准:在 HyperGrid(小/中/大三档规模)、Ising 模型(6×6、10×10)、Box2D、BitSequence 四个环境上,与 gflownet 和 gfnx 对比。核心结论:
  • torchgfn 比 gflownet 快 2–10 倍(在 Ising 10×10 上快 47 倍,见附录 E.3 表 3)。
  • gfnx 比 torchgfn 快 10–20 倍(在 BitSequence 小规模上快 19.4 倍,在 Ising 10×10 上快 76.8 倍)。
  • 内存占用方面,torchgfn 介于 gflownet 和 gfnx 之间(如 HyperGrid 中等规模:torchgfn 43MB vs gflownet 24MB vs gfnx 220MB)。
  • 可复现性:库中附带多个已发表论文的复现脚本(如 Deleu et al. 2022 的贝叶斯结构学习、Kim et al. 2024 的局部搜索),并通过持续集成(CI)保证教程和示例的可运行性。
  • 生态集成:支持 torch geometric 图数据、tensordict 异构张量容器、条件生成(通过 conditioning tensor)、以及自定义采样器(如 LocalSearchSampler)。

🔎 结论是否比证明窄

是,且明显。本文的"结论"(模块化设计有效、性能可接受)仅通过工程基准测试(运行时间、内存)验证,而非统计效率(采样质量、收敛速度)验证。具体而言:

  • 附录 E.3 的基准测试仅报告了每轮迭代的 wall-clock 时间,未报告达到给定采样质量(如与目标分布的 KL 散度)所需的迭代次数。因此,"torchgfn 比 gflownet 快 2–10 倍"仅说明单步计算更快,但若 torchgfn 的模块化设计导致收敛更慢(例如由于无法利用特定环境的结构化信息),则总训练时间可能并不占优。
  • 作者在正文中声称"支持连续环境"(如 Box2D),但附录 E.3 的基准测试中,Box2D 场景仅与 gflownet 对比(gfnx 不支持连续环境),且未报告采样质量指标。
  • 作者在 Future Work 中承认"模块化设计可能与 torch.compile 不兼容",这暗示当前性能可能还有提升空间,但也意味着模块化与性能之间存在未被量化的权衡。

建议研究者亲自核验:阅读附录 E.3 表 3 的完整数据,对比 torchgfn 与 gfnx 在相同环境下的总训练时间(而非单步时间),以及采样质量(如有效样本率、reward 分布)。如果 gfnx 在总训练时间和采样质量上均显著优于 torchgfn,则本文的"易用性优先"定位需要更充分的论证。


四、开放问题

  1. 性能-可扩展性权衡的量化:作者在 Future Work 中提到"模块化设计与 torch.compile 不兼容",但未量化这一不兼容带来的性能损失。要确认这是否为真 gap,可对比 torchgfn 在启用/禁用 torch.compile 时的训练时间,以及 gfnx 在 JIT 编译下的总训练时间(含编译开销)。若 torch.compile 兼容性修复后性能大幅提升,则"模块化必然牺牲性能"的隐含假设不成立。

  2. 连续环境中的 GFlowNets 理论:本文支持连续环境(Box2D、DiffusionSampling),但被引文献中 Lahlou et al. (2023) 的理论主要针对离散空间。连续空间中的流守恒条件、详细平衡条件的适定性(well-posedness)尚未被严格证明。要确认这是否为真 gap,可检索 2023 年后关于连续 GFlowNets 的收敛性分析文献。

  3. GFlowNets 与 MCMC 的实证对比:本文未引用任何将 GFlowNets 与 MCMC(如 HMC、SMC)在采样质量上对比的工作。GFlowNets 的核心卖点是"amortized 采样",但其在复杂分布上的有效样本量(ESS)是否优于 MCMC 仍缺乏系统证据。要确认这是否为真 gap,可检索 2024–2025 年关于 GFlowNets 采样质量的基准研究。

  4. 训练目标的偏差-方差权衡:被引文献中 Malkin et al. (2022) 的 TB 损失和 Madan et al. (2023) 的 SubTB(λ) 损失在理论上等价(最优解相同),但实践中 λ 的选择对收敛速度的影响缺乏理论指导。要确认这是否为真 gap,可对比不同 λ 值在相同环境下的收敛曲线,并检查是否存在理论上的最优 λ 选择准则。

  5. GFlowNets 与变分推断的联系:Bengio et al. (2023b) 提到 GFlowNets 与变分推断的联系,但未给出严格的等价性或差异分析。GFlowNets 的流守恒条件与变分自由能最小化之间是否存在可证明的映射关系,是一个开放问题。要确认这是否为真 gap,可检索关于 GFlowNets 与能量模型、变分推断统一视角的后续工作。


提醒:要确认上述问题是否为真 gap,建议检索 2024–2026 年关于 GFlowNets 的综述或基准论文(如 NeurIPS、ICML、JMLR 上的后续工作),看这些问题是否已被解决。若多篇近期论文的 intro 都指向同一问题,则大概率是共识性 gap;若各论文的表述互相矛盾,则可能是机会所在。


Maintained by 陈星宇 · Homepage · Source on GitHub

评论