跳转至

Distributional Off-Policy Evaluation with Deep Quantile Process Regression

讲者: Qi Kuang
会场: Deep Generative Models, Distributional Evaluation, and Constrained LLM Training
报告题目: Distributional Off-Policy Evaluation with Deep Quantile Process Regression
链接: arXiv
来源: JCSDS 2026 · 返回会议总览

一、领域脉络与小综述

这个方向是什么

本文研究的子方向是分布强化学习（Distributional Reinforcement Learning, DRL）中的离策略评估（Off-Policy Evaluation, OPE）。其根本的统计问题是：在只能使用由某个行为策略（behavior policy）收集的离线数据（offline data）的情况下，如何估计一个目标策略（target policy）所对应的完整回报分布（return distribution），而不仅仅是其期望值（即传统的策略价值）。该方向当前处于从“理论探索”向“深度神经网络下的可证明样本复杂度”过渡的阶段。

发展脉络

  1. 奠基工作：分布RL的提出与在线控制

    • Bellemare et al. (2017) 首次提出“分布视角下的强化学习”，将学习目标从期望回报（Q函数）扩展为整个回报分布，并引入了类别式（categorical）分布RL算法（C51）。这奠定了DRL的理论基础，但主要针对在线控制。
    • Dabney et al. (2018b) 提出了分位数回归DQN（QR-DQN），用一组固定分位数来近似回报分布，显著提升了性能。Dabney et al. (2018a) 进一步提出隐式分位数网络（IQN），将分位数水平作为网络输入，学习连续的分位数函数，增强了表示能力。这些工作将DRL推向了实用化，但理论分析（尤其是样本复杂度）相对滞后。

  2. 主要进展：DRL的理论分析

    • Rowland et al. (2024a) 对分位数时序差分学习（QTD）在表格（tabular）设定下提供了收敛性保证。Rowland et al. (2023) 实证和理论地展示了QTD通过分位数平均，在价值估计上可以获得比标准RL更低的均方误差（MSE）。
    • Wu et al. (2023) 和 Wang et al. (2023) 从最大似然估计（MLE）框架出发，为分布RL提供了理论分析，但其分析依赖于特定的参数化假设（如类别分布或扩散模型），且未与深度神经网络结合。
    • Zhang et al. (2025) 和 Rowland et al. (2024b) 在表格设定和生成模型（generative model）下，证明了类别式分布RL可以达到与标准RL相当的样本复杂度。这些工作很重要，但“局限于表格情形，且依赖于生成模型来近似转移概率，使得广泛使用的无模型算法（如QR-DQN）的样本复杂度在很大程度上仍未探索”（作者原话）。

  3. 当前Frontier与本文位置

    • 当前的前沿是：将DRL的理论优势（如更精确的价值估计、对不确定性的刻画）与深度神经网络（DNN）的强大逼近能力结合起来，并在更现实的离线设定（OPE）下提供严格的样本复杂度保证。
    • 本文（Kuang et al., 2026） 声称填补了这一空白。它提出了一种基于深度分位数过程回归的OPE算法（DQPOPE），并首次为“使用深度ReLU网络的分布OPE”提供了非渐近的样本复杂度分析。作者的核心论点是：DQPOPE可以用与标准OPE（仅估计均值）相同的样本量来估计整个回报分布，从而在理论上解释了分布方法的优势。

子线索聚类

  1. 分位数方法（Quantile-based）：以QR-DQN和IQN为代表。核心是学习回报分布的分位数函数。本文属于此线索，但创新在于用“分位数过程回归”替代了“离散分位数估计”，以解决“伪样本”问题。
  2. 类别方法（Categorical-based）：以C51为代表。将回报分布离散化为固定支撑集上的类别分布。理论分析（如Rowland et al., 2024b）多集中于此，但需要预设支撑范围。
  3. MLE方法（MLE-based）：以Wu et al. (2023)为代表。假设回报分布服从某种参数化形式（如扩散模型），通过最大化似然来学习。理论分析较清晰，但“缺乏关于如何选择合适的参数化表示的实践指导”（作者原话）。

这个方向在追问的核心问题

  1. 样本复杂度：在深度神经网络逼近下，分布OPE需要多少样本才能达到给定的精度？这个速率能否与标准OPE（仅估计均值）相媲美？
  2. 理论优势的根源：分布方法（尤其是分位数方法）为何能比标准RL更准确地估计策略价值？其统计优势的数学基础是什么？
  3. 算法与理论的桥梁：如何设计一种算法，既能像IQN那样灵活地学习连续分位数函数，又能像QR-DQN那样易于实现，同时还能被严格的理论分析所覆盖？
  4. 伪样本问题：在分位数DRL中，如何在不引入离散化误差的情况下，从上一轮的分位数估计中生成下一轮的目标样本？

⚠️ 作者的Framing

  • 作者把缺口frame成：现有分布RL的理论（如Rowland et al., 2024b; Zhang et al., 2025）要么局限于“MLE框架”，要么局限于“简单的表格情形”，因此“对于分布方法，尤其是与深度神经网络逼近相结合时，如何在复杂、现实的应用中产生统计和实践优势，理解仍然有限”。本文通过提出DQPOPE并给出其样本复杂度分析，将自己定位为“显然的下一步”——即用深度神经网络解决分布OPE的理论问题。
  • 被淡化或回避的竞争路线：
    • IQN (Dabney et al., 2018a) 已经提出了学习连续分位数函数的思想，但作者将其定位为“主要关注增强神经网络的表示能力”，而非“通过分位数过程回归明确地解决分布学习问题”。作者强调自己的贡献在于“为分布OPE（和RL）提供了更深入的理论基础”。
    • MLE方法 (Wu et al., 2023) 被作者认为“缺乏实践指导”，而本文的DQPOPE则声称是“非参数化的”，更灵活。
  • 什么明显该被引/该存在、却没出现在intro里？
    • 关于“统计-计算权衡”的文献：本文的核心论点是“用与估计均值相同的样本量估计整个分布”，这本质上是一个统计效率问题。然而，它完全没有提及任何关于“信息-计算差距”或“低度多项式障碍”的文献。对于一个对统计-计算权衡感兴趣的研究者来说，这是一个值得注意的空白：是否存在一个计算上的代价（例如，需要更复杂的网络或更多的迭代）来换取这种统计上的“免费午餐”？作者没有讨论这一点。
    • 关于“高阶影响函数”或“去偏机器学习”的文献：本文的方法本质上是一种迭代的、基于回归的估计。它与因果推断中用于估计复杂泛函（如平均处理效应）的去偏/正交方法有潜在联系。作者没有提及这一线索。

张力

未见明显对立引用。所有被引工作基本都承认分布RL在理论和实践上的潜力，分歧主要在于分析框架（表格vs.函数逼近、MLE vs. 分位数）和具体实现方式。

二、最核心、最简单的例子 / 数学问题

第一步：把符号、模型、可观测数据交代清楚

  • 符号：

    • S：状态空间。
    • A：动作空间（有限）。
    • R：即时奖励，是一个随机变量。
    • γ：折扣因子，0 < γ < 1。
    • π：目标策略，π(a|s) 是在状态s下采取动作a的概率。
    • π_b：行为策略，用于收集离线数据。
    • Z^π(s, a)：在策略π下，从状态-动作对(s, a)出发的折扣回报（随机变量）：Z^π(s, a) = Σ_{t=0}^∞ γ^t R_t。
    • η^π(s, a)：Z^π(s, a) 的分布，即回报分布。这是本文要估计的目标。
    • Q^π(s, a)：Z^π(s, a) 的期望，即标准价值函数。Q^π(s, a) = E[Z^π(s, a)]。
    • V^π：策略π的价值，V^π = E_{(S,A)~ρ×π}[Q^π(S, A)]。
    • η^π：混合回报分布，η^π = E_{(S,A)~ρ×π}[η^π(S, A)]。这是OPE的最终目标。
    • T^π：分布贝尔曼算子。它将一个回报分布映射到另一个。(T^π η)(s, a) = law(R + γ Z(S', A') | s, a)，其中Z(S', A') ~ η(S', A')。η^π 是 T^π 的唯一不动点。
    • f(s, a, τ)：回报分布 η(s, a) 的分位数函数，τ ∈ (0,1)。这是本文要学习的函数。
    • d^π(s, a)：策略π下的折扣占据分布（discounted occupancy distribution）。
    • µ(s, a)：行为策略π_b下的数据分布。
    • W_p(ν, μ)：两个分布之间的p-Wasserstein距离。
    • W_{p, ν}(η, η')：在分布ν下加权的Wasserstein距离。

  • 模型：

    • 数据生成过程是一个马尔可夫决策过程（MDP）：(S, A, P, γ, R)。转移核P和奖励分布R未知。
    • 目标策略π是已知的、待评估的。
    • 行为策略π_b是未知的，用于收集离线数据。

  • 可观测数据：

    • 可观测：离线数据集 D = {(s_i, a_i, r_i, s'_i)}_{i=1}^N。其中 (s_i, a_i) 是从数据分布 µ(s, a) 中独立同分布（i.i.d.）抽取的。r_i 和 s'_i 分别是从奖励分布 R(·|s_i, a_i) 和转移核 P(·|s_i, a_i) 中抽取的。
    • 不可观测/想要但观测不到：
      • 目标策略π下的完整回报Z^π(s, a) 的分布 η^π。我们只能通过离线数据间接推断它。
      • 行为策略π_b。
      • 转移核P和奖励分布R。

第二步：讲最小内核

本文的核心思路可以浓缩为一个单步决策问题的特例。

最简特例：考虑一个单步（one-step） 的上下文赌博机（contextual bandit）问题。没有时序依赖，γ=0。

  • 设定：状态空间S，动作空间A。对于每个状态-动作对(s, a)，回报Z(s, a) 就是一个随机变量，等于即时奖励R(s, a)。回报分布 η^π(s, a) 就是奖励分布 R(·|s, a)。
  • 目标：给定一个目标策略π，我们希望估计其混合回报分布 η^π = E_{(S,A)~ρ×π}[η^π(S, A)]。在单步情形下，这等价于估计 E_{(S,A)~ρ×π}[R(S, A)] 的分布。
  • 可观测数据：离线数据集 D = {(s_i, a_i, r_i)}，其中 a_i ~ π_b(·|s_i)。
  • 核心问题：如何用离线数据估计 η^π？

最小内核的数学表述： 1. 分位数函数：对于每个(s, a)，其回报分布的分位数函数为 f(s, a, τ)。我们的目标是学习 f^*(s, a, τ)，即目标策略π下的分位数函数。 2. 分布贝尔曼算子（单步情形）：由于γ=0，(T^π η)(s, a) = law(R | s, a)。这意味着，如果我们知道奖励分布，我们就知道了回报分布。但奖励分布未知。 3. 分位数回归：关键想法是，对于给定的(s, a)，条件分位数函数 f(s, a, τ) 可以通过最小化检查损失（check loss） 来估计： f^*(s, a, τ) = arg min_f E[ρ_τ(R - f(s, a)) | s, a]，其中 ρ_τ(u) = u(τ - 1{u ≤ 0})。 4. 分位数过程回归：为了学习整个分位数函数（而不仅仅是几个离散点），我们将分位数水平τ也视为一个输入。我们寻找一个函数 f(s, a, τ)，使得对于所有τ，它都能最小化期望检查损失。这等价于求解： f^* = arg min_f E_{(S,A)~µ, τ~Unif(0,1)}[ρ_τ(R - f(S, A, τ))]。 这里，(S, A) 的分布是数据分布µ，而不是目标分布ρ×π。这引入了分布偏移。 5. 重要性加权（隐式）：本文通过分布贝尔曼算子的收缩性和覆盖假设（Assumption 4.3） 来处理分布偏移。在单步情形下，这简化为：如果数据分布µ能很好地覆盖目标分布ρ×π（即C_µ有限），那么用µ下的数据学到的分位数函数，经过适当的误差传播分析，就能保证在目标分布下的误差可控。

为什么这个特例抓住了核心？ - 它剥离了时序迭代的复杂性，直接展示了分位数过程回归如何将“估计一个无限维分布”的问题转化为一个有限维的回归问题（输入是(s, a, τ)，输出是分位数）。 - 它清晰地揭示了伪样本问题的根源：在时序情形下，目标变量Y_t = R + γ Z_{t-1}(S', A') 依赖于上一轮估计的分布Z_{t-1}。而在这个单步特例中，目标变量就是可观测的R，没有伪样本问题。本文的核心创新之一就是通过分位数过程回归，在时序情形下也能“生成”出Y_t的精确样本，从而避免了离散分位数方法中的伪样本和离散化误差。 - 它展示了检查损失与Wasserstein距离之间的联系（Lemma 4.7），这是整个理论分析的基础。

三、这篇论文做了什么

三句话

  1. 研究了什么问题：本文研究了分布离策略评估（Distributional OPE） 问题，即从离线数据中估计目标策略的完整回报分布，而不仅仅是其期望值。
  2. 核心工具/方法：提出了深度分位数过程回归（Deep Quantile Process Regression） 算法（DQPOPE）。该方法将分位数水平τ作为深度神经网络的输入，学习一个连续的分位数函数，从而避免离散分位数估计带来的表示误差和伪样本问题。
  3. 主要结论：在深度ReLU网络逼近下，DQPOPE的样本复杂度可以达到 N^{-β/(2β+d)}（在快速率下），这与标准OPE（仅估计均值）的最优速率相当。这意味着估计整个回报分布并不比估计其均值需要更多样本。实验验证了DQPOPE在样本效率和鲁棒性上的优势。

关键设定与假设

  • 设定：标准折扣MDP，状态空间S可以是连续的，动作空间A有限。离线数据集D由行为策略π_b收集，且(s_i, a_i) i.i.d. 来自数据分布µ。
  • 假设：
    • Assumption 4.3 (Coverage)：存在常数C_µ，使得对于任何分布η, η'，在数据分布µ下的Wasserstein误差能控制住目标分布d^π下的误差。这比传统的||d^π/µ||_∞有界更弱，是处理分布偏移的关键。
    • Assumption 4.4 (Bellman Completeness)：如果某个分布η的分位数函数属于神经网络类F，那么经过分布贝尔曼算子T^π作用后，新分布T^π η的分位数函数属于一个更光滑的Hölder类G。这是为了确保神经网络能很好地逼近贝尔曼目标。
    • Assumption 4.5 (Strong Convexity)：检查损失的期望风险L_t(f)在最优解f^*_t附近是c_0-强凸的。这保证了Wasserstein误差可以被超额风险（excess risk）控制（Lemma 4.7）。
    • Assumption 4.10 (Local Strong Convexity and Smoothness)：在最优解附近的一个小邻域内，检查损失的风险不仅满足强凸性，还满足局部光滑性（即被c'_0 ||f - f^*_t||^2上界控制）。这是推导快速率（n^{-1}）的关键。

主要结果

  • Theorem 4.8 (慢速率)：在Assumption 4.4下，DQPOPE的超额风险以高概率被O(√(W^2 L^2 log(W^2 L) log n / n) + 逼近误差)界住。通过选择合适的网络宽度W和深度L，可以得到O(n^{-β/(2β+d)})的速率。这导致一步贝尔曼误差的速率为O(n^{-β/(4β+2d)})，最终OPE误差为O(N^{-β/(4β+2d)})（Theorem 4.9）。
  • Theorem 4.11 (快速率)：在额外假设Assumption 4.10下，超额风险可以达到O(W^2 L^2 log(W^2 L) log n / n + 逼近误差)。通过优化网络结构，可以得到O(n^{-2β/(2β+d)}) 的速率，这是非参数回归的最优速率（minimax rate）。
  • Theorem 4.12 (快速率下的OPE)：结合快速率结果和误差传播分析，DQPOPE的最终OPE误差（Wasserstein距离）可以达到 O(N^{-β/(2β+d)})。作者强调，这个速率与标准OPE（如Fan et al., 2020; Ji et al., 2023）的最优速率相当，证明了“估计整个分布不比估计均值更难”。
  • Proposition 4.13 (策略价值估计)：通过分位数平均（1/K Σ f_T(s, a, τ_k)）来估计策略价值V^π，其误差由OPE误差和蒙特卡洛误差（O(√(log K / K))）组成。通过选择足够大的K，价值估计的速率也能达到O(N^{-β/(2β+d)})。

证明路线与技术技巧

  • 整体路线：

    1. 误差传播（Lemma 4.6）：将最终OPE误差W_1(η^π, η̂_T)分解为统计误差（一步贝尔曼误差ε_{p,t}）和算法误差（迭代次数T带来的截断误差）。这一步是RL理论的标准做法。
    2. 连接Wasserstein距离与超额风险（Lemma 4.7）：在强凸性假设下，一步贝尔曼误差W_{1,µ}(η̂_t, T^π η̂_{t-1})可以被分位数回归的超额风险L_t(f̂_t) - L_t(f^*_t)控制。
    3. 分析超额风险：这是核心。将问题转化为一个非参数分位数过程回归问题。目标是最小化检查损失的期望风险。
      • 慢速率（Theorem 4.8）：使用Rademacher复杂度和Dudley积分来界住经验过程项，得到O(1/√n)的随机误差。
      • 快速率（Theorem 4.11）：使用局部Rademacher复杂度和临界半径（critical radius） 技术。通过构造一个辅助事件E(δ)，并证明在该事件下，估计量f̂会落在一个局部邻域内，从而可以利用局部强凸性和光滑性（Assumption 4.10）得到O(1/n)的随机误差。
    4. 逼近误差：利用深度ReLU网络对Hölder函数的逼近理论（Lemma I.5），选择网络宽度和深度来平衡逼近误差和随机误差，得到最优速率。

  • 关键跳跃点：

    • 从分布迭代到分位数回归：将分布贝尔曼算子T^π的作用，转化为一个条件分位数回归问题。这是通过“分位数过程”的视角实现的，将τ作为输入，使得学习整个分布等价于学习一个函数。
    • 解决“伪样本”问题：通过f̂_{t-1}(s', a', U)（U~Unif(0,1)）来生成Z_{t-1}(S', A')的样本，从而构造出Y_t = R + γ Z_{t-1}(S', A')的精确样本。这避免了离散分位数方法中的离散化误差。
    • 快速率的证明：从O(1/√n)到O(1/n)的跳跃是技术难点。作者通过引入局部强凸性和光滑性假设（Assumption 4.10），并利用局部Rademacher复杂度的精细分析（Lemma E.8, E.9）来实现。这比标准平方损失下的分析更复杂，因为检查损失不是全局二次的。

  • 技术技巧点名：

    • Rademacher Complexity / Local Rademacher Complexity：用于控制经验过程项。
    • Dudley's Theorem / Chaining：用于将Rademacher复杂度与覆盖数联系起来。
    • Pseudo-dimension：用于刻画ReLU网络函数类的复杂度。
    • Data Splitting：将数据集分成T份，每轮迭代使用独立的数据，简化了理论分析（Remark 1）。
    • Kantorovich-Rubinstein Duality：用于证明分布贝尔曼算子的收缩性（Lemma B.2）和误差传播（Lemma 4.6）。
    • Talagrand's Concentration Inequality：用于得到快速率证明中关键事件的概率下界（Lemma E.4）。

真实例子与应用

  • CartPole模拟（Section 5.1）：在经典的CartPole环境中，验证了样本复杂度结果。通过改变行为策略与目标策略的相似度（从100%目标策略到40%目标策略），展示了W_1误差随样本量增加而多项式衰减，且分布偏移越大（C_µ越大），误差越大。这验证了Theorem 4.12的理论预测。
  • 单步玩具例子（Section 5.2）：设计了一个简单的两状态环境，并使用了重尾（Student-t分布） 的奖励。实验表明，DQPOPE（通过分位数平均）在估计策略价值时，其MSE显著低于标准OPE（DOPE），且优势在重尾情况下更明显。这验证了Proposition 4.13中关于鲁棒性的论述。
  • MIMIC-III真实数据（Section 5.3）：使用重症监护数据库MIMIC-III，对脓毒症患者的治疗策略进行离策略评估。实验比较了DQPOPE、DOPE和基于离散分位数的DQOPE。结果显示，DQPOPE能更清晰地区分不同策略（如DDQN vs. 随机策略），并且其估计的策略价值更稳定、更准确。这展示了DQPOPE在复杂医疗决策场景中的实际应用价值。

🔎 结论是否比证明窄

  • 是。作者在Theorem 4.12的结论中声称DQPOPE的样本复杂度与标准OPE“相当”，并引用了Fan et al. (2020)和Ji et al. (2023)的速率N^{-β/(2β+d)}。然而，这个结论依赖于快速率的证明（Theorem 4.11），而快速率又依赖于局部强凸性和光滑性假设（Assumption 4.10）。这个假设比慢速率所需的假设更强。作者在Remark 2中承认，这个假设在“条件分布Y_t在f^*_t附近的密度有界”时成立，但这并非总是成立。
  • 此外，数据分割（data splitting） 的使用（Remark 1）虽然简化了理论，但在实验中并未采用。作者声称“更精细的分析可能消除这一需求”，但并未给出证明。因此，严格证明的结论（在数据分割和强假设下）比论文泛泛声称的结论（无数据分割、更弱假设）要窄。
  • 最后，算法误差项（N^{ξ log γ / 2}）要求ξ足够大（ξ ≥ 2β / ((2β+d) log(1/γ))）才能被统计误差项吸收。这意味着迭代次数T = O(ξ log N)必须足够大，这在实际中可能是一个计算负担。作者没有讨论这个计算成本。

四、开放问题

  1. 消除数据分割：作者在Remark 1中承认，数据分割简化了分析，但“更精细的分析可能消除这一需求”。扎根点：Remark 1。这是一个明确的开放问题：能否在不分割数据的情况下，证明相同的样本复杂度？这需要处理迭代估计中引入的相关性。
  2. 更紧的常数与依赖：定理中的常数C依赖于多个参数（如C_µ, s, β, d），且被隐去。扎根点：Theorem 4.9, 4.12。能否给出这些常数的显式表达？特别是对分布偏移常数C_µ和折扣因子γ的依赖是否可以进一步优化？
  3. 非i.i.d.数据的扩展：作者在Section H中初步讨论了β-mixing序列下的结果，但只给出了期望误差的界。扎根点：Section H, Theorem H.2。能否在高概率下，对更一般的非平稳、强依赖的离线数据（如由单条轨迹生成的数据）给出样本复杂度分析？这是将理论推向实际应用的关键一步。
  4. 与其他分布表示方法的比较：本文只与分位数方法（DQOPE）和均值方法（DOPE）进行了比较。扎根点：Section 5.2, 5.3。能否在理论上或实证上，将DQPOPE与类别方法（C51）或MLE方法（如Wu et al., 2023）进行更系统的比较？例如，在什么条件下，分位数过程回归比类别表示更优？

Maintained by 陈星宇 · Homepage · Source on GitHub

评论