Distributional Off-Policy Evaluation with Deep Quantile Process Regression¶
作者: Qi Kuang, Chao Wang, Yuling Jiao, Fan Zhou
主题: 因果推断
相关性: 6/10
链接: https://doi.org/10.1080/01621459.2026.2671449
一、领域脉络与小综述¶
-
这个方向是什么:本文研究的是强化学习中的分布型离策略评估(Distributional Off-Policy Evaluation, DOPE)问题。与传统的离策略评估(OPE)只估计目标策略的期望回报(一个标量)不同,分布型 OPE 的目标是估计目标策略下完整回报的概率分布(或等价地,其分位数函数/累积分布函数)。这在风险敏感决策、医疗等需要刻画不确定性的场景中尤为重要。该方向处于快速发展但理论尚不成熟的阶段:实证方法(如分位数回归 DQN)已广泛应用,但严格的非渐近统计理论(尤其是函数逼近误差与样本复杂度的联合刻画)仍很有限。
-
发展脉络(history):
- 奠基工作:分布强化学习(DRL)的现代框架由 Bellemare et al. (2017) 提出,其核心思想是用分布而非期望来刻画回报。作者在引言中明确引用该工作,并指出其后续发展(Dabney et al., 2018b,a)将分位数回归引入 DRL,形成 QR-DQN 等方法。这些工作奠定了"用分位数函数表示回报分布"的基本范式。
- 主要进展(理论层面):作者指出,现有理论分析"largely confined either to maximum likelihood estimation (MLE) frameworks (Wu et al., 2023) or to relatively simple tabular cases (Rowland et al., 2024a; Zhang et al., 2025)"。Wu et al. (2023) 的 MLE 框架虽然提供了分布型 OPE 的误差界,但依赖参数化假设;Rowland et al. (2024a) 和 Zhang et al. (2025) 的分析则局限于表格(tabular)设定,无法处理连续状态空间。这构成了本文要填补的理论缺口:在函数逼近(深度网络)与非表格设定下,分布型 OPE 的样本复杂度尚无系统刻画。
- 当前 frontier:作者将本文定位为"bridging theoretical analysis with practical algorithmic implementations",即用深度 ReLU 网络作为函数逼近器,在 Hölder 光滑假设下给出分布型 OPE 的非渐近样本复杂度,并证明其与均值 OPE 同阶。这直接回应了引言中提到的"limited understanding of how distributional methods ... can yield statistical and practical benefits"这一 gap。
-
本文位置:本文是理论驱动的方法论文,核心贡献是:(i) 提出基于分位数过程回归的 DQPOPE 算法;(ii) 给出其样本复杂度(慢速率与快速率);(iii) 证明"用估计整个分布所需的样本量即可获得均值估计"这一统计优势。
-
子线索聚类:被引文献大致落在三条子线索上:
- 分布强化学习的算法与实证(Bellemare et al., 2017; Dabney et al., 2018b,a; Choi et al., 2019):聚焦如何用神经网络表示和更新回报分布,强调实证性能(如 Atari 游戏),但缺乏统计保证。
- 分布型 RL 的理论分析(Rowland et al., 2018, 2024a; Zhang et al., 2025; Peng et al., 2024):聚焦收敛性与样本复杂度,但多限于表格设定或特定参数化(如 categorical distribution),未覆盖连续状态与函数逼近。
-
深度非参数回归的统计理论(Schmidt-Hieber, 2020; Farrell et al., 2021; Padilla et al., 2022; Shen et al., 2024):为深度网络的逼近误差与估计误差提供工具,本文直接借用这些结果(如 Lemma I.5 的 Hölder 逼近界)来刻画 DQPOPE 的误差。
-
这个方向在追问的核心问题:
- 分布型 OPE 的样本复杂度是多少? 即需要多少样本才能以给定精度估计完整回报分布?本文给出答案:
N^{-β/(2β+d)}(快速率),与均值 OPE 同阶。 - 函数逼近误差如何影响分布估计? 深度网络的逼近能力(Hölder 类)如何转化为分布估计的误差界?本文通过 Lemma I.5 的逼近定理处理。
- 分布型方法相比均值方法是否有统计优势? 作者的核心 claim 是:估计完整分布所需的样本量不高于估计均值所需的样本量(见 Theorem 4.12 与 Proposition 4.13 的对比)。
-
已知瓶颈:现有方法要么依赖参数化假设(MLE),要么局限于表格设定,无法处理高维连续状态空间与深度网络逼近的联合误差。
-
⚠️ 作者的 framing(必须明确标注成"这是作者的说法"):
- 作者把缺口 frame 成:"现有分布型 OPE 理论要么限于 MLE 参数化,要么限于表格设定,缺乏对深度 ReLU 网络 + 连续状态空间的非渐近样本复杂度分析。" 这使得 DQPOPE 成为"显然的下一步"。
- 被淡化/回避的竞争路线:作者回避了基于 categorical distribution 的方法(如 C51)的理论分析,仅将其作为实证 baseline(CateOPE)。作者也回避了非参数贝叶斯或谱方法等替代框架。此外,作者对"分布型方法是否在所有场景下都优于均值方法"未作讨论——其优势仅在重尾分布(如 t(1.5))下被实证展示。
-
什么明显该被引 / 该存在、却没出现在 intro 里:作者未引用 Kallus & Uehara (2020) 关于 OPE 效率界的半参数工作,也未引用 Jiang & Li (2016) 的 doubly robust OPE 框架(虽然正文引了,但 intro 未提)。对于"分布型 OPE 的 minimax 下界",作者也未引用任何下界结果(如基于 Wasserstein 距离的 minimax 率),这可能是值得研究者去查的 gap。
-
张力:被引文献之间未见明显对立结论。但存在一个微妙张力:Rowland et al. (2023) 实证表明分位数方法在均值估计上优于直接均值回归(通过分位数平均),而本文的理论(Theorem 4.12)只证明了分布估计的样本复杂度与均值估计同阶,并未证明分位数平均在常数因子上的优势。作者在 Proposition 4.13 中只给出了均值估计的误差界,但未与直接均值回归的常数进行对比。这是一个值得研究者注意的"理论-实证"间隙。
二、最核心、最简单的例子 / 数学问题¶
第一步:符号、模型、可观测数据¶
符号(逐个点名):
| 记号 | 含义 | 类型 |
|---|---|---|
| \(S, A, P, \gamma, R\) | 马尔可夫决策过程(MDP)的五元组:状态空间、动作空间、转移核、折扣因子、奖励分布 | 模型结构 |
| \(\pi\) | 目标策略(待评估) | 参数/已知 |
| \(\pi_b\) | 行为策略(数据收集策略) | 已知(但未知,需估计) |
| \(\rho\) | 初始状态分布 | 已知 |
| \(Z^\pi(s,a)\) | 在状态 \(s\) 下采取动作 \(a\) 后遵循策略 \(\pi\) 的折扣回报随机变量 | 潜在量(随机变量) |
| \(\eta^\pi(s,a)\) | \(Z^\pi(s,a)\) 的概率分布 | 目标 estimand(分布) |
| \(F_{\eta}(y)\) / \(f_\eta(\tau)\) | 分布的 CDF / 分位数函数 | 目标 estimand(函数) |
| \(Q^\pi(s,a)\) | 期望回报 \(E[Z^\pi(s,a)]\) | 标量 estimand(均值) |
| \(\mu(s,a)\) | 数据分布(行为策略下的状态-动作占用测度) | 已知/可估计 |
| \(d^\pi(s,a)\) | 目标策略下的占用测度 | 未知 |
| \(N\) | 总样本量 | 指标 |
| \(n\) | 每次迭代的样本量(\(N = nT\)) | 指标 |
| \(T\) | 迭代次数 | 指标 |
| \(W_p(\cdot,\cdot)\) | \(p\)-Wasserstein 距离 | 度量 |
| \(W_{p,\nu}(\cdot,\cdot)\) | 带权重 \(\nu\) 的 Wasserstein 距离 | 度量 |
| \(\mathcal{F} = \mathcal{F}(W,L)\) | 深度 ReLU 网络函数类(宽度 \(W\),层数 \(L\)) | 函数空间 |
| \(\mathcal{G}\) | Hölder 光滑函数类 \(\mathcal{G}([0,1]^d, \beta, H)\) | 函数空间 |
| \(f^*(s,a,\tau)\) | 目标策略下回报的条件分位数函数 | 目标函数 |
| \(f_t\) | 第 \(t\) 次迭代的估计分位数函数 | 估计量 |
| \(C_\mu\) | 覆盖系数(coverage coefficient),衡量 \(\mu\) 对 \(d^\pi\) 的覆盖程度 | 常数 |
| \(\epsilon_{app}\) | 逼近误差(approximation error) | 常数 |
| \(\epsilon_{est}\) | 估计误差(estimation error) | 常数 |
模型(数据生成机制):
- MDP 设定:状态空间 \(S \subseteq \mathbb{R}^{d-1}\)(连续),动作空间 \(A\) 有限。转移核 \(P: S \times A \to \Delta(S)\),奖励分布 \(R: S \times A \to \Delta(\mathbb{R})\)(允许重尾,如 t 分布)。
- 数据收集:离线数据集 \(\mathcal{D} = \{(s_i, a_i, r_i, s'_i)\}_{i=1}^N\),其中 \((s_i, a_i) \sim \mu\)(行为策略 \(\pi_b\) 诱导的占用测度),\(r_i \sim R(\cdot|s_i,a_i)\),\(s'_i \sim P(\cdot|s_i,a_i)\)。关键:\((s_i, a_i)\) 是 i.i.d. 的(或 β-mixing 的,见 Section H)。
- 目标:估计目标策略 \(\pi\) 下的混合回报分布:
\[\eta^\pi := E_{(s,a) \sim \rho \times \pi}[\eta^\pi(s,a)]\]其中 \(\eta^\pi(s,a) = \text{Law}(Z^\pi(s,a))\),\(Z^\pi(s,a) = \sum_{t=0}^\infty \gamma^t R_t\)。
- 分位数函数表示:用条件分位数函数 \(f^*(s,a,\tau)\) 表示分布,其中 \(f^*(s,a,\tau) = F^{-1}_{\eta^\pi(s,a)}(\tau)\)。目标转化为估计 \(f^*\)。
可观测 vs 潜在: - 可观测:\((s_i, a_i, r_i, s'_i)\) 四元组,以及行为策略 \(\pi_b\)(可通过行为克隆估计)。 - 潜在/不可观测:目标策略 \(\pi\) 下的完整回报轨迹 \(Z^\pi(s,a)\)(只能通过 Bellman 迭代间接估计);条件分位数函数 \(f^*\)(目标 estimand)。
第二步:最小内核¶
最简特例:考虑单步(one-step)情形,即折扣因子 \(\gamma = 0\)。此时回报分布就是即时奖励分布:\(Z^\pi(s,a) = R\),其中 \(R \sim R(\cdot|s,a)\)。目标变为估计条件分位数函数:
核心命题(在这个特例下):估计完整分位数函数 \(f^*\) 所需的样本量,与估计均值 \(Q^\pi(s,a) = E[R|s,a]\) 所需的样本量同阶。
为什么成立: 1. 估计量:在函数类 \(\mathcal{F}\)(深度 ReLU 网络)上最小化经验分位数损失:
-
误差分解(Lemma 4.7 的核心):
\[\underbrace{W_{1,\mu}(\hat{\eta}_T, \eta^\pi)}_{\text{分布误差}} \leq \underbrace{c_0^{-1/2} \|\hat{f}_T - f^*_T\|_{2,e_\mu}}_{\text{分位数函数误差}}\]即 Wasserstein 距离被分位数函数的 \(L^2\) 误差控制。这一步的关键是强凸性(Assumption 4.5):分位数损失在目标函数附近是强凸的,使得"函数误差"可以转化为"损失差"。 -
样本复杂度(Theorem 4.11 的核心):
\[\|\hat{f}_T - f^*_T\|_{2,e_\mu}^2 \lesssim \underbrace{\frac{W^2 L^2 \log(W^2 L) \log n}{n}}_{\text{估计误差}} + \underbrace{\inf_{f \in \mathcal{F}} \|f - f^*\|_{2,e_\mu}^2}_{\text{逼近误差}}\]第一项来自 Rademacher 复杂度(Lemma I.4 给出 \(\text{Pdim}(\mathcal{F}) \lesssim W^2 L^2 \log(W^2 L)\)),第二项来自深度网络的逼近理论(Lemma I.5,Hölder 类 \(\mathcal{G}\) 的逼近率为 \((WL)^{-2\beta/d}\))。 -
为什么与均值同阶:当选择网络宽度 \(W\) 和深度 \(L\) 使得逼近误差与估计误差平衡时,得到
\[\|\hat{f}_T - f^*_T\|_{2,e_\mu}^2 \lesssim n^{-\frac{2\beta}{2\beta+d}}\]这正是非参数回归的 minimax 速率(Stone, 1982)。而均值估计(如 DOPE)的速率也是 \(n^{-\frac{2\beta}{2\beta+d}}\)(在相同光滑性假设下)。因此,分布估计没有付出额外的样本代价。
这个最小内核揭示了什么:整篇论文的数学本质是——将分布型 OPE 转化为一个带强凸损失的非参数回归问题。分位数损失的强凸性(Assumption 4.5)是连接"分布距离"与"函数误差"的桥梁,而深度网络的逼近能力(Lemma I.5)决定了最终的收敛速率。多步情形(\(\gamma > 0\))只是在这个内核上叠加了 Bellman 迭代的误差传播(Lemma 4.6),不改变本质。
三、这篇论文做了什么¶
三句话¶
- 研究了什么问题:在离线强化学习设定下,如何用深度 ReLU 网络估计目标策略的完整回报分布(而非仅期望),并给出严格的样本复杂度保证。
- 核心工具/方法:提出 DQPEEP 算法——将分布型 Bellman 迭代转化为一系列分位数过程回归问题,用深度 ReLU 网络逼近条件分位数函数,并利用分位数损失的强凸性建立误差传播分析。
- 主要结论:在 Hölder 光滑假设下,DQPEEP 估计完整回报分布的样本复杂度为 \(N^{-\beta/(2\beta+d)}\)(快速率),与均值 OPE 同阶;且通过分位数平均得到的均值估计比直接均值回归更鲁棒(尤其在重尾奖励下)。
关键设定与假设¶
- 设定:有限动作空间、连续状态空间(维度 \(d-1\))、折扣因子 \(\gamma \in (0,1)\)、离线数据 \((s_i,a_i) \sim \mu\)(i.i.d. 或 β-mixing)。
- 假设 4.3(覆盖):\(\sup_{\eta,\eta'} \frac{W_{p,d^\pi}(\eta,\eta')}{W_{p,\mu}(\eta,\eta')} \le C_\mu\)。这要求目标策略的占用测度 \(d^\pi\) 被数据分布 \(\mu\) 覆盖,是 OPE 的标准假设(类似 importance sampling 中的 support 条件)。相比直接用 \(\|d^\pi/\mu\|_\infty\),这是一个更弱的条件,因为它只要求 Bellman 误差的传递有界,而非逐点有界。
- 假设 4.4(Bellman 完备性):若分位数函数 \(f \in \mathcal{F}\),则 \(T^\pi f\) 的分位数函数属于 Hölder 类 \(\mathcal{G}\)。这是函数逼近分析的关键——它保证了 Bellman 迭代不离开光滑函数空间。相比已有工作(如 Chen & Jiang 2019 的 completeness),这里将条件从"函数类封闭"放宽为"光滑性保持"。
- 假设 4.5(强凸性):分位数损失在目标函数附近是 \(c_0\)-强凸的。这是本文最关键的假设,它使得"损失差"可以控制"函数误差"(Lemma 4.7)。相比 Farrell et al. (2021) 的全局强凸假设,本文只要求局部强凸(在目标函数附近),这是一个实质性放宽。
- 假设 4.10(局部强凸+光滑):进一步要求局部强凸和局部光滑同时成立,这是获得快速率的关键。
相比已有工作的放宽/强化: - 相比 Wu et al. (2023) 的 MLE 框架:本文不假设参数化形式,允许非参数函数逼近。 - 相比 Rowland et al. (2024a) 和 Zhang et al. (2025) 的表格设定:本文处理连续状态空间。 - 相比 Farrell et al. (2021):将强凸性从全局放宽为局部,且逼近误差的度量从 \(L^\infty\) 改进为 \(L^2\)。
主要结果¶
定理 4.8(慢速率):在假设 4.4 下,对任意 \(t \in [T]\),以高概率有
定理 4.11(快速率):在假设 4.4 和 4.10 下,以高概率有
定理 4.12(主定理):在假设 4.3、4.4、4.10 下,选择网络宽度 \(W = O((s+1)^{2d/(s+1)} U \log U)\) 和深度 \(L = O((s+1)^2 V \log V)\),当 \(UV = \lfloor n^{d/(2\beta+d)} \rfloor\) 时,以高概率有
命题 4.13(均值估计):通过分位数平均得到的均值估计 \(\hat{V}_K\) 满足
证明路线与技术技巧¶
整体路线(以定理 4.12 为例):
- 误差分解(Lemma 4.6):将总误差 \(W_1(\eta^\pi, \hat{\eta}_T)\) 分解为:
- 统计误差:\(\max_t W_{1,\mu}(\hat{\eta}_t, T^\pi \hat{\eta}_{t-1})\),来自每次迭代的估计误差;
- 算法误差:\(\gamma^{T/2} C_{F,R}/(1-\gamma)^{3/2}\),来自有限次迭代的截断误差。
这一步的关键是收缩性:Bellman 算子在 Wasserstein 距离下是 \(\gamma^{1-1/(2p)}\)-收缩的(Lemma B.1),使得误差可以几何级数地传播。
- 单步误差控制(Lemma 4.7 + Theorem 4.11):对每次迭代,将 Wasserstein 误差转化为分位数回归的 excess risk:
- 先用强凸性(假设 4.5)得到 \(\|\hat{f}_t - f^*_t\|_{2,e_\mu}^2 \lesssim \mathcal{L}_t(\hat{f}_t) - \mathcal{L}_t(f^*_t)\);
-
再用 Rademacher 复杂度(Lemma I.4)和逼近理论(Lemma I.5)控制 excess risk。
-
迭代传播:将单步误差代入 Lemma 4.6 的分解,利用 \(\sum_{t=1}^T \gamma^{t/2} \lesssim (1-\gamma)^{-1}\) 累加误差。
-
参数平衡:选择网络宽度、深度和迭代次数 \(T = O(\log N)\),使得统计误差、逼近误差和算法误差三者平衡,得到最终速率。
关键跳跃点:
-
跳跃点 1(Lemma 4.7 的证明):如何从 Wasserstein 距离跳到分位数函数的 \(L^2\) 误差?作者用了一个巧妙的插值技巧:对任意 \(\eta, \eta'\),构造一个中间分布,使得 \(W_1(\eta,\eta')\) 可以被分位数函数差的 \(L^1\) 范数控制,再通过 Jensen 不等式转化为 \(L^2\) 范数。这个跳跃的难点在于分位数函数的定义域是 (0,1) 而非状态空间,需要小心处理边界效应。
-
跳跃点 2(Theorem 4.11 的证明):如何获得快速率?作者引入了局部强凸性(假设 4.10),但局部强凸性只在目标函数 \(f^*_t\) 附近成立。为了利用这一点,需要先证明估计量 \(\hat{f}_t\) 以高概率落在 \(f^*_t\) 的邻域内——这本身需要一个先验的慢速率。作者的处理方式是:先用慢速率(Theorem 4.8)证明 \(\hat{f}_t\) 靠近 \(f^*_t\),然后在这个邻域内应用局部强凸性获得快速率。这是一个两阶段论证,类似于经验过程理论中的"局部化"技巧。
-
跳跃点 3(Lemma I.5 的逼近理论):如何保证深度 ReLU 网络能逼近 Hölder 类函数?作者引用了 Jiao et al. (2023) 的定理,但关键是将逼近误差从 \(L^\infty\) 范数转化为 \(L^2\) 范数——这需要用到 Hölder 类的嵌入性质(\(L^\infty\) 嵌入 \(L^2\)),以及网络函数的有界性假设。
技术技巧点名:
- Rademacher 复杂度(Lemma I.3, I.4):用于控制经验过程的波动,获得估计误差的均匀上界。
- 伪维度(Pseudo-dimension, Lemma I.4):刻画 ReLU 网络的复杂度,比 VC 维更精细。
- Ledoux–Talagrand 收缩不等式(Lemma I.6):处理 Lipschitz 损失函数的经验过程。
- 有界差分不等式(Lemma I.7):获得高概率上界。
- Talagrand 集中不等式(Lemma I.8):用于快速率证明中的精细浓度界。
- β-mixing 的独立块构造(Section H):将 i.i.d. 分析推广到依赖数据。
- Knight 恒等式(隐含在 Lemma 4.7 的证明中):处理分位数损失的强凸性。
真实例子与应用¶
-
CartPole 模拟(Section 5.1):验证样本复杂度理论。用 DQN 训练目标策略,从混合策略收集数据,比较 DQPEEP 与 DOPE 在不同样本量下的误差。结果显示 DQPEEP 的误差随样本量按理论速率 \(N^{-\beta/(2\beta+d)}\) 衰减,且在不同分布偏移程度下均优于 DOPE。
-
单步玩具例子(Section 5.2):在重尾奖励(t(1.5) 分布)下比较 DQPEEP 与 DOPE 的均值估计。结果显示 DQPEEP 的 MSE 显著低于 DOPE,且随着分位数数量 K 增加而改善。这验证了"分位数平均"的鲁棒性优势。
-
MIMIC-III 脓毒症数据集(Section 5.3):真实医疗场景。将患者轨迹建模为 MDP,状态为 44 维生理特征,动作为 5×5 的静脉输液和血管加压药组合。比较 DQPEEP、DOPE 和 DQOPE(离散分位数)在 4 种目标策略下的估计性能。结果显示 DQPEEP 在估计精度和稳定性上均优于 baseline,且能提供完整的回报分布信息(如风险分位数),这对临床决策中的风险量化有实际价值。
🔎 结论是否比证明窄¶
- 明确窄于证明的 claim:作者在摘要和引言中声称"estimating the full return distribution using the same sample size required to estimate a single policy value",但定理 4.12 的证明依赖于强凸性假设 4.10,而该假设在重尾分布(如 t(1.5))下可能不成立(因为分位数密度在尾部趋于零)。作者在 Section G.1 中讨论了这一限制,但未给出重尾情形下的替代证明。因此,"与均值同阶"的结论在重尾情形下是 conjecture,而非 theorem。
- 被泛化的 claim:作者在 Section 4.3 声称 DQPEEP 的均值估计"more robust"(更鲁棒),但定理 4.13 只证明了误差上界,未与直接均值回归的常数进行对比。鲁棒性优势仅在实验中被展示,缺乏理论保证。
- 隐含的未证明假设:假设 4.4(Bellman 完备性)在正文中仅给出 Hölder 类包含的论证,但未给出具体例子说明哪些 MDP 满足该假设。作者在 Section G.2 中给出了一个线性-高斯例子,但该例子的分位数函数是线性的,过于简单,不能代表一般情况。
四、开放问题¶
-
重尾分布下的理论:定理 4.12 的证明依赖强凸性(假设 4.10),但重尾奖励(如 t(1.5))下分位数密度在尾部趋于零,强凸性可能失效。作者在 Section G.1 中承认了这一限制,但未给出替代方案。要证明什么:在重尾情形下,分布型 OPE 的样本复杂度是否仍与均值同阶?还是需要更慢的速率?(扎根于 Section G.1 的讨论和实验 5.2 的重尾结果之间的张力。)
-
常数因子的优势:作者声称分位数平均比直接均值回归更鲁棒,但定理 4.13 只给出了误差上界,未与直接均值回归的常数进行对比。要证明什么:在什么条件下,分位数平均的常数因子严格优于直接均值回归?这个优势是否随分位数数量 K 单调增加?(扎根于 Proposition 4.13 的证明和实验 5.2 的 Table 1。)
-
Bellman 完备性的验证:假设 4.4 是理论分析的关键,但作者仅给出线性-高斯例子的验证。要算什么:对于更一般的 MDP(如非线性动力学、多模态奖励),Hölder 光滑性是否保持?是否存在自然条件使得 Bellman 完备性自动成立?(扎根于 Section G.2 的讨论。)
-
β-mixing 的推广:Section H 将分析推广到 β-mixing 序列,但假设了严格平稳性。要证明什么:对于非平稳或渐近平稳的离线数据(如医疗记录中的时间趋势),结论是否仍然成立?(扎根于 Section H 的开头假设。)
-
计算-统计权衡:DQPEEP 需要同时优化分位数函数 \(f(s,a,\tau)\) 对 \((s,a,\tau)\) 的联合逼近,这比均值回归的维度高 1。要算什么:在高维状态空间下,维度灾难是否使分布型方法失去优势?是否存在低维结构(如稀疏性、低秩性)可以缓解?(扎根于 Theorem 4.12 中维度 \(d\) 对速率的依赖。)
提示:若要确认上述开放问题是否是真 gap,建议去读以下近期工作的 intro(约 5 篇):(1) Wu et al. (2023) 的 MLE 框架;(2) Rowland et al. (2024a) 的表格设定分析;(3) Zhang et al. (2025) 的生成模型设定;(4) Peng et al. (2024) 的 CTD 分析;(5) 任何关于分布型 RL minimax 下界的工作(如基于 Wasserstein 距离的 minimax 率)。如果这些工作都未处理重尾或常数因子问题,那么上述第 1、2 条很可能是真 gap。
Maintained by 陈星宇 · Homepage · Source on GitHub