Empirical variance minimization with applications in variance reduction and optimal control¶

作者: Denis Belomestny, Leonid Iosipoi, Quentin Paris, Nikita Zhivotovskiy
来源: Bernoulli
主题: 非参数 / 半参数
相关性: 6/10
链接: 期刊页 · arXiv

一、领域脉络与小综述¶

这个方向是什么¶

本文研究的核心问题是：如何在一个函数类 \( \mathcal{G} \) 上，基于独立同分布样本，最小化一个“方差型泛函”的经验估计，并给出其 excess variance 的 sharp 非渐近界。 这里的“方差型泛函”指的是形如 \( V(g) = \text{Var}_{\pi}(g(X)) = \mathbb{E}_{\pi}[g(X)^2] - (\mathbb{E}_{\pi}[g(X)])^2 \) 的泛函，其中 \( \pi \) 是某个已知或未知的分布。与经典的“均值型”经验风险最小化（ERM）不同，方差型泛函的估计量本身是 U-统计量（或可转化为 U-统计量），其经验过程理论更为复杂，尤其是在非 Donsker 情形下。该方向当前成熟度中等：已有大量关于 U-统计量最小化的理论（如排序、聚类），但针对方差型泛函的 sharp 非渐近界，尤其是非 Donsker 情形下的最优速率，仍是一个活跃的研究前沿。

发展脉络¶

奠基工作：U-统计量的经验最小化与集中不等式
- Clémençon, Lugosi, and Vayatis (2008) [1]：建立了 U-统计量经验风险最小化的理论框架，并给出了退化 U-过程的一个尾不等式，用于证明在特定噪声假设下的快速收敛速率。这是本文处理方差型泛函（本质上是 U-统计量）的理论基石。
- Hoeffding (1948) [9]：经典的 U-统计量不等式，被本文直接引用为 Lemma 6.3，用于控制方差估计量的偏差。
- Joly and Lugosi (2016) [4]：提出了基于中位数-of-均值的鲁棒 U-统计量估计器，在重尾分布下仍能获得与有界情形相同的性能界。本文引用了其定义的“截断 U-统计量”作为处理无界函数类的一种技术手段。
主要进展：局部 Rademacher 复杂度与快速速率
- Bartlett, Bousquet, and Mendelson (2005) [5]：提出了基于局部 Rademacher 复杂度的学习误差界，能够给出最优速率。这是本文核心理论工具的直接来源。本文的定理 3.1 和 3.2 正是利用局部 Rademacher 复杂度来刻画 excess variance 的收敛速率。
- Koltchinskii (2006) [2]：对局部 Rademacher 复杂度方法进行了简化与推广。本文引用了其简化论证。
- Giné and Koltchinskii (2006) [3]：建立了比率型经验过程的集中不等式，为处理方差型泛函中“分母”的随机性提供了关键工具。本文在证明中引用了其关于局部化上确界期望的界。
当前 Frontier：非 Donsker 情形与最优非参数速率
- Rakhlin, Sridharan, and Tsybakov (2017) [13]：在随机设计回归中，证明了当经验熵增长为 \( \varepsilon^{-p} \) 时，对于 \( p > 2 \) 的“慢速率”情形，minimax regret 比 minimax risk 更慢。本文的定理 3.2 正是针对这种“非 Donsker”情形（\( \alpha > 2 \)），证明了在额外假设下，方差最小化仍能达到最优非参数速率 \( n^{-2/(2+\alpha)} \)。
- Han, Wang, Chatterjee, and Samworth (2019) [10]：证明了在一般维度下，保序回归的全局经验风险最小化器可以达到 minimax 最优速率，即使对应的熵积分发散。本文引用了其关于局部化上确界期望的引理（Lemma 7），用于处理非 Donsker 情形。
- 本文的位置：本文系统性地将局部 Rademacher 复杂度方法应用于方差型泛函的最小化，填补了该领域在非 Donsker 情形下 sharp 非渐近界的空白，并展示了其在方差缩减和最优控制中的应用。

子线索聚类¶

U-统计量的经验过程理论：这条线索关注 U-统计量（及其退化版本）的集中不等式、尾概率和上确界界。代表工作包括 [1], [4], [17], [18]。本文的核心技术贡献之一（定理 3.1 的证明）依赖于对 U-统计量过程的局部化分析。
局部 Rademacher 复杂度与快速速率：这条线索发展了一套用于获得 ERM 最优速率的通用理论框架。代表工作包括 [2], [3], [5], [13], [16]。本文直接应用并扩展了这一框架到方差型泛函。
方差缩减与控制变量：这条线索关注如何通过引入辅助变量（控制变量）来降低 Monte Carlo 估计的方差。代表工作包括 [8], [9], [11], [12], [19], [20], [21], [22], [24]。本文的理论结果直接为“如何最优地选择控制变量”提供了理论保证，即通过最小化经验方差来近似理论上的最优控制变量。
非参数回归与形状约束下的最优速率：这条线索关注在特定函数类（如单调、凸、log-concave）下，ERM 能否达到 minimax 最优速率。代表工作包括 [10], [14]。本文在非 Donsker 情形下的结果（定理 3.2）与这些工作有密切联系，都处理了“熵积分发散”的困难情形。

这个方向在追问的核心问题¶

方差型泛函的 excess risk 能否达到与均值型泛函相同的快速收敛速率？ 本文的核心结论是：在 Donsker 情形下可以（定理 3.1），在非 Donsker 情形下需要额外假设（定理 3.2）。
在非 Donsker 情形下，方差最小化是否仍然可能达到最优非参数速率？ 本文的定理 3.2 给出了肯定的回答，但需要函数类满足“局部化上确界期望”的特定增长条件。
如何将方差最小化的理论结果应用于实际的方差缩减问题？ 本文通过控制变量选择和最优控制中的策略评估两个例子展示了其应用价值。
当前主流方法与已知瓶颈：主流方法是基于 U-统计量的经验风险最小化，其瓶颈在于：对于复杂的函数类（非 Donsker），传统的 ERM 分析只能得到慢速率（如 \( n^{-1/\alpha} \)），而本文的工作部分突破了这一瓶颈。

⚠️ 作者的 framing¶

作者的缺口 frame：作者将缺口 frame 为“尽管均值型泛函的经验最小化理论已很成熟，但方差型泛函的 sharp 非渐近界，尤其是在非 Donsker 情形下，仍然缺失”。这使得本文成为“显然的下一步”——将局部 Rademacher 复杂度这一成熟工具应用于一个尚未被充分研究的泛函类型。
被淡化或回避的竞争路线：作者在引言中提到了“非精确 oracle 不等式”（Lecué and Mendelson, 2012）[15] 可以更容易地获得快速速率，但本文追求的是更“精确”的界。作者通过强调“精确 oracle 不等式”的价值，淡化了非精确方法的竞争性。
什么明显该被引 / 该存在、却没出现在 intro 里？ 本文的引用非常全面，覆盖了 U-统计量、局部 Rademacher 复杂度和方差缩减三个子领域。一个潜在的缺失是：关于“方差型泛函”在因果推断中作为目标函数的直接应用。例如，在估计平均处理效应（ATE）时，双稳健估计量的渐近方差是 nuisance 函数的泛函，最小化该方差是选择最优 nuisance 函数的一种准则。本文的理论框架似乎可以直接应用于此，但作者并未提及。这可能是研究者可以进一步探索的方向。

张力¶

未见明显对立引用。各被引工作之间在方法论上互补，而非矛盾。例如，[1] 和 [5] 分别从 U-统计量和局部 Rademacher 复杂度两个角度推进了 ERM 理论，而本文将它们结合。

二、最核心、最简单的例子 / 数学问题¶

第一步：把符号、模型、可观测数据交代清楚¶

符号：
- \( X \in \mathcal{X} \)：一个随机变量，服从分布 \( \pi \)。
- \( X_1, \dots, X_n \)：从 \( \pi \) 中独立同分布抽取的样本，是可观测数据。
- \( g: \mathcal{X} \to \mathbb{R} \)：一个函数，属于某个函数类 \( \mathcal{G} \)。
- \( g^* \)：一个已知的“目标”函数，其方差 \( \text{Var}_\pi(g^*(X)) \) 是我们想要逼近的“最优”方差。
- \( V(g) = \text{Var}_\pi(g(X)) = \mathbb{E}_\pi[g(X)^2] - (\mathbb{E}_\pi[g(X)])^2 \)：目标泛函（estimand），即函数 \( g \) 在分布 \( \pi \) 下的真实方差。
- \( V_n(g) = \frac{1}{n-1} \sum_{i=1}^n (g(X_i) - \bar{g}_n)^2 \)：经验方差，是 \( V(g) \) 的一个无偏估计量，其中 \( \bar{g}_n = \frac{1}{n} \sum_{i=1}^n g(X_i) \)。这是可计算的统计量。
- \( \hat{g}_n = \arg\min_{g \in \mathcal{G}} V_n(g) \)：经验方差最小化器，是本文研究的核心估计量。
- \( g^*_{\mathcal{G}} = \arg\min_{g \in \mathcal{G}} V(g) \)：最优 oracle 函数，即在函数类 \( \mathcal{G} \) 内使真实方差最小的函数。这是一个不可观测的潜在量。
- \( \text{Excess Variance} = V(\hat{g}_n) - V(g^*_{\mathcal{G}}) \)：超额方差，是本文要 bound 的核心量。
- \( \text{Excess Risk} = V(\hat{g}_n) - V(g^*) \)：当 \( g^* \in \mathcal{G} \) 时，超额方差退化为超额风险。
模型：
- 数据生成机制：\( X_i \stackrel{i.i.d.}{\sim} \pi \)，分布 \( \pi \) 是未知但固定的。
- 统计模型：非参数模型，对 \( \pi \) 和函数类 \( \mathcal{G} \) 施加一些正则性条件（如有界性、熵条件）。
- 要估的对象：\( V(g) \) 对于所有 \( g \in \mathcal{G} \) 的值，以及最小化它的函数 \( g^*_{\mathcal{G}} \)。
可观测数据：
- 可观测：样本 \( X_1, \dots, X_n \)。
- 想要但观测不到：真实分布 \( \pi \)，以及任何依赖于 \( \pi \) 的量，如 \( V(g) \)、\( g^*_{\mathcal{G}} \)、\( \mathbb{E}_\pi[g(X)] \)。

第二步：讲最小内核¶

本文的核心思路可以用一个最简特例来理解：假设函数类 \( \mathcal{G} \) 只包含两个函数，即 \( \mathcal{G} = \{g_1, g_2\} \)，并且我们已知 \( g^* \in \mathcal{G} \)，即 \( g^* \) 就是 \( g_1 \) 或 \( g_2 \) 中的一个。

在这个特例下，问题退化为：基于样本 \( X_1, \dots, X_n \)，判断 \( g_1 \) 和 \( g_2 \) 哪个的真实方差更小，并选择它作为 \( \hat{g}_n \)。我们关心的 excess variance 就是 \( V(\hat{g}_n) - V(g^*) \)。

核心困难：我们无法直接观测到 \( V(g_1) \) 和 \( V(g_2) \)，只能观测到它们的经验估计 \( V_n(g_1) \) 和 \( V_n(g_2) \)。如果 \( V(g_1) \) 和 \( V(g_2) \) 非常接近，那么 \( V_n(g_1) \) 和 \( V_n(g_2) \) 的相对大小可能被随机误差所主导，导致我们选错函数，从而产生一个正的 excess variance。
关键想法：这个问题的难度由“方差之差” \( \Delta = |V(g_1) - V(g_2)| \) 和“经验方差估计量的波动性”共同决定。如果 \( \Delta \) 很大，我们很容易选对；如果 \( \Delta \) 很小，我们就可能选错。本文的核心技术就是利用局部 Rademacher 复杂度来刻画这种“波动性”。具体来说，它不是在全局函数类 \( \mathcal{G} \) 上 bound 波动性，而是在一个“靠近”最优函数 \( g^* \) 的局部子集 \( \{g \in \mathcal{G}: V(g) - V(g^*) \leq r\} \) 上 bound 波动性。这个局部子集的“大小”（由局部 Rademacher 复杂度衡量）决定了我们能以多快的速率收敛到 \( g^* \)。
在这个特例下，证明怎么走：
1. 定义 \( \Delta = V(g_1) - V(g_2) \)。不失一般性，假设 \( g^* = g_1 \)，则 \( \Delta < 0 \)。
2. 我们选错（即选 \( g_2 \)）当且仅当 \( V_n(g_2) < V_n(g_1) \)，即 \( V_n(g_1) - V_n(g_2) > 0 \)。
3. 注意到 \( V_n(g_1) - V_n(g_2) = [V(g_1) - V(g_2)] + [ (V_n(g_1) - V(g_1)) - (V_n(g_2) - V(g_2)) ] = \Delta + \text{noise} \)。
4. 选错等价于 \( \text{noise} > -\Delta = |\Delta| \)。
5. 因此，选错的概率由 \( \text{noise} \) 的集中性决定。如果 \( \text{noise} \) 的波动（由其方差或尾概率衡量）远小于 \( |\Delta| \)，则选错的概率很小。
6. 本文的一般理论就是把这个思想推广到无限函数类 \( \mathcal{G} \) 上。它通过局部 Rademacher 复杂度来 bound 所有“接近” \( g^* \) 的函数的 \( \text{noise} \) 的上确界，从而控制 excess variance。

三、这篇论文做了什么¶

三句话¶

研究了什么问题：在函数类 \( \mathcal{G} \) 上，基于独立同分布样本，对经验方差 \( V_n(g) \) 进行最小化，并推导 excess variance \( V(\hat{g}_n) - V(g^*_{\mathcal{G}}) \) 的 sharp 非渐近上界。
核心工具 / 方法：利用局部 Rademacher 复杂度和 U-统计量的集中不等式，对经验方差过程进行局部化分析。
主要结论：在 Donsker 情形下，excess variance 可以达到与均值型 ERM 相同的快速收敛速率（如 \( n^{-1} \) 或 \( n^{-2/(2+\alpha)} \)）；在非 Donsker 情形下，在额外假设下仍可达到最优非参数速率 \( n^{-2/(2+\alpha)} \)，并给出了一个“非精确 oracle 不等式”作为补充。

关键设定与假设¶

设定：
- 样本 \( X_1, \dots, X_n \) 独立同分布于 \( \pi \)。
- 函数类 \( \mathcal{G} \) 由有界函数组成，不失一般性，假设 \( \|g\|_\infty \leq 1 \)。
- 存在一个已知的“目标”函数 \( g^* \)，其方差 \( V(g^*) \) 是我们要逼近的。通常假设 \( g^* \in \mathcal{G} \) 或 \( g^* \) 是 \( \mathcal{G} \) 的某个极限点。
- 经验方差 \( V_n(g) \) 是 \( V(g) \) 的无偏估计量。
关键假设：
- 假设 1 (有界性)：\( \|g\|_\infty \leq 1 \) 对所有 \( g \in \mathcal{G} \) 成立。这是为了应用集中不等式和局部 Rademacher 复杂度的标准假设。
- 假设 2 (熵条件)：函数类 \( \mathcal{G} \) 的 \( L_2(\pi) \) 熵数 \( \log N(\varepsilon, \mathcal{G}, L_2(\pi)) \) 以 \( \varepsilon^{-\alpha} \) 增长，其中 \( \alpha \in (0, 2) \) 对应 Donsker 情形，\( \alpha > 2 \) 对应非 Donsker 情形。这是刻画函数类复杂度的标准方式。
- 假设 3 (局部化上确界期望条件)：对于非 Donsker 情形（\( \alpha > 2 \)），需要额外假设局部化上确界期望 \( \mathbb{E} \sup_{g \in \mathcal{G}: V(g) - V(g^*) \leq r} |(V_n(g) - V(g^*)) - (V_n(g^*) - V(g^*))| \) 以 \( r^{1/2} n^{-1/2} \) 或更快的速率增长。这个条件比直接应用熵积分得到的界更强，是获得快速速率的关键。
- 相比已有文献：本文的假设与均值型 ERM 的局部 Rademacher 复杂度分析类似，但针对的是方差型泛函。与 [1] 相比，本文的假设更侧重于函数类的整体复杂度，而非特定的“噪声条件”。

主要结果¶

定理 3.1 (Donsker 情形，\( \alpha \in (0, 2) \))：
- 陈述：在假设 1 和 2 下，存在常数 \( C \)，使得以高概率有：
  \[V(\hat{g}_n) - V(g^*_{\mathcal{G}}) \leq C \cdot n^{-2/(2+\alpha)}.\]
- 直觉：这个速率与均值型 ERM 在相同熵条件下的 minimax 最优速率一致。它表明，在 Donsker 情形下，方差最小化并不比均值最小化更困难。
- 必要条件：函数类 \( \mathcal{G} \) 的熵以 \( \varepsilon^{-\alpha} \) 增长，且 \( \alpha < 2 \)。
- 解决的技术难点：将局部 Rademacher 复杂度从均值型泛函推广到方差型泛函。关键在于证明方差型泛函的“局部 Rademacher 复杂度”与均值型泛函的具有相同的增长阶。
定理 3.2 (非 Donsker 情形，\( \alpha > 2 \))：
- 陈述：在假设 1、2 和 3 下，存在常数 \( C \)，使得以高概率有：
  \[V(\hat{g}_n) - V(g^*_{\mathcal{G}}) \leq C \cdot n^{-2/(2+\alpha)}.\]
- 直觉：这是本文最核心的贡献。它表明，即使在非 Donsker 情形下，只要函数类满足更强的局部化条件，方差最小化仍然可以达到最优非参数速率。这个速率比直接应用全局熵界得到的 \( n^{-1/\alpha} \) 更快。
- 必要条件：函数类 \( \mathcal{G} \) 的熵以 \( \varepsilon^{-\alpha} \) 增长，且 \( \alpha > 2 \)，并且满足假设 3。
- 解决的技术难点：在非 Donsker 情形下，全局熵积分发散，无法直接应用标准方法。本文通过引入假设 3 来绕过这个困难，该假设本质上要求函数类在最优函数附近是“足够小”的。
定理 4.1 (非精确 Oracle 不等式)：
- 陈述：在不假设 \( g^* \in \mathcal{G} \) 的情况下，给出了一个更一般的界，其中包含一个“近似误差”项和一个“估计误差”项。估计误差项可以达到 \( n^{-1} \) 的快速速率。
- 直觉：这个结果放松了“正确设定”的假设，使得理论更适用于实际应用。它表明，即使最优函数不在类中，经验方差最小化器仍然可以很好地逼近类内的最优函数。

证明路线与技术技巧¶

整体路线：
1. 问题转化：将 excess variance \( V(\hat{g}_n) - V(g^*_{\mathcal{G}}) \) 与一个 U-统计量过程 \( h_n(g) = V_n(g) - V_n(g^*) - (V(g) - V(g^*)) \) 联系起来。
2. 局部化：定义局部子集 \( \mathcal{G}(r) = \{g \in \mathcal{G}: V(g) - V(g^*) \leq r\} \)。核心思想是证明，如果 \( \hat{g}_n \) 的 excess variance 很大，那么它必然属于某个 \( \mathcal{G}(r) \) 且 \( h_n(g) \) 很大。
3. 控制局部波动：利用局部 Rademacher 复杂度 \( \psi_n(r) \) 来 bound \( \sup_{g \in \mathcal{G}(r)} |h_n(g)| \)。这一步是技术核心，需要将 U-统计量的集中不等式与局部化技巧结合。
4. 解不等式：通过解一个关于 \( r \) 的不等式 \( \psi_n(r) \leq r/2 \)，得到 excess variance 的固定点 \( r^* \)。最终证明 \( V(\hat{g}_n) - V(g^*) \leq C r^* \)。
关键跳跃点：
- 从均值型到方差型的局部 Rademacher 复杂度：均值型 ERM 的局部 Rademacher 复杂度定义在函数 \( f(X) \) 上，而方差型泛函的局部 Rademacher 复杂度需要定义在 \( (g(X) - g(Y))^2 \) 这样的成对函数上。本文的关键跳跃在于证明了，在适当的条件下，这两个复杂度具有相同的增长阶，从而可以将均值型的理论结果迁移过来。
- 处理非 Donsker 情形：在非 Donsker 情形下，直接 bound \( \psi_n(r) \) 会得到一个慢速率。本文的关键跳跃是引入了假设 3，该假设直接对 \( \psi_n(r) \) 的增长阶进行了限制，从而绕过了熵积分的发散问题。这个假设的合理性通过 [10] 中的例子（如保序回归）得到了验证。
技术技巧点名：
- U-统计量的 Bernstein 不等式 (Lemma 6.3)：用于控制单个 \( h_n(g) \) 的尾概率。
- 局部 Rademacher 复杂度 (Bartlett et al., 2005)：核心工具，用于刻画函数类在局部区域的“有效大小”。
- Dudley 熵积分 (Lemma 6.4)：用于将局部 Rademacher 复杂度与函数类的熵数联系起来。
- 截断 U-统计量 (Joly and Lugosi, 2016)：在处理无界函数类时，用于获得鲁棒的估计量。
- 非精确 Oracle 不等式 (Lecué and Mendelson, 2012)：用于在更弱的假设下获得快速速率。

真实例子与应用¶

本文包含两个主要的应用例子：

方差缩减：控制变量的选择
- 数据 / 场景：假设我们要用 Monte Carlo 方法估计 \( \mathbb{E}_\pi[f(X)] \)。我们有一组候选的控制变量 \( \{\xi_1, \dots, \xi_m\} \)，每个 \( \xi_j \) 满足 \( \mathbb{E}_\pi[\xi_j] = 0 \)。我们想找到一个线性组合 \( \xi = \sum_{j=1}^m \beta_j \xi_j \)，使得 \( \text{Var}_\pi(f(X) - \xi) \) 最小。
- 如何应用：定义 \( g_\beta(x) = f(x) - \sum_{j=1}^m \beta_j \xi_j(x) \)。那么 \( \text{Var}_\pi(g_\beta(X)) = \text{Var}_\pi(f(X) - \xi) \)。因此，选择最优控制变量等价于在函数类 \( \mathcal{G} = \{g_\beta: \beta \in \mathbb{R}^m\} \) 上最小化方差。本文的理论保证了，通过最小化经验方差 \( V_n(g_\beta) \) 得到的 \( \hat{\beta} \)，其 excess variance 可以以 \( O(1/n) \) 的速率收敛到 0（因为 \( \mathcal{G} \) 是有限维的，属于 Donsker 情形）。
- 结果：本文通过模拟实验展示了，与传统的基于最小二乘的控制变量方法相比，基于经验方差最小化的方法在有限样本下具有更小的方差。
- 这个例子想说明什么：验证了本文理论在 Donsker 情形下的有效性，并展示了其在经典方差缩减问题中的实用性。
最优控制：策略评估
- 数据 / 场景：考虑一个马尔可夫决策过程。我们想评估一个给定策略 \( \pi \) 的价值函数 \( V^\pi(s) \)。这通常可以通过 Monte Carlo 模拟或时序差分学习来完成。
- 如何应用：价值函数 \( V^\pi(s) \) 可以表示为某个随机回报的期望。本文的方法可以用来构造一个“控制变量”，该控制变量是价值函数的某个函数，从而降低 Monte Carlo 估计的方差。具体地，作者将问题转化为在某个由基函数张成的函数类上最小化方差。
- 结果：在经典的“格子世界”和“倒立摆”问题上，本文的方法显著降低了价值函数估计的方差，并且其性能优于传统的控制变量方法。
- 这个例子想说明什么：展示了本文理论在更复杂的序列决策问题中的应用潜力，并验证了其在非 Donsker 情形下（当函数类很复杂时）也能获得良好的有限样本表现。

🔎 结论是否比证明窄¶

定理 3.2 的假设 3 是否过于严格？ 作者在定理 3.2 中声称在非 Donsker 情形下可以达到最优速率，但这是建立在假设 3 之上的。作者在文中承认，这个假设并非对所有的非 Donsker 函数类都成立，并引用了 [10] 和 [14] 中的例子（如保序回归、log-concave 密度估计）来证明其合理性。因此，结论的适用范围比证明所覆盖的要窄——它只适用于那些满足假设 3 的函数类，而非所有熵以 \( \varepsilon^{-\alpha} \)（\( \alpha > 2 \)）增长的非 Donsker 类。
定理 4.1 的“非精确”性质：定理 4.1 给出了一个非精确 oracle 不等式，其估计误差项可以达到 \( n^{-1} \)。但作者也指出，这个界不如精确 oracle 不等式信息丰富，因为它不能直接给出 excess variance 的收敛速率。因此，结论的强度（快速速率）在更一般的设定下（不假设 \( g^* \in \mathcal{G} \)）被削弱了。

四、开放问题¶

假设 3 的普适性：本文在非 Donsker 情形下的核心结果（定理 3.2）依赖于假设 3。一个重要的开放问题是：对于哪些具体的、非 Donsker 的函数类，假设 3 成立？ 除了保序回归和 log-concave 密度估计外，是否还有其他重要的非参数函数类（如某些 Sobolev 球、Besov 球）满足该条件？这需要更深入的研究。（扎根于：定理 3.2 的假设 3 及其后的讨论）
无界函数类：本文的主要理论结果假设函数类是有界的（\( \|g\|_\infty \leq 1 \)）。虽然作者在第四节讨论了通过截断 U-统计量来处理无界情形的思路，但能否在无界函数类下，建立与有界情形同样 sharp 的 excess variance 界？ 这需要更精细的集中不等式和局部化技术。（扎根于：第四节关于“无界函数类”的讨论）
依赖数据：本文的结果基于独立同分布样本。作者在 [22] 和 [24] 中已经将类似的想法推广到了马尔可夫链。一个自然的开放问题是：能否将本文的局部 Rademacher 复杂度框架推广到更一般的依赖数据（如 \( \beta \)-mixing 或 \( \phi \)-mixing 过程）？ 这需要处理依赖数据下的 U-统计量过程。（扎根于：引言中关于 [22] 和 [24] 的引用，以及本文对独立同分布假设的依赖）
计算-统计权衡：本文关注的是统计上的最优性，但并未讨论计算成本。对于高维或复杂的函数类，经验方差最小化本身可能是一个计算上困难的问题。一个有趣的开放问题是：是否存在计算上可行（如多项式时间）的算法，能够达到本文所证明的统计最优速率？ 这涉及到统计-计算权衡，对于高维稀疏模型或神经网络等复杂模型尤为重要。（扎根于：本文对计算复杂度的忽略，以及研究者对统计-计算权衡的兴趣）

Maintained by 陈星宇 · Homepage · Source on GitHub