跳转至

High-Dimensional Variance Estimation for the Generalized Regression Estimator

作者: Kalil Bouhadra, Mehdi Dagdoug
主题: 高维统计 / 随机矩阵
相关性: 7/10
链接: https://arxiv.org/abs/2607.05570

一、领域脉络与小综述

这个方向是什么

这个子方向解决的根本问题是：在有限总体抽样调查中，当可利用的辅助信息（协变量）数量 \(p\) 与样本量 \(n\) 同阶（即 \(p/n \not\approx 0\)）时，如何对广义回归估计量（GREG）的方差进行可靠估计。当前成熟度：这是一个正在快速发展的领域，核心挑战在于经典的低维渐近理论（\(p\) 固定）在高维下失效，导致传统方差估计量出现系统性偏差。该领域正处于从“发现问题”到“提出解决方案”的过渡阶段。

发展脉络（history）

  • 奠基工作：模型辅助估计的框架由 Cassel et al. (1977) 和 Särndal and Wright (1984) 奠定。GREG 估计量的方差估计方法，包括基于泰勒线性化的方法（Särndal et al., 1989; Valliant, 2002）和重抽样方法如刀切法（Duchesne, 2000; Berger and Skinner, 2005），其经典性质是在低维渐近框架（\(p\) 固定，\(n, N \to \infty\)）下建立的（Robinson and Särndal, 1983; Kott, 1990）。这些工作构成了该领域的基石，但留下了“当 \(p\) 与 \(n\) 同阶时，这些性质是否仍然成立”的口子。

  • 主要进展（高维挑战的发现）：随着现代应用中高维协变量的出现，研究者开始探索高维设定下的 GREG 估计。Cardot et al. (2017) 研究了基于主成分的校准方法，试图通过降维来应对高维问题。Ta et al. (2020) 和 Chauvet and Goga (2022) 则直接研究了 GREG 估计量在高维下的性质。Dagdoug et al. (2023) 进一步研究了基于随机森林的模型辅助估计，并首次提出了使用交叉验证残差来构建方差估计量的想法，以应对高维下的过拟合问题。关键转折点是 Eustache et al. (2025)，他们明确指出了经典方差估计量在高维下的严重偏差：泰勒线性化估计量系统性低估方差，而刀切法估计量系统性高估方差。他们推导了这些偏差的表达式，并提出了基于偏差校正的估计量。这为本文提供了直接的问题背景和理论起点。

  • 当前 frontier 与本文的位置：当前的前沿是寻找一种“自然”渐近无偏的方差估计量，而不是依赖于特定设定（如 Bernoulli 抽样）的偏差校正。本文（Bouhadra & Dagdoug）正是在此基础上，通过更严格的理论分析（特别是对杠杆值和 g-权重的均匀收敛性证明），证明了留一法（LOO）交叉验证方差估计量在 Gaussian 协变量和 Bernoulli 抽样下是渐近无偏的，并给出了泰勒估计量和 g-加权泰勒估计量偏差的显式闭式表达式。本文的位置是：为 LOO 方差估计量在高维下的无偏性提供了首个严格的理论证明，并统一解释了不同方差估计量行为差异的根源。

子线索聚类

  1. 降维与正则化方法：以 Cardot et al. (2017) 为代表，通过主成分分析（PCA）或 LASSO（如 Ta et al., 2020 中提到的稀疏设定）来减少有效协变量数量，从而规避高维问题。这条线索的代价是可能丢失信息或需要稀疏性假设。
  2. 偏差校正方法：以 Eustache et al. (2025) 为代表，他们接受传统估计量在高维下有偏的事实，并推导出偏差的显式表达式，然后构造偏差校正后的估计量。这条线索的局限是校正公式依赖于特定的抽样设计（如 Bernoulli 抽样）和协变量分布。
  3. 交叉验证 / 样本外残差方法：以 Opsomer and Miller (2005) 为思想源头，Dagdoug et al. (2023) 和本文（Bouhadra & Dagdoug）为代表。核心思想是用留一法或交叉验证产生的“样本外”残差替代“样本内”残差，以消除过拟合导致的偏差。本文是这条线索上第一个给出严格高维渐近无偏性证明的工作。

这个方向在追问的核心问题

  1. 偏差的量化：在高维（\(p/n \to \kappa > 0\)）下，传统方差估计量的渐近偏差有多大？其闭式表达式是什么？
  2. 无偏估计量的构造：能否构造一个在所有维度（包括低维和高维）下都自然渐近无偏的方差估计量，而不需要依赖特定的偏差校正公式？
  3. 理论假设的验证：Eustache et al. (2025) 中关于杠杆值均匀收敛和 g-权重行为的假设，在什么条件下（如协变量分布）是成立的？这些假设在高维下是否仍然有效？
  4. 方法的普适性：这些结论是否依赖于特定的抽样设计（如 Bernoulli 抽样）和协变量分布（如 Gaussian 分布）？能否推广到更一般的设定（如不等包含概率抽样、非 Gaussian 协变量）？

⚠️ 作者的 framing（必须明确标注成"这是作者的说法"）

  • 作者把缺口 frame 成什么：作者在引言中明确指出，Eustache et al. (2025) 的工作“several aspects are only partially understood”。具体来说，作者认为存在三个未完全解决的问题：(i) 高维下 g-权重均值 \(G_N\) 的行为难以刻画；(ii) 关于杠杆值的假设（如均匀收敛）的理论有效性未被研究；(iii) 基于 Bernoulli 抽样的偏差校正估计量在其它设计下的表现不明确。因此，作者将本文定位为“寻找一个自然渐近无偏的方差估计量”，即 LOO 估计量，它不需要针对特定设定进行调整。这是作者为了让自己这篇论文成为“显然的下一步”而构建的叙事。

  • 哪些竞争路线被他淡化或回避了：

    • 降维方法（如 PCA）：作者在引言中仅一笔带过 Cardot et al. (2017)，没有深入讨论其在高维下的优缺点。作者似乎默认了“使用全部协变量”的 GREG 框架，而回避了“是否应该先降维”这一更根本的问题。
    • 稀疏方法（如 LASSO）：作者在引言中引用了 Ta et al. (2020) 关于 LASSO 的工作，但在本文的设定中，作者明确假设 \(p < n\) 且 \(p/n \to \kappa < 1\)，并假设 \(A_\Pi\) 可逆，这排除了 \(p > n\) 的稀疏高维情形。作者回避了在 \(p > n\) 或参数稀疏时，方差估计问题会如何变化。
    • 其它重抽样方法（如 Bootstrap）：作者提到了 Stefan and Hidiroglou (2023) 的 Bootstrap 方法，但并未将其作为主要比较对象。作者聚焦于泰勒、g-加权和刀切法，可能是因为这些方法有更清晰的代数结构，便于理论分析。

  • 什么明显该被引 / 该存在、却没出现在 intro 里？

    • Jiang et al. (2025) 的 AIPW 工作：这篇论文在附录中被引用，用于支持 Gaussian 协变量假设的合理性。但在引言中，作者没有提及这篇论文与本文问题的直接联系。Jiang et al. (2025) 研究了高维下 AIPW 估计量的方差膨胀和交叉拟合协方差，这与本文的 LOO 方差估计有很强的概念联系（都是通过样本分割/留一法来处理高维偏差）。作者在引言中未将其作为一条重要的相关线索来讨论，是一个值得注意的缺失。
    • El Karoui and Purdom (2018) 关于高维 Bootstrap 的工作：这篇论文在引言中被引用，用于说明高维下残差行为的变化。但作者没有深入讨论其与本文 LOO 估计量的联系。El Karoui and Purdom 的工作揭示了高维线性模型中 Bootstrap 的失效，而 LOO 估计量可以被视为一种避免 Bootstrap 的替代方案。作者没有明确建立这种对比。

张力

未见明显对立引用。所有被引工作基本都认同“高维下经典方差估计量有偏”这一事实，分歧在于如何解决。Eustache et al. (2025) 的偏差校正路线与本文的 LOO 路线是互补而非对立的。作者在文中也指出，Eustache et al. 的偏差公式可用于构造偏差校正估计量，而本文的 LOO 估计量则提供了一种无需校正的替代方案。

二、最核心、最简单的例子 / 数学问题

第一步：把符号、模型、可观测数据交代清楚

  • 符号：

    • \(U_N\): 大小为 \(N\) 的有限总体。
    • \(S_N\): 从 \(U_N\) 中抽取的随机样本，大小为 \(n_N\)。
    • \(y_i\): 总体单元 \(i\) 的调查变量（感兴趣的变量）的测量值。
    • \(\mu = N^{-1} \sum_{i \in U_N} y_i\): 有限总体均值，是我们要估计的目标参数。
    • \(x_i \in \mathbb{R}^{p_N+1}\): 总体单元 \(i\) 的 \(p_N\) 个协变量（辅助信息）的测量值，包含截距项。\(p_N\) 是协变量个数（不含截距）。
    • \(\pi_i = P(i \in S_N)\): 一阶包含概率。
    • \(\pi_{ij} = P(i, j \in S_N)\): 二阶包含概率。
    • \(\hat{\mu}_{\text{greg}}\): 广义回归估计量（GREG），是我们要估计其方差的估计量。
    • \(\hat{\beta}_N\): 加权最小二乘估计的回归系数。
    • \(\hat{\epsilon}_i = y_i - x_i^\top \hat{\beta}_N\): 样本内残差（对 \(i \in S_N\)）。
    • \(h_{ii,N} = x_i^\top A_\Pi^{-1} \pi_i^{-1} x_i\): 加权杠杆值，其中 \(A_\Pi = \sum_{i \in S_N} \pi_i^{-1} x_i x_i^\top\)。
    • \(g_{i,N} = t_x^\top A_\Pi^{-1} x_i\): g-权重，其中 \(t_x = \sum_{i \in U_N} x_i\) 是总体协变量总和。
    • \(G_N = N^{-1} \sum_{i \in U_N} g_{i,N}\): g-权重的总体均值。
    • \(\kappa_N = p_N / n_N\): 维度比，其极限为 \(\kappa_\star \in [0, 1)\)。
    • \(\pi_\star = \lim_{N\to\infty} \pi_N\): 抽样比的极限。
    • \(V_p(\cdot)\): 关于抽样设计的方差。
    • \(V_m(\cdot), E_m(\cdot)\): 关于超总体模型（即 \(y_i\) 的分布）的方差和期望，协变量 \(x_i\) 被视为固定。
    • \(V_{mp}(\cdot) = E_m[V_p(\cdot)] + V_m[E_p(\cdot)]\): 联合方差。

  • 模型：

    • 超总体模型：假设调查变量 \(y_i\) 由以下线性模型生成：
      \[y_i = x_i^\top \beta + \epsilon_i, \quad i \in U_N\]
      其中 \(\epsilon_i\) 是独立同分布的随机误差，满足 \(E_m[\epsilon_i] = 0\)，\(V_m[\epsilon_i] = \sigma^2\)。协变量 \(x_i\) 被视为固定（非随机）的设计矩阵。这个模型是辅助性的，用于指导估计量的构造，但估计量的性质（如无偏性）最终依赖于抽样设计。
    • 抽样设计：主要假设为 Bernoulli 抽样，每个单元独立地以概率 \(\pi_N\) 被抽中。这是为了数学上的可处理性。

  • 可观测数据：

    • 可观测：对于样本 \(S_N\) 中的每个单元 \(i\)，我们可以观测到 \((y_i, x_i)\)。此外，我们知道总体中所有单元的协变量 \(x_i\)（即 \(t_x\) 已知），这是模型辅助估计的核心假设。抽样设计（如 \(\pi_i\)）也是已知的。
    • 不可观测 / 潜在：
      1. 总体中未入样单元（\(i \notin S_N\)）的 \(y_i\) 值是不可观测的。GREG 估计量正是通过模型来预测这些值。
      2. 真实回归系数 \(\beta\) 和真实误差 \(\epsilon_i\) 是不可观测的，只能通过样本估计。
      3. GREG 估计量的真实方差 \(V_p(\hat{\mu}_{\text{greg}})\) 是我们想要估计的目标，但不可直接观测。
      4. 样本外残差（如留一法残差 \(\hat{\epsilon}_{(i)}^{(i)}\)）在计算时是已知的，但其分布性质（如方差）与样本内残差不同，需要理论刻画。

第二步：讲最小内核

本文的核心思想可以用一个最简特例来理解：Bernoulli 抽样 + Gaussian 协变量 + 已知误差方差 \(\sigma^2\)。

在这个特例下，我们关心的是 GREG 估计量的方差 \(V_{mp}(\hat{\mu}_{\text{greg}})\) 的估计。一个关键的方差估计量形式为：

\[\hat{V}_{mp} = \hat{V}_{\text{design}} + \frac{\sigma^2}{N}\]
其中 \(\hat{V}_{\text{design}}\) 是设计方差 \(V_p(\hat{\mu}_{\text{greg}})\) 的估计量。本文主要研究三种 \(\hat{V}_{\text{design}}\)： 1. 泰勒估计量 \(\hat{V}_{\text{tay}}\)：直接使用样本内残差 \(\hat{\epsilon}_i\)。 2. g-加权泰勒估计量 \(\hat{V}_g\)：在泰勒估计量的基础上乘以 g-权重 \(g_{i,N}\)。 3. 留一法估计量 \(\hat{V}_{\text{loo}}\)：使用留一法残差 \(\hat{\epsilon}_{(i)}^{(i)} = \hat{\epsilon}_i / (1 - h_{ii,N})\)。

最小内核问题：在高维下（\(\kappa_\star > 0\)），为什么 \(\hat{V}_{\text{tay}}\) 和 \(\hat{V}_g\) 会低估方差，而 \(\hat{V}_{\text{loo}}\) 不会？

核心思路： - 过拟合导致残差偏小：在高维下，GREG 估计量会过度拟合样本数据，导致样本内残差 \(\hat{\epsilon}_i\) 的方差小于真实误差 \(\epsilon_i\) 的方差。具体地，在 OLS 情形下，\(V_m(\hat{\epsilon}_i) = \sigma^2 (1 - h_{ii,N})\)。由于杠杆值 \(h_{ii,N}\) 不再趋于 0（其均值趋于 \(\kappa_\star\)），所以 \(1 - h_{ii,N} < 1\)，导致残差方差被低估。泰勒估计量直接使用 \(\hat{\epsilon}_i\)，因此会低估方差。 - 留一法残差校正：留一法残差 \(\hat{\epsilon}_{(i)}^{(i)}\) 是去掉第 \(i\) 个样本后重新拟合模型得到的残差。这个残差不受第 \(i\) 个样本的“过拟合”影响，因此其方差 \(V_m(\hat{\epsilon}_{(i)}^{(i)}) = \sigma^2 / (1 - h_{ii,N})\)。神奇的是，这个方差恰好是真实误差方差 \(\sigma^2\) 的 \(1/(1-h_{ii,N})\) 倍，而 \(1/(1-h_{ii,N})\) 这个因子正好抵消了由于杠杆值不为零带来的偏差。因此，使用留一法残差构造的方差估计量 \(\hat{V}_{\text{loo}}\) 是渐近无偏的。

数学上干了什么：本文证明了，在 Gaussian 协变量和 Bernoulli 抽样下，\(\hat{V}_{\text{loo}}\) 的期望与真实方差之比趋近于 1，即：

\[\frac{E_m[\hat{V}_{\text{loo}}]}{V_m(\hat{\mu}_{\text{greg}})} \xrightarrow{P} 1\]
而 \(\hat{V}_{\text{tay}}\) 和 \(\hat{V}_g\) 的这个比值则严格小于 1，且随着 \(\kappa_\star\) 增大而减小。

三、这篇论文做了什么

  • 三句话：

    1. 研究了什么问题：在高维协变量（\(p\) 与 \(n\) 同阶）的有限总体抽样中，GREG 估计量的方差估计问题，特别是泰勒线性化、g-加权和留一法（LOO）三种方差估计量的渐近偏差。
    2. 核心工具 / 方法：利用随机矩阵理论（特别是 Beta 分布与杠杆值的关系）和均匀收敛性理论，在 Gaussian 协变量和 Bernoulli 抽样的假设下，推导了杠杆值和 g-权重的渐近行为，并基于此分析了 LOO 方差估计量的无偏性。
    3. 主要结论：证明了 LOO 方差估计量在所有维度（包括高维）下都是渐近无偏的，而泰勒和 g-加权估计量在高维下存在系统性负偏，并给出了其偏差的闭式表达式。

  • 关键设定与假设：

    • 设定：有限总体 \(U_N\)，样本 \(S_N\) 通过 Bernoulli 抽样（假设 A1）获得。协变量 \(x_i\) 包含截距项和 \(p_N\) 个独立的标准正态分布变量（假设 C1）。超总体模型为线性模型 \(y_i = x_i^\top \beta + \epsilon_i\)，\(\epsilon_i\) 独立同分布，均值为 0，方差为 \(\sigma^2\)。维度比 \(\kappa_N = p_N / n_N \to \kappa_\star \in [0, 1)\)。
    • 假设 (A1)：Bernoulli 抽样设计，抽样概率 \(\pi_N \to \pi_\star\)。这是为了数学上的可处理性，作者认为结论可能推广到 SRSWOR 等设计。
    • 假设 (A2)：杠杆值 \(h_{ii,N}\) 一致收敛于 \(\kappa_N\)，即 \(\max_{i \in S_N} |h_{ii,N} - \kappa_N| \xrightarrow{P} 0\)。这是 Eustache et al. (2025) 中使用的一个关键假设，本文的 Lemma 1 在假设 (C1) 下证明了该假设成立。
    • 假设 (C1)：协变量（除截距外）独立同分布于标准正态分布 \(N(0, 1)\)。这是一个较强的分布假设，作者承认其限制性，但指出这是高维文献中的常见做法（如 Portnoy, 1987; Jiang et al., 2025），并认为结论可能对更一般的分布（如均匀分布）也成立，模拟结果支持这一点。
    • 与已有文献的对比：相比 Eustache et al. (2025)，本文强化了假设 (A2) 的理论基础（通过 Lemma 1 证明其在 Gaussian 设计下成立），并放宽了对偏差校正公式的依赖（LOO 估计量无需校正）。相比 Ta et al. (2020) 的稀疏设定，本文的设定是非稀疏的（所有协变量都用于模型）。

  • 主要结果：

    • Lemma 1：在假设 (A1) 和 (C1) 下，假设 (A2) 成立。即，Gaussian 协变量的杠杆值一致收敛于 \(\kappa_N\)。技术难点：证明需要处理随机样本量 \(n_N\) 和 Beta 分布的尾部概率。作者利用 Skorski (2023) 的 Bernstein 型不等式对 Beta 分布进行集中性分析，并通过二项分布的矩母函数处理随机样本量。
    • Result 1：在假设 (A1) 和 (A2) 下，LOO 方差估计量的期望与真实方差之比为：
      \[\frac{E_m[\hat{V}_{\text{loo}}]}{V_m(\hat{\mu}_{\text{greg}})} = \frac{1-\pi_\star}{1-\kappa_\star} + \pi_\star \cdot G_N^{-1} + o_P(1)\]
      其中 \(G_N\) 是 g-权重的总体均值。这个结果揭示了 LOO 估计量的偏差依赖于 \(G_N\)。
    • Lemma 2：刻画了 \(G_N\) 的渐近行为。
      • (a) 一般地，\(\liminf G_N \ge 1\)。
      • (b) 在低维或特定条件下，\(G_N \xrightarrow{P} 1\)。
      • (c) 在假设 (C1) 下，\(G_N \xrightarrow{P} \frac{1-\pi_\star}{1-\kappa_\star} + \pi_\star\)。这是关键结果，它给出了 \(G_N\) 在高维 Gaussian 设计下的显式极限。
    • Corollary 1：结合 Result 1 和 Lemma 2(c)，得到三个估计量的渐近偏差闭式表达式：
      • (i) 泰勒估计量：\(\frac{E_m[\hat{V}_{\text{tay}}]}{V_m(\hat{\mu}_{\text{greg}})} \xrightarrow{P} \frac{(1-\kappa_\star)(1-\kappa_\star(1-\pi_\star))}{1-\pi_\star \kappa_\star} < 1\)（当 \(\kappa_\star > 0, \pi_\star < 1\)）。
      • (ii) g-加权泰勒估计量：\(\frac{E_m[\hat{V}_g]}{V_m(\hat{\mu}_{\text{greg}})} \xrightarrow{P} \frac{(1-\kappa_\star)(1-\pi_\star \kappa_\star (1-\pi_\star))}{1-\pi_\star \kappa_\star} < 1\)。
      • (iii) LOO 估计量：\(\frac{E_m[\hat{V}_{\text{loo}}]}{V_m(\hat{\mu}_{\text{greg}})} \xrightarrow{P} 1\)。核心结论：LOO 估计量是渐近无偏的。

  • 证明路线与技术技巧：

    • 整体路线：
      1. 建立杠杆值的均匀收敛性（Lemma 1）：证明在 Gaussian 设计下，\(\max_i |h_{ii,N} - \kappa_N| = o_P(1)\)。这是后续所有分析的基础。
      2. 推导 LOO 估计量的期望（Result 1 证明）：利用 Bernoulli 抽样的性质，将 \(\hat{V}_{\text{loo}}\) 的期望表达为 \(\sum_{i \in S_N} 1/(1-h_{ii,N})\) 的形式。然后利用杠杆值的均匀收敛性，通过一阶泰勒展开将 \(1/(1-h_{ii,N})\) 替换为 \(1/(1-\kappa_\star)\)，得到期望的渐近表达式。
      3. 刻画 g-权重均值 \(G_N\)（Lemma 2 证明）：这是最复杂的部分。在 Gaussian 设计下，将 \(G_N\) 分解为样本内、样本间和样本外三部分。利用 Wishart 分布、Hotelling \(T^2\) 分布和 Beta 分布的性质，分别计算这三部分的渐近期望和方差，最终得到 \(G_N\) 的极限。
      4. 合并得到最终偏差公式（Corollary 1 证明）：将 Result 1 和 Lemma 2(c) 的结果代入，并利用 Eustache et al. (2025) 中已有的泰勒和 g-加权估计量的偏差公式，即可得到 Corollary 1。
    • 关键跳跃点：
      • 从“点态”收敛到“一致”收敛：证明 \(\max_i |h_{ii,N} - \kappa_N| = o_P(1)\) 是关键。这需要处理 \(n_N\) 个随机变量的最大值，不能仅靠单个杠杆值的收敛性。作者通过将杠杆值表示为 Beta 分布，并利用 Skorski (2023) 的 Bernstein 型不等式和联合界（union bound）来克服这个困难。
      • 计算 \(G_N\) 的极限：\(G_N\) 的表达式涉及总体协变量总和 \(t_x\) 和样本协方差矩阵 \(A_S\) 的逆，是一个复杂的二次型。作者巧妙地将其分解为三个部分，并利用 Gaussian 分布的正交性和 Wishart 分布的性质（如 Lemma 4 和 Lemma 5）来分别处理。特别是处理“样本外”部分 \(A_3(S_N^c)\) 时，需要用到条件分布和 Schur 补公式。
    • 技术技巧点名：
      • Beta 分布表示（Lemma 5）：将杠杆值 \(h_{ii,N}\) 与 Beta 分布联系起来，这是分析其集中性的关键。
      • Bernstein 型不等式（Skorski, 2023）：用于获得 Beta 分布的指数型集中界，从而证明一致收敛。
      • Schur 补公式：用于求分块矩阵的逆，这在分析 \(G_N\) 时是必不可少的。
      • Wishart 分布与 Hotelling \(T^2\) 分布：用于分析二次型 \(z^\top A_S^{-1} z\) 的分布（Lemma 4）。
      • 条件期望与方差分解：在处理随机样本量 \(n_N\) 时，使用条件于 \(n_N\) 的分析，然后通过全期望和全方差公式得到无条件结果。

  • 真实例子与应用：

    • 模拟研究：本文包含一个模拟研究，用于验证理论结果。
    • 数据生成：生成一个大小为 \(N=1000\) 的有限总体，协变量 \(X_1, \ldots, X_{p_N}\) 独立同分布于均匀分布 \(U([-1, 1])\)。变量 \(Y\) 由线性模型 \(y_i = x_i^\top \beta + \epsilon_i\) 生成，其中 \(\beta = \mathbf{1}_{p+1}\)，\(\epsilon_i \sim N(0, 1)\)。维度比 \(\kappa_N\) 从 0.1 变化到 0.8，抽样比 \(\pi_N = 0.3\)。
    • 方法应用：分别使用 SRSWOR 和 Bernoulli 抽样抽取样本，计算 GREG 估计量及其三种方差估计量（\(\hat{V}_{\text{loo}}, \hat{V}_{\text{tay}}, \hat{V}_g\)）。
    • 结果：模拟结果（图 1）与 Corollary 1 的理论预测高度一致。\(\hat{V}_{\text{loo}}\) 的相对偏差（RB）在所有 \(\kappa_N\) 下都接近 0%，而 \(\hat{V}_{\text{tay}}\) 和 \(\hat{V}_g\) 的负偏差随 \(\kappa_N\) 增大而加剧。理论曲线（实线）与经验点（散点）吻合得很好。
    • 这个例子想说明什么：
      1. 验证理论：模拟结果有力地支持了 Corollary 1 中关于偏差的理论公式。
      2. 展示 LOO 的优势：LOO 估计量在从低维到高维的整个范围内都表现稳健，无需任何维度相关的校正。
      3. 鲁棒性：尽管理论是在 Gaussian 协变量下证明的，但模拟中使用均匀分布也观察到了相同的模式，这表明结论可能对更一般的分布具有鲁棒性。同样，SRSWOR 下的结果也与 Bernoulli 抽样下的理论预测一致，暗示结论可能对等包含概率设计具有普适性。

  • 🔎 结论是否比证明窄：

    • 是。Corollary 1 的结论是在假设 (A1) 和 (C1) 下严格证明的，即 Bernoulli 抽样和 Gaussian 协变量。然而，作者在摘要和引言中使用的语言（如“under suitable distributional assumptions on the covariates”）以及模拟部分（使用均匀分布和 SRSWOR）暗示了更广泛的适用性。作者在结论部分（Section 5）也明确写道：“This leads us to believe that the interpretation of the results may extend, at least in spirit, to more general distributional settings and to other sampling designs with equal inclusion probabilities.” 这是一个猜想，而非证明。结论的严格适用范围比论文的泛化 claim 要窄。

四、开放问题

  1. 不等包含概率抽样设计：本文的分析严格依赖于 Bernoulli 抽样（假设 A1）。作者在结论部分明确指出：“the present analysis does not cover unequal inclusion probability designs.” 对于更复杂的抽样设计（如 PPS 抽样），杠杆值、g-权重和留一法残差的行为可能完全不同，LOO 估计量的无偏性是否还能成立是一个开放问题。（扎根于 Section 5 最后一段：“In such settings, the behavior of the leverages, the g-weights, and the leave-one-out residuals may be quite different, and it is unclear whether the cancellation mechanism leading to the unbiasedness of \(\hat{V}_{\text{loo}}\) would still hold.”）

  2. 非 Gaussian 协变量分布：Lemma 1 和 Lemma 2(c) 的证明强烈依赖于协变量的 Gaussian 性。虽然模拟显示对均匀分布也有效，但缺乏理论证明。对于更一般的分布（如重尾分布、离散分布），杠杆值的均匀收敛性和 g-权重的极限行为如何？LOO 估计量是否仍然无偏？（扎根于 Lemma 1 和 Lemma 2 的假设 (C1)，以及 Section 5 的讨论：“This leads us to believe that the interpretation of the results may extend, at least in spirit, to more general distributional settings...”）

  3. 超总体模型误设定：本文假设线性模型 \(y_i = x_i^\top \beta + \epsilon_i\) 是正确设定的。如果真实关系是非线性的，GREG 估计量（基于线性模型）的方差会如何变化？LOO 方差估计量是否仍然有效？这是一个重要的稳健性问题。（扎根于 Section 2.1 的模型设定，以及 Remark 1 中提到的“the validity of the estimator structure in (3) rests on the implicit assumption that the design bias of the GREG estimator remains asymptotically negligible”，这个假设在模型误设定下可能不成立。）

  4. 超-高维情形（\(p > n\)）：本文的框架要求 \(p < n\) 且 \(p/n \to \kappa < 1\)。当 \(p > n\) 时，\(A_\Pi\) 不可逆，GREG 估计量无法直接定义。此时需要使用正则化方法（如 LASSO, Ridge）。在这些设定下，方差估计问题会变得更加复杂，LOO 或交叉验证方法是否仍然有效？（扎根于 Section 2.1 的设定：“we assume that \(A_\Pi\) is invertible”，以及 Section 1 中提到的“The setup we consider, however, does not include the ultra-high dimensional case where \(\kappa^* \ge 1\)”。）

Maintained by 陈星宇 · Homepage · Source on GitHub

评论