跳转至

Bootstrap Error Estimation and Sketch-Size Selection for Sketched Ridge Regression

作者: Akito Narahara, Takayuki Kawashima, Takafumi Kanamori
主题: 统计计算 / 算法
相关性: 6/10
链接: https://arxiv.org/abs/2608.15478


一、领域脉络与小综述

  • 这个方向是什么:本文属于"随机化数值线性代数(RandNLA)"与"统计推断"的交叉地带。其根本问题不是"如何更快地算出岭回归解",而是:当计算资源有限、被迫用随机投影(sketching)把数据从 n 行压缩到 m 行时,如何对"压缩后估计量"与"全数据估计量"之间的误差进行事后(a posteriori)量化,并据此选择压缩规模(sketch size)。这是一个"计算约束下的推断"问题——计算精度与统计推断精度之间的权衡是核心矛盾。该子方向目前处于"理论渐近已初步建立、但实用工具(如覆盖率的有限样本校正、多候选规模选择)仍在发展"的阶段。

  • 发展脉络(history):

  • 奠基工作:Lopes, Wang & Mahoney (2018) 首次将 bootstrap 引入随机化最小二乘的误差估计,确立了"对压缩数据行重抽样"这一核心思路,并证明了在最小二乘(无正则化)情形下 bootstrap 分布对误差分布的一致逼近。这是本文的直接起点,本文明确说"the closest related method is the bootstrap of Lopes et al. (2018) for randomized least squares"。
  • 主要进展:此后该方向沿两条线展开。一条是误差估计方法的多样化——Epperly & Tropp (2024) 用 leave-one-out 和 jackknife 估计随机化矩阵计算的误差与方差;Lopes 等人在随机矩阵乘法 (2019)、sketched SVD (2020)、随机傅里叶特征 (2023) 等不同随机化算法上逐一建立 bootstrap 理论。另一条是统计性质的深入分析——Ahfock et al. (2021) 将 sketch 视为数据生成过程的一部分,建立了 sketched 估计量的条件中心极限定理;LeJeune et al. (2022) 用随机矩阵理论刻画了 sketched 伪逆的渐近等价性;Patil & LeJeune (2024) 则从预测风险角度研究 sketched 岭回归集成(ensemble)的调参问题。
  • 当前 frontier:最近的工作开始关注高维比例极限下的 bootstrap 失效问题——Clarté et al. (2024) 发现当 n 与 d 同阶增长时,bootstrap 和 subsampling 在岭回归中会出现 double-descent 式的非一致行为,这直接挑战了经典低维 bootstrap 理论的适用边界。本文明确引用了这一点("Proportional high-dimensional regimes can exhibit different bootstrap behavior"),并将其作为自己固定维数假设的边界说明。
  • 本文的位置:本文把 Lopes et al. (2018) 的最小二乘 bootstrap 理论推广到带正则化的岭回归,并补上了三个 Lopes 等人未处理的环节:正则化参数随问题规模变化时的渐近理论、有限 bootstrap 复制数的蒙特卡洛误差校正、以及多候选规模选择时的多重比较校正。

  • 子线索聚类:被引文献大致落在三条子线索上:

  • Bootstrap/重抽样误差估计(Lopes et al. 2018, 2019, 2020; Yao et al. 2023; Chen & Lopes 2020; Lunde et al. 2021):核心思路是对压缩后的行进行重抽样,用重抽样分布的展开来逼近真实误差分布。这条线是本文的直接母体。
  • 随机矩阵理论/渐近等价性(LeJeune et al. 2022; Patil & LeJeune 2024; Clarté et al. 2024):用自由概率或随机矩阵工具刻画 sketched 估计量的谱性质与风险,不依赖 bootstrap,而是直接计算渐近分布。这条线在高维比例极限下更自然,但与 bootstrap 路线的方法论差异很大。
  • 算法与复杂度分析(Mahoney 2011; Martinsson & Tropp 2020; Murray et al. 2023; Dereziński & Mahoney 2024; Kacham & Woodruff 2022; Gazagnadou et al. 2022):关注 sketch 的构造、迭代求解器的收敛性、以及近似保证(如 subspace embedding、AMM 性质),基本不涉及统计推断。本文属于第 1 条线,但用第 3 条线的算法(如 sketch 的构造方式)作为输入。

  • 这个方向在追问的核心问题:

  • 误差可估性:给定一个已实现的 sketch,能否仅从压缩数据出发,一致地估计"压缩解离全数据解有多远"?Lopes et al. (2018) 对最小二乘给出了肯定回答,本文将其推广到岭回归。
  • 覆盖率校准:bootstrap 误差界在有限样本下是否达到名义覆盖率?本文发现未校正的 bootstrap 分位数在 m 较小时欠覆盖(覆盖率低于名义水平),并提出了基于顺序统计量的校正。
  • 规模选择的推断有效性:当从多个候选 sketch 规模中挑选时,如何控制"选出的规模实际误差超限"的概率?本文用 Bonferroni 校正处理了这个问题。
  • 高维失效边界:当 d 随 n 增长时,bootstrap 是否仍然有效?Clarté et al. (2024) 给出了否定性证据,本文承认这一边界但未处理。

  • ⚠️ 作者的 framing(这是作者的说法):作者把缺口 frame 成"Lopes et al. (2018) 只处理了无正则化的最小二乘,而实际应用中岭回归的正则化参数 λ 会随问题规模变化,因此需要新的渐近理论"。作者强调自己的贡献是"在正则化存在时仍能保持 bootstrap 一致性,且正则化参数可以随 n 变化"。被淡化的竞争路线包括:(1) 随机矩阵理论方法(LeJeune et al. 2022; Patil & LeJeune 2024)——作者只在 related work 中一笔带过,没有讨论为何 bootstrap 优于直接渐近计算;(2) 结构化 sketch(SRHT、CountSketch)——作者明确承认自己的理论不覆盖这些方法,但也没有给出任何替代方案。什么明显该被引 / 该存在、却没出现在 intro 里?:作者没有引用 Dobriban & Liu (2019) 关于随机特征岭回归的谱分析,也没有引用 Hastie et al. (2022) 关于高维岭回归的精确风险刻画——这两篇都是理解"岭回归在 sketch 下行为"的重要背景。此外,作者没有讨论 data-dependent sketch(即 sketch 矩阵依赖于数据)的情形,而这在实际中(如 leverage score sampling)很常见。

  • 张力:被引工作之间有一个明显的张力:bootstrap 路线(Lopes et al.)与随机矩阵理论路线(LeJeune et al.)对"什么是最自然的误差度量"有不同预设。bootstrap 路线关注的是"给定数据、固定 sketch 实现"的条件误差分布;随机矩阵理论路线关注的是"对数据和 sketch 都取期望"的边缘风险。两者在低维极限下一致,但在高维比例极限下可能给出不同结论(Clarté et al. 2024 的 double-descent 现象就是这种张力的体现)。本文站在 bootstrap 一侧,但没有正面回应这一张力。


二、最核心、最简单的例子 / 数学问题

第一步:符号、模型、可观测数据

设数据为确定性的设计矩阵 \(X_n \in \mathbb{R}^{n \times d}\) 和响应向量 \(y_n \in \mathbb{R}^n\),其中 \(n\) 是样本量,\(d\) 是特征维数(固定,不随 \(n\) 增长)。正则化参数 \(\lambda_n > 0\) 可以随 \(n\) 变化,但满足 \(\lambda_n \to \lambda_\infty \geq 0\)。

  • 全数据岭估计量(目标量 / estimand):

    \[\beta_n := \arg\min_{\beta \in \mathbb{R}^d} \frac{1}{n} \|X_n \beta - y_n\|_2^2 + \lambda_n \|\beta\|_2^2 = (H_n + \lambda_n I_d)^{-1} g_n,\]
    其中 \(H_n := \frac{1}{n} X_n^\top X_n \in \mathbb{R}^{d \times d}\) 是经验协方差矩阵,\(g_n := \frac{1}{n} X_n^\top y_n \in \mathbb{R}^d\) 是经验交叉矩。

  • sketch 矩阵:\(S_n \in \mathbb{R}^{m \times n}\),行数为 sketch 大小 \(m\)(\(m < n\),且 \(m \to \infty\))。行 \(s_{n,i} \in \mathbb{R}^n\)(\(i = 1, \dots, m\))独立同分布,满足各向同性:\(E_S(s_{n,i} s_{n,i}^\top) = I_n\)。常见的例子是高斯 sketch(\(s_{n,i} \sim N(0, I_n)\))和 Rademacher sketch(\(s_{n,i}\) 的分量为独立等概率 \(\pm 1\))。

  • 压缩数据(可观测):

    \[z_{n,i} := \frac{1}{\sqrt{n}} X_n^\top s_{n,i} \in \mathbb{R}^d, \quad u_{n,i} := \frac{1}{\sqrt{n}} y_n^\top s_{n,i} \in \mathbb{R}.\]
    注意 \(z_{n,i}\) 和 \(u_{n,i}\) 是成对的(来自同一个 sketch 行 \(s_{n,i}\)),且 \(E_S(z_{n,i} z_{n,i}^\top) = H_n\),\(E_S(z_{n,i} u_{n,i}) = g_n\)。

  • sketched 岭估计量(要推断的对象):

    \[\hat{\beta}_{n,m} := \left( \frac{1}{m} \sum_{i=1}^m z_{n,i} z_{n,i}^\top + \lambda_n I_d \right)^{-1} \left( \frac{1}{m} \sum_{i=1}^m z_{n,i} u_{n,i} \right) = (\hat{H}_{n,m} + \lambda_n I_d)^{-1} \hat{g}_{n,m}.\]

  • 目标量:系数误差 \(\|\hat{\beta}_{n,m} - \beta_n\|_2\)。注意 \(\beta_n\) 是全数据解,不是某个"真参数"——数据是固定的,随机性完全来自 sketch。

  • bootstrap 方案:对压缩数据行 \(\{(z_{n,i}, u_{n,i})\}_{i=1}^m\) 进行成对重抽样(paired bootstrap),即从 \(m\) 个压缩行中有放回地抽取 \(m\) 个行,得到 bootstrap 样本 \(\{(z^*_{n,i}, u^*_{n,i})\}_{i=1}^m\),然后计算 bootstrap 岭估计量 \(\hat{\beta}^*_{n,m}\)。bootstrap 误差为 \(\|\hat{\beta}^*_{n,m} - \hat{\beta}_{n,m}\|_2\)。

第二步:最小内核

剥掉所有技术假设后,本文的核心数学问题是:

当 \(m \to \infty\) 时,条件 bootstrap 分布 \(\mathcal{L}_S\left(\sqrt{m} \|\hat{\beta}^*_{n,m} - \hat{\beta}_{n,m}\|_2 \mid \text{sketch}\right)\) 是否一致逼近真实误差分布 \(\mathcal{L}_S\left(\sqrt{m} \|\hat{\beta}_{n,m} - \beta_n\|_2\right)\)?

这个问题的本质是:sketched 岭估计量 \(\hat{\beta}_{n,m}\) 是压缩数据行 \(\{(z_{n,i}, u_{n,i})\}\) 的非线性函数(涉及矩阵求逆),但它的误差可以线性化。关键步骤是:

  1. 线性化:将 \(\hat{\beta}_{n,m} - \beta_n\) 展开为压缩行的影响函数之和加上高阶余项:

    \[\hat{\beta}_{n,m} - \beta_n = \frac{1}{m} \sum_{i=1}^m \psi_{n,i} + R_{n,m},\]
    其中 \(\psi_{n,i} = A_n \{ z_{n,i} u_{n,i} - (z_{n,i} z_{n,i}^\top - H_n) \beta_n - \lambda_n \beta_n \}\) 是第 \(i\) 个压缩行的影响函数,\(A_n := (H_n + \lambda_n I_d)^{-1}\)。余项 \(R_{n,m}\) 是 \(O_p(m^{-1})\)。

  2. bootstrap 的线性化:bootstrap 估计量 \(\hat{\beta}^*_{n,m}\) 同样可以线性化,其影响函数是 \(\hat{\psi}_{n,i} := \hat{A}_{n,m} \{ z_{n,i} u_{n,i} - (z_{n,i} z_{n,i}^\top - \hat{H}_{n,m}) \hat{\beta}_{n,m} - \lambda_n \hat{\beta}_{n,m} \}\),其中 \(\hat{A}_{n,m} := (\hat{H}_{n,m} + \lambda_n I_d)^{-1}\)。

  3. 关键观察:bootstrap 影响函数 \(\hat{\psi}_{n,i}\) 是真实影响函数 \(\psi_{n,i}\) 的一致估计(因为 \(\hat{H}_{n,m} \to H_n\),\(\hat{\beta}_{n,m} \to \beta_n\))。因此,bootstrap 分布逼近真实分布。

  4. 协方差结构:\(\psi_{n,i}\) 的协方差为

    \[\Omega_n = A_n \left( \frac{\|r_n\|_2^2}{n} H_n + \lambda_n^2 \beta_n \beta_n^\top + \frac{\kappa_s}{n^2} X_n^\top \text{diag}(r_n \odot r_n) X_n \right) A_n^\top,\]
    其中 \(r_n := y_n - X_n \beta_n\) 是全数据残差,\(\kappa_s := E(s^4) - 3\) 是 sketch 行分量的超额峰度。三项分别对应残差、正则化和sketch 行分量的四阶矩。Rademacher sketch 有 \(\kappa_s = -2\),高斯 sketch 有 \(\kappa_s = 0\),因此 Rademacher 在 Loewner 序下最小化 \(\Omega_n\)(因为第三项前的系数 \(\kappa_s\) 最小)。

最小内核的"一句话":本文证明了,在固定维数、\(m \to \infty\) 的框架下,对压缩数据行做成对 bootstrap,得到的误差分布一致逼近真实 sketch 误差分布;且误差的渐近协方差由残差、正则化和 sketch 行四阶矩三项组成,其中 Rademacher sketch 在 Loewner 序下最优。这个结论本身并不意外(它是 Lopes et al. 2018 最小二乘结果的岭回归推广),但作者在此基础上加了两个实用环节:有限 bootstrap 复制数的顺序统计量校正(控制蒙特卡洛误差)和 Bonferroni 多规模选择规则(控制多重比较误差)。


三、这篇论文做了什么

三句话: 1. 研究了什么问题:在 sketched ridge regression 中,如何从单个已实现的 sketch 出发,估计系数误差 \(\|\hat{\beta}_{n,m} - \beta_n\|_2\) 的分布,并据此选择 sketch 大小以满足预设误差容限。 2. 核心工具 / 方法:成对行 bootstrap(paired-row bootstrap)及其线性化版本(linearized bootstrap),辅以顺序统计量校正(控制有限复制数)和 Bonferroni 校正(控制多规模比较)。 3. 主要结论:在固定维数、\(m \to \infty\) 的渐近框架下,bootstrap 误差分布一致逼近真实误差分布,覆盖率渐近精确;协方差矩阵的显式公式表明 Rademacher sketch 在 Loewner 序下最小化主导协方差;实验验证了校正后的覆盖率接近名义水平。

关键设定与假设: - 固定维数:\(d\) 固定,\(n \to \infty\),\(m \to \infty\)。这是最重要的限制——它排除了 \(d\) 与 \(n\) 同阶增长的高维情形(作者明确承认 Clarté et al. 2024 的高维分析不在覆盖范围内)。 - sketch 行独立同分布且各向同性:\(E_S(s_{n,i} s_{n,i}^\top) = I_n\)。这排除了结构化 sketch(SRHT、CountSketch),因为它们的行不独立。 - 正则化参数可随 \(n\) 变化:\(\lambda_n \to \lambda_\infty \geq 0\),且 \(\lambda_n > 0\) 保证所有矩阵可逆。允许 \(\lambda_\infty = 0\) 意味着可以退化到最小二乘情形。 - 四阶矩条件:\(E|s|^8 < \infty\)(Lemma 1),用于控制线性化余项。 - 数据固定:\((X_n, y_n)\) 是确定性的,所有概率都来自 sketch 和 bootstrap 重抽样。这与"数据随机、sketch 固定"的设定不同,是一个重要但容易被忽略的假设。

主要结果(按逻辑顺序): 1. Proposition 1(渐近线性表示与协方差):\(\sqrt{m}(\hat{\beta}_{n,m} - \beta_n) = \frac{1}{\sqrt{m}} \sum_{i=1}^m \psi_{n,i} + o_p(1)\),且 \(\psi_{n,i}\) 的协方差 \(\Omega_n \to \Omega\)。协方差公式(式 33)将残差、正则化和 sketch 四阶矩的影响分离。技术要点:证明的关键是余项 \(R_{n,m}\) 的 \(O_p(m^{-1})\) 界,这需要控制 \(\hat{H}_{n,m} - H_n\) 和 \(\hat{g}_{n,m} - g_n\) 的乘积项;作者用四阶矩条件和固定维数保证这些乘积项可忽略。 2. Remark 1(Rademacher 最优性):在 Loewner 序下,\(\Omega_n - \Omega_n^{\text{Rad}} = \frac{\kappa_s - (-2)}{n^2} A_n X_n^\top \text{diag}(r_n \odot r_n) X_n A_n^\top \succeq 0\),因为 \(\kappa_s \geq -2\)(由 \(E(s^2)=1\) 和 Jensen 不等式)。技术要点:这是对协方差公式的直接推论,不需要额外证明。 3. Proposition 2(线性化 bootstrap 的一阶等价性):对任意固定 bootstrap 复制,线性化误差 \(\|\hat{A}_{n,m} \frac{1}{m} \sum_i (w_i - 1) \hat{\psi}_{n,i}\|_2\) 与重拟合误差 \(\|\hat{\beta}^*_{n,m} - \hat{\beta}_{n,m}\|_2\) 之差是 \(o_p(m^{-1/2})\)。技术要点:证明需要控制 bootstrap 权重 \(w_i\) 的波动;作者用 Multinomial 权重的矩条件(\(E^*(w_i - 1)^2 = 1 - 1/m\) 等)和固定维数保证余项可忽略。 4. Theorem 1(高斯极限):\(\sqrt{m}(\hat{\beta}_{n,m} - \beta_n) \Rightarrow N(0, \Omega)\),且条件 bootstrap 分布 \(\sqrt{m}(\hat{\beta}^*_{n,m} - \hat{\beta}_{n,m})\) 在概率意义下弱收敛到同一高斯分布。技术要点:前半部分是 Lindeberg-Feller 定理的直接应用(\(\psi_{n,i}\) 是独立随机向量的和);后半部分需要验证 bootstrap 版本的 Lindeberg 条件,这依赖于 \(\hat{\psi}_{n,i}\) 对 \(\psi_{n,i}\) 的一致逼近。 5. Corollary 1(均匀一致性):\(\sup_t |\hat{F}_{n,m}(t) - F_n(t)| \to 0\) 依概率。技术要点:结合 Theorem 1 和 Glivenko-Cantelli 定理;关键是 bootstrap 分布函数的连续性。 6. Theorem 2(渐近精确覆盖):当 \(B \to \infty\) 时,\(P(\|\hat{\beta}_{n,m} - \beta_n\|_2 \le \hat{\epsilon}_{n,m,B}(\alpha)) \to 1 - \alpha\)。技术要点:这是 Corollary 1 的直接推论;证明用分位数收敛和分布函数的连续性。 7. Proposition 3(顺序统计量校正):对有限 \(B\),用第 \(k_B\) 个顺序统计量作为误差界,当 \(k_B\) 满足 \(P\{\text{Bin}(B, 1-\alpha) \le k_B - 1\} \ge 1 - \delta\) 时,条件覆盖概率至少为 \(1 - \delta\)。技术要点:这是纯概率论结果,不依赖渐近;关键是用二项分布控制"少于 \(k_B\) 个 bootstrap 误差低于真实分位数"的概率。 8. Theorem 3(Bonferroni 多规模选择):对 \(K\) 个候选规模,若每个规模的误差界有覆盖概率 \(1 - \alpha/K\),则选出的规模其误差超过容限的概率至多为 \(\alpha\)。技术要点:这是 Bonferroni 不等式的直接应用;证明的关键是事件 \(\{b_j = j, \|\hat{\beta}_{n,j} - \beta_n\|_2 > \tau\}\) 被 \(\{\|\hat{\beta}_{n,j} - \beta_n\|_2 > \hat{\epsilon}_{n,j}(\alpha/K)\}\) 包含。

真实例子与应用: - 数据:两个真实数据集——RAND Health Insurance Experiment(RAND-HIE,\(n=20190\),\(d=10\),响应为门诊就诊次数)和 Diabetes(scikit-learn 内置,\(n=442\),\(d=11\));两个合成数据集(条件数分别为 \(10^4\) 和 \(10^2\))。 - 实验设计:固定 \(\lambda = 0.1\),sketch 比例 \(m/d \in \{5, 10, 15, 20, 25\}\),\(B = 199\),名义覆盖率 95%,300 次蒙特卡洛重复。评估指标为经验覆盖率和平均误差界与独立 sketch 参考分位数之比。 - 主要发现:(1) 带重拟合的 bootstrap 在 \(m/d \geq 15\) 时覆盖率 92.0%–95.3%,接近名义水平;(2) 顺序统计量校正将覆盖率提升至 94.7%–97.7%,但代价是误差界增大 5%–7%;(3) 线性化 bootstrap 与重拟合 bootstrap 的误差界差异中位数约 1.5%,90 分位约 4%,验证了 Proposition 2;(4) 在 \(m/d = 5\) 时所有方法都欠覆盖(覆盖率约 85%–90%),说明小 sketch 下渐近理论失效;(5) 高斯与 Rademacher sketch 的覆盖率差异在 1% 以内,与 Remark 1 的 Loewner 序预测一致但幅度很小。 - 例子想说明什么:实验主要验证理论预测(覆盖率接近名义水平、线性化近似有效、Rademacher 略优),而非展示相对 baseline 的压倒性优势。作者诚实地报告了小 sketch 下的失效,这比只报好结果的论文更有参考价值。

🔎 结论是否比证明窄: - 明确承认的窄化:作者在 Section 2.3 明确说理论不覆盖结构化 sketch(SRHT、CountSketch),因为它们的行不独立;也不覆盖 \(d\) 随 \(n\) 增长的高维情形(引用 Clarté et al. 2024 说明 bootstrap 可能失效)。这两条都是诚实的边界声明。 - 未明确承认的窄化:作者在 Theorem 2 中假设 \(B \to \infty\),但实验只用 \(B = 199\)。Proposition 3 虽然给出了有限 \(B\) 的校正,但 Theorem 2 的渐近覆盖结论并不直接适用于有限 \(B\)。作者在实验部分用顺序统计量校正弥补了这一点,但没有在理论上说明 \(B = 199\) 是否足够大。 - 更微妙的窄化:作者假设 sketch 行是独立同分布的,且各向同性。但实际中常用的 leverage score sampling 是数据依赖的 sketch,不满足各向同性。作者没有讨论这一情形,而这是 RandNLA 实际应用中的重要场景。 - 一个值得注意的 gap:作者证明的是"条件 bootstrap 分布一致逼近条件误差分布",但实验中的参考标准是"独立 sketch 的误差分位数"(即对每个蒙特卡洛重复都生成新的 sketch)。这两个对象在理论上并不完全相同——前者是固定 sketch 下的条件分布,后者是边缘分布。作者没有明确讨论这一区别。


四、开放问题

  1. 高维比例极限下的 bootstrap 行为:作者明确承认固定维数假设是关键限制,并引用 Clarté et al. (2024) 说明高维下 bootstrap 可能失效。一个具体的开放问题是:在 \(d/n \to \kappa \in (0,1)\) 的框架下,paired-row bootstrap 的误差分布是否仍然一致逼近真实误差分布?如果失效,是否存在修正(如 m-out-of-n bootstrap 或 wild bootstrap)?扎根点:Section 2.3 的"Proportional high-dimensional regimes can exhibit different bootstrap behavior (Clarté et al., 2024)"。

  2. 结构化 sketch 的 bootstrap 方案:SRHT 和 CountSketch 的行不独立,直接套用 paired-row bootstrap 会破坏依赖结构。一个开放问题是:能否设计保持结构化依赖的 bootstrap 方案(如对 Hadamard 变换的随机符号重抽样)?扎根点:Section 2.3 的"extending the method to these structured sketches would require resampling procedures that preserve their dependence structure"。

  3. 数据依赖 sketch 的误差估计:Leverage score sampling 等数据依赖 sketch 在实际中更高效,但各向同性假设不成立。能否为这类 sketch 建立类似的 bootstrap 理论?扎根点:Section 2.3 的"the present theory also does not directly cover structured transforms"——虽然作者说的是结构化变换,但数据依赖 sketch 是更广的未覆盖类别。

  4. 有限 B 的精确覆盖控制:Proposition 3 给出了顺序统计量校正,但校正后的覆盖率可能超过名义水平(实验中达 97.7%),导致误差界保守。是否存在更精细的校正方法(如 Bootstrap-t 或 BCa)能在有限 B 下同时控制覆盖率和误差界大小?扎根点:Section 6.4 中"the adjusted coverage is 0.980 for both data sets"(高于名义 95%)。

  5. 误差估计与规模选择的联合最优性:Bonferroni 校正控制了"选出规模误差超限"的概率,但可能选择过大的 sketch。是否存在自适应规则,能在给定计算预算下最小化误差界,同时控制覆盖概率?扎根点:Theorem 3 的 Bonferroni 规则"selects larger sketches and occasionally returns no candidate under the strictest tolerance"(Section 6.5)。

  6. 一个值得注意的张力:作者证明的是条件 bootstrap 分布的一致性,但实验参考的是独立 sketch 的边缘分布。这两者在理论上是否等价?如果不等价,是否存在条件覆盖与边缘覆盖的系统性偏差?扎根点:Section 6.2 中"the independent-sketch reference quantile"与"bootstrap with refitting"的对比设计。


给研究者的提醒:若要确认上述某条是否为真 gap,建议去读以下近期工作的 intro——(a) Clarté et al. (2024) 的高维 bootstrap 分析(确认问题 1 是否已被解决);(b) Epperly & Tropp (2024) 的 leave-one-out 方法(确认问题 4 是否有替代方案);(c) 关于 leverage score sampling 的统计推断文献(确认问题 3 是否已有部分答案)。如果这几篇的 intro 都指向同一个未解决问题,那大概率是真 gap;如果它们互相打架,那本身就是值得研究的机会。


Maintained by 陈星宇 · Homepage · Source on GitHub

评论