Post-reduction inference for confidence sets of models¶
作者: H S Battey, D G Rasines, Y Tang
来源: Biometrika
主题: 数理统计 / 假设检验
相关性: 7/10
机构绿灯: Imperial College London(US News 前 50,免分进入精读)
链接: 期刊页 · arXiv
一、领域脉络与小综述¶
这个方向是什么¶
本文所处理的根本问题是:在高维稀疏回归中,当模型本身(即变量的集合)是推断对象时,如何构造具有正确覆盖概率的模型置信集(confidence set of models)。这与经典的 post-selection inference 有本质区别:后者是在选定模型后对参数做推断,而前者是将"哪些变量组合与数据兼容"这一集合作为估计目标。该方向的成熟度处于发展阶段——核心困难在于,初步变量筛选(reduction)使用了数据,若直接用同一数据评估筛选后模型的拟合优度,会导致校准失真(miscalibration)。本文的贡献在于将 Fisher 条件推断中的充分性/余充分性(sufficiency/co-sufficiency)与辅助性/余辅助性(ancillarity/co-ancillarity)分离思想系统引入该问题,从而在不指定偏离方向的前提下进行模型评估。
发展脉络¶
- 奠基工作:Cox (1968) 最早指出,在高维回归中多个低维变量组合往往与数据同样兼容,任意选择单一模型会误导科学理解。Cox and Battey (2017) 正式提出"模型置信集"的概念,并强调初步 reduction 的必要性。这一阶段的核心洞见是:模型本身而非参数才是科学推断的对象。
- 主要进展:Battey and Cox (2018) 与 Lewis and Battey (2025) 对 Cox reduction 进行了理论刻画,分析了不同 reduction 策略(penalised regression、marginal screening)下模型被保留的概率,并指出 reduction 阶段与评估阶段使用同一数据会带来系统性偏差。与此同时,post-selection inference 领域(Lee et al., 2016; Fithian et al., 2017)处理的是参数推断问题,其核心工具是条件在 selection event 上的精确分布,但该框架不适用于模型集合推断。
- 当前 frontier:Rasines and Young (2023) 提出基于随机化响应向量的推断策略,通过构造伪复制(pseudo-replicates)来规避 selection 带来的依赖。Battey (2024) 与 Battey and McCullagh (2024) 将 Fisher 的几何条件推断思想推广到更一般的设定,指出在理想情形下(无 nuisance 参数),充分性分离可以无损失、无冗余地提取评估模型所需的信息。本文正是在这一脉络上的直接延伸——将随机化策略嵌入 co-sufficiency 框架,并系统处理 nuisance 参数估计带来的影响。
- 本文的位置:本文是上述两条线索(Cox reduction 的模型置信集 + Fisher 条件推断的分离原理)的汇合。它首次在正态线性模型中对 co-sufficiency 与 ancillarity 两种分离给出显式分布计算,并证明在 nuisance 参数未知时,基于修正的 refitted cross-validation 估计量(对 Fan et al., 2012 的改进)的检验统计量仍具有可处理的渐近分布。
子线索聚类¶
- 模型置信集的构造与 reduction 策略(Cox and Battey 2017; Battey and Cox 2018; Lewis and Battey 2025):关注如何从高维变量集合中筛选出"兼容"的模型,以及 reduction 阶段的选择如何影响后续推断。代表问题:reduction 后保留的变量集合是否以高概率包含真实模型?
- Post-selection inference 的条件方法(Lee et al., 2016; Fithian et al., 2017):关注选定模型后参数的推断,核心工具是 selection event 的条件分布。与本文的区别在于推断对象(参数 vs. 模型集合)和框架(条件分布 vs. 分离原理)。
- Fisher 条件推断与分离原理(Barndorff-Nielsen and Cox 1994; Battey 2024; Battey and McCullagh 2024):关注如何将数据信息划分为用于估计的部分和用于评估模型的部分,避免同一数据的双重使用。本文的 co-sufficiency 与 ancillarity 分离属于此线索。
- 随机化推断策略(Rasines and Young 2023):通过向响应向量注入随机性来构造可处理的推断分布。本文将其推广到 co-sufficiency 框架,并处理了 nuisance 参数估计的效应。
这个方向在追问的核心问题¶
- 如何在不指定偏离方向的前提下评估模型兼容性? 似然比检验需要明确备择假设,而模型置信集要求对所有可能的偏离方向同时控制错误。分离原理提供了一条路径:将数据中与模型评估相关的信息(co-sufficient 或 ancillary 部分)分离出来,其分布在原假设下与模型参数无关。
- reduction 阶段与评估阶段的信息重叠如何量化? 若 reduction 和评估使用同一数据,评估统计量的分布会偏离名义水平。本文的答案是:通过随机化构造伪复制,使评估阶段的条件分布可计算,且不损失 reduction 阶段的信息。
- nuisance 参数估计对分离理想化的影响有多大? 在无 nuisance 参数时,co-sufficiency 分离可以精确实现;但实际中 σ² 未知,必须估计。本文的核心技术贡献之一就是证明:使用修正的 refitted cross-validation 估计量时,检验统计量的渐近分布仍可处理,且误差阶为 O(n^{-1/2})。
⚠️ 作者的 framing¶
作者将本文的贡献 frame 为:"在理想化的无 nuisance 参数情形下,co-sufficiency 与 ancillarity 分离能无损失、无冗余地提取信息;本文详细展示了正态线性模型中估计 nuisance 参数对理想化的影响,并引入修正的 refitted cross-validation 估计量使分布理论可处理。" 这是作者的说法——他们将自己置于"Fisher 条件推断原理在模型置信集问题上的首次系统应用"这一位置。作者淡化的竞争路线包括:post-selection inference 的条件方法(Lee et al., 2016 等),认为其推断对象(参数)与本文不同;以及基于 bootstrap 或 subsampling 的经验方法,认为其缺乏精确的分布理论。值得注意的是,作者对 MCMC 方法的评价是"计算上不可行"(见 §6 末尾),但并未给出具体的复杂度分析。
张力¶
未见明显对立引用。不过存在一个值得注意的张力:Rasines and Young (2023) 的随机化策略原本是为 post-selection inference 设计的,其目标是在 selection 后对参数做有效推断;本文将其推广到模型置信集问题,但两者的推断对象不同——前者是参数,后者是模型集合。这种推广是否在所有情形下都保持效率,作者并未给出一般性证明,仅在正态线性模型中验证。
二、最核心、最简单的例子 / 数学内核¶
第一步:符号、模型、可观测数据¶
设观测数据为 \((Y, X)\),其中 \(Y \in \mathbb{R}^n\) 为响应向量,\(X \in \mathbb{R}^{n \times p}\) 为设计矩阵。考虑正态线性模型:
- 参数 / estimand:
- \(\theta \in \mathbb{R}^p\):回归系数向量,其中大部分分量为零(稀疏性假设)。
- \(\sigma^2 > 0\):误差方差,为 nuisance 参数。
- \(E^* \subset [p] := \{1, \ldots, p\}\):真实模型,即 \(\theta\) 中非零分量对应的指标集合。这是推断目标——一个集合,而非数值参数。
- 随机变量 / 样本:
- \(Y \in \mathbb{R}^n\):可观测响应向量。
- \(X \in \mathbb{R}^{n \times p}\):可观测设计矩阵(视为固定)。
- \(\varepsilon \in \mathbb{R}^n\):不可观测的误差向量。
- 潜在 / 不可观测量:
- \(E^*\):真实模型,不可直接观测,是推断对象。
- \(\theta\) 和 \(\sigma^2\):不可直接观测,需估计。
- 可观测数据的具体形态:\(n\) 个独立样本 \((y_i, x_i)_{i=1}^n\),其中 \(x_i \in \mathbb{R}^p\) 是第 \(i\) 个个体的协变量向量,\(y_i \in \mathbb{R}\) 是响应。设计矩阵 \(X\) 的列可能高度相关(如基因表达数据)。
关键假设: 1. 稀疏性:\(|E^*| = s \ll p\),即真实模型中非零系数个数远小于变量总数。 2. reduction 的可靠性:存在一个 reduction 过程(如 Cox reduction 或 lasso),输出一个"encompassing model" \(\hat{E} \subset [p]\),满足 \(E^* \subseteq \hat{E}\) 的概率趋于 1。这是后续模型评估的前提。 3. 正态性:误差服从正态分布,使得充分性/辅助性分离可以精确计算。
第二步:最小内核¶
问题:给定 reduction 后的 encompassing model \(\hat{E}\)(\(|\hat{E}| = d_\theta\)),如何判断某个子模型 \(E_m \subseteq \hat{E}\) 是否与数据兼容?即检验:
朴素方法及其缺陷:对每个 \(E_m\),用似然比检验比较 \(E_m\) 与 \(\hat{E}\)。但 \(\hat{E}\) 本身是从数据中筛选出来的,与 \(Y\) 相关,因此检验统计量在原假设下的分布不再是标准的 \(F\) 分布,导致覆盖概率低于名义水平。
核心思想(最小内核):将数据 \(Y\) 的信息分解为两部分:
- 用于估计的部分:\(S = (X^T Y, Y^T Y)\),即充分统计量,用于估计 \(\theta\) 和 \(\sigma^2\)。
- 用于评估模型的部分:\(Q = U^T Y / \|U^T Y\|\),其中 \(U\) 的列张成 \(\hat{E}\) 的正交补空间(即 \(X_{\hat{E}}\) 的零空间)。\(Q\) 是 \(Y\) 在 \(\hat{E}\) 正交补上的投影方向,在原假设 \(E^* = E_m\) 下,\(Q\) 的分布与 \(\theta\) 和 \(\sigma^2\) 无关(均匀分布在单位球面上)。
关键性质:\(Q\) 与 \(S\) 独立(由正态分布的 Cochran 定理)。因此,\(Q\) 的分布不依赖于 \(\theta\) 和 \(\sigma^2\),可以直接用于检验模型兼容性,无需指定偏离方向。
检验统计量:由于 \(Q\) 在原假设下均匀分布在单位球面上,可以构造 Rayleigh 型统计量:
其中 \(Q^{(1)}, \ldots, Q^{(k)}\) 是通过随机化构造的 \(k\) 个伪复制(见下文)。在原假设下,\(R_n \to_d N(0,1)\)。
随机化的作用:单个 \(Q\) 无法提供足够的检验功效(任何方向都与均匀分布兼容)。通过随机化构造 \(k\) 个伪复制 \(Q^{(1)}, \ldots, Q^{(k)}\),它们在原假设下独立同分布且均匀分布在球面上,从而可以检测 \(Q\) 的分布是否偏离均匀性。
为什么这个内核是"最小"的:它剥离了所有技术细节(nuisance 参数估计、reduction 策略的选择、高维渐近),只保留了一个核心洞见——通过正交投影将数据分解为"用于估计"和"用于评估"两部分,评估部分的分布与原假设下的参数无关。这个洞见直接来自 Fisher 的条件推断思想,本文的贡献在于将其从参数推断推广到模型集合推断。
三、这篇论文做了什么¶
三句话¶
- 研究了什么问题:在高维稀疏回归中,如何在初步变量筛选(reduction)之后,对模型置信集进行具有正确覆盖概率的推断,避免因同一数据的双重使用导致的校准失真。
- 核心工具 / 方法:将 Fisher 条件推断中的充分性/余充分性和辅助性/余辅助性分离思想系统引入模型置信集问题,通过随机化构造伪复制,并引入修正的 refitted cross-validation 估计量处理 nuisance 参数。
- 主要结论:在正态线性模型中,基于 co-sufficiency 分离的检验统计量在 nuisance 参数已知时具有精确的均匀分布;当 σ² 未知时,使用修正的 refitted cross-validation 估计量,检验统计量的渐近正态性仍成立,误差阶为 O(n^{-1/2}),且样本分割相对于条件分析具有高效率(呼应 Cox 1975),但若 reduction 阶段不可靠则会产生校准错误的置信集。
关键设定与假设¶
- 模型:\(Y \sim N(X\theta, \sigma^2 I_n)\),\(X\) 固定。
- reduction 阶段:使用 Cox reduction 或 lasso 从 \([p]\) 中筛选出 encompassing model \(\hat{E}\),满足 \(E^* \subseteq \hat{E}\) 的概率趋于 1。作者强调 reduction 阶段的选择不是本文的重点,但会影响后续推断的可靠性。
- 模型评估阶段:对每个子模型 \(E_m \subseteq \hat{E}\)(\(|E_m| \le 5\)),检验其与数据的兼容性。
- 关键假设:
- \(n - d_\theta \to \infty\),其中 \(d_\theta = |\hat{E}|\)。
- \(k \lesssim n^{1/2}\),其中 \(k\) 是伪复制数。
- 误差方差 σ² 的估计量 \(\hat{\sigma}^2\) 满足 \(|\hat{\sigma} - \sigma| = O_p(n^{-1/2})\)。
相比已有文献的放宽 / 强化: - 相比 Lee et al. (2016) 的 post-selection inference,本文的推断对象是模型集合而非参数,且不需要指定 selection event 的精确形式。 - 相比 Rasines and Young (2023) 的随机化策略,本文将其推广到 co-sufficiency 框架,并显式处理了 nuisance 参数估计的影响。 - 相比 Battey and Cox (2018) 的样本分割方法,本文的方法不丢弃任何观测数据,因此在 reduction 阶段困难时具有更高的效率。
主要结果¶
定理 5.1(核心定理):在定理条件下,检验统计量
满足 \(\hat{R}_n \to_d N(0,1)\),其中 \(\hat{Y}^{(i)}\) 是使用 \(\hat{\sigma}\) 构造的伪复制。误差阶为 \(O_p(\max\{k\nu^{-3/2}, n^{-1/2}\})\),其中 \(\nu = n - d_\theta\)。
证明路线: 1. 理想化情形(σ² 已知):伪复制 \(\tilde{Y}^{(i)}\) 在原假设下独立同分布,\(Q^{(i)} = U^T \tilde{Y}^{(i)} / \|U^T \tilde{Y}^{(i)}\|\) 均匀分布在单位球面上。利用 Fisher (1915) 的精确分布计算,得到 \(\langle Q^{(i)}, Q^{(j)} \rangle\) 的均值和方差,再通过中心极限定理得到 \(R_n \to_d N(0,1)\)。 2. 可执行情形(σ² 未知):用 \(\hat{\sigma}\) 代替 σ,引入误差项。关键步骤是证明 \(\hat{Q}^{(i)}\) 与 \(Q^{(i)}\) 的差异在范数意义下为 \(O_p(n^{-1/2})\),且该误差对 Rayleigh 统计量的影响可忽略。这需要仔细控制 \(\hat{\sigma}\) 与 \(\sigma\) 的偏差以及伪复制之间的相关性。 3. 关键引理:命题 5.2 证明修正的 refitted cross-validation 估计量 \(\hat{\sigma}^2_{mrcv}\) 满足 \(|\hat{\sigma} - \sigma| = O_p(n^{-1/2})\),且其分布可近似为 \(\sigma^2 \chi^2_\nu / \nu\)。引理 B.1 给出 \(\|U^T \hat{Y}^{(i)}\|\) 的下界,确保归一化后的 \(Q\) 具有良好的渐近性质。
技术技巧: - 随机化构造伪复制:通过矩阵 \(\Gamma\) 将 \(Y\) 和独立高斯噪声 \(L\) 线性组合,构造 \(k\) 个伪复制。这是 Rasines and Young (2023) 的推广,关键在于 \(\Gamma\) 的显式形式(式 5.2-5.3)保证了伪复制的独立性和同方差性。 - 球面上的 Rayleigh 检验:利用均匀分布在球面上的性质,构造对方向不敏感的检验统计量,避免指定偏离方向。 - Cochran 定理与正交分解:将 \(Y\) 分解为 \(X\) 空间和 \(X^\perp\) 空间两部分,确保 \(Q\) 与 \(S\) 的独立性。 - Stirling 近似与 Gamma 函数展开:在证明命题 5.2 时,使用 Stirling 公式对 Gamma 函数进行展开,得到 \(\hat{\sigma}^2\) 的分布近似。
真实例子与应用¶
模拟实验(§6):设计矩阵 \(X\) 的 \(n\) 行独立生成自 \(N(0, \Sigma)\),其中 \(\Sigma\) 为 \(p \times p\) 矩阵,前 10 个变量等相关(相关系数 \(\rho\)),其余变量独立。真实模型 \(E^* = \{1, 2, 3\}\),系数 \(\theta = (t, t, t, 0, \ldots, 0)\)。比较四种方法:
- Cox + co-sufficient(\(k=2\) 和 \(k=8\))
- Cox + ancillary
- Cox + F test(无分割,直接似然比检验)
- 样本分割 + F test(60% 用于 reduction,40% 用于评估)
关键结果(表 1-4): - 在低信息设置(\(n=100, t=0.5, \rho=0.1\))下,Cox + co-sufficient (\(k=2\)) 的覆盖概率为 0.94,接近名义水平 0.95;而 Cox + F test 的覆盖概率仅为 0.02,严重失真。 - 样本分割方法的覆盖概率在 reduction 阶段可靠时接近名义水平(0.94-0.96),但在 reduction 阶段困难时(高 \(\rho\)、低 \(t\))显著下降。 - 在低信息设置下,co-sufficient 方法的期望置信集大小(E(|M|))约为 3000,远大于样本分割方法的 1500,反映了其在 reduction 阶段不丢弃数据的信息优势。
这个例子想说明什么:验证了 co-sufficiency 分离在 reduction 阶段困难时(低 \(n\)、低信噪比、高相关性)相对于样本分割的优势,同时揭示了 F test 在无分割时的严重校准失真。
🔎 结论是否比证明窄¶
是。具体表现: 1. 定理 5.1 的证明仅覆盖正态线性模型,但 §7 的讨论(logistic 回归、加速失效模型)声称方法可推广到更一般的指数族。作者在 §7.2 中仅给出"canonical exponential family"的框架性讨论,未提供任何定理或证明。 2. 命题 5.2 的证明假设 \(|\hat{E}|\) 固定,但 §6 的模拟中 \(|\hat{E}|\) 是数据依赖的(Cox reduction 的输出)。作者在 §6.1 中承认这一点,但未给出理论保证。 3. 定理 5.1 的误差项依赖于 \(\nu = n - d_\theta\),但在高维情形(\(p \gg n\))下,\(d_\theta\) 可能接近 \(n\),此时 \(\nu\) 很小,渐近近似的质量无法保证。作者在 §7.5 中承认"高维情形的严格处理是开放的"。 4. 模拟中仅报告了 \(k=2\) 和 \(k=8\) 的结果,但定理 5.1 要求 \(k \lesssim n^{1/2}\),在 \(n=100\) 时 \(k=8\) 已接近边界。作者未讨论 \(k\) 的选择对覆盖概率的影响。
四、开放问题¶
- 高维情形的严格理论:当 \(p \gg n\) 且 \(d_\theta\) 与 \(n\) 同阶时,定理 5.1 的渐近近似是否仍然有效?需要什么样的条件(如特征值衰减、稀疏性)?——扎根于 §7.5 "The establishment of general analytic approximations is an open problem"。
- 非正态误差的推广:co-sufficiency 分离在正态假设下精确成立;对于二值响应(logistic)或生存数据(加速失效),分离是否仍然近似有效?误差阶是多少?——扎根于 §7.2-7.4 的框架性讨论。
- reduction 策略与评估阶段的交互:Cox reduction 和 lasso 在 reduction 阶段的选择会影响 \(\hat{E}\) 的构成,进而影响评估阶段的检验统计量。如何量化这种交互对覆盖概率的影响?——扎根于 §6.1 "The reduction phase is not the focus of this paper"。
- \(k\) 的最优选择:定理 5.1 要求 \(k \lesssim n^{1/2}\),但模拟显示 \(k=2\) 和 \(k=8\) 的覆盖概率有差异。是否存在 \(k\) 的最优选择,使得检验功效最大而覆盖概率仍受控?——扎根于 §6.2 中 \(k\) 对期望置信集大小的影响。
- 计算可行性:当 \(|\hat{E}| = 15\) 时,需要评估的子模型数为 \(\sum_{j=0}^5 \binom{15}{j} = 4943\)。当 \(|\hat{E}|\) 更大时,如何设计高效的搜索策略?——扎根于 §6.1 "there were 4943 submodels of \(\hat{E}\) to be assessed in each simulation run"。
提示:若想确认上述开放问题是否为真 gap,建议去读 post-selection inference 领域(Lee et al., 2016; Fithian et al., 2017; Rasines and Young, 2023)以及高维回归推断领域(Zhang & Zhang, 2014; van de Geer et al., 2014)近 5 年的论文引言——如果多个独立团队都在讨论同一问题,则大概率是共识性 gap;如果各说各话,则可能是机会。
Maintained by 陈星宇 · Homepage · Source on GitHub