Multiple testing of a function's monotonicity¶
作者: Wei Zhao, David M. Kaplan
主题: 数理统计 / 假设检验
相关性: 7/10
链接: https://arxiv.org/abs/2609.31958
一、领域脉络与小综述¶
这个方向是什么¶
本文所处的子方向是函数单调性的推断,其根本统计问题是:给定一个函数 \(m(\cdot)\)(如条件期望函数、分位回归函数、剂量反应函数等),我们不仅想知道"它是否整体单调",更想知道"它在哪些具体点上单调、在哪些点上不单调"。传统做法是构造一个全局零假设 \(H_0: m(\cdot)\) 是递增函数,然后做单一检验,得到"是/否"的二元结论。本文的贡献在于将这一全局问题分解为多个局部假设 \(H_{0x}: m(x) \le m(x+1)\),通过控制族系错误率(FWER)来同时检验这些局部假设,从而输出一个"单调性成立的位置集合"的推断结果。该方向当前处于方法成熟但应用场景持续扩展的阶段——核心理论工具(多重检验、FWER 控制、渐近正态性)已经相当成熟,但如何将这些工具适配到不同的统计模型(因果推断、分位回归、非参数估计)仍是活跃的研究前沿。
发展脉络¶
- 奠基工作:多重检验的 FWER 控制理论由 Lehmann 和 Romano 系统化(Lehmann and Romano 2005, "Generalizations of the familywise error rate"),该文提出了 \(k\)-FWER 和错误发现比例(FDP)等概念,为后续将 FWER 控制从有限假设扩展到连续域(如函数单调性)提供了理论基础。本文直接引用该文作为 FWER 定义的来源。
- 主要进展:在单调性检验方面,Ghosal et al. (2000) 和 Chetverikov (2019) 提出了回归函数单调性的全局检验方法,其零假设是"整个函数递增",备择假设是"存在某处递减"。这些方法能回答"是否单调",但不能回答"在哪里不单调"。在多重检验方面,Goldman 和 Kaplan (2018) 将多重检验方法应用于随机占优(stochastic dominance)的比较,其框架与本文类似——在连续域上同时检验多个局部假设,但对象是分布函数而非回归函数。Kaplan (2024) 进一步发展了"内/外置信集"的构造方法,本文直接沿用了这一框架。
- 当前 frontier:将多重检验方法推广到更复杂的模型结构,如工具变量分位回归(IVQR)和函数系数模型(functional coefficient models)。本文在附录 A 中展示了这两个扩展方向,说明作者认为该方法是"通用框架",而非仅限于条件期望函数。
- 本文的位置:本文处于"全局检验 → 局部推断"的转折点上。它不满足于回答"函数是否单调",而是提供了一套系统的方法来回答"函数在哪些区间单调、在哪些区间不单调",并给出了内/外置信集来量化这种推断的不确定性。其理论贡献在于将 FWER 控制从有限假设推广到 \(h-1\) 个(可能相关的)局部假设,并证明了在最小不利配置(least favorable configuration)下渐近精确的 FWER 控制。
子线索聚类¶
- 单调性检验的全局方法:Ghosal et al. (2000)、Chetverikov (2019)、Hall and Heckman (2000)。这些工作关注"是否单调"的单一检验,通常基于函数估计的极值统计量。本文的出发点正是这些方法的局限性——它们无法定位不单调的位置。
- 多重检验与 FWER 控制:Lehmann and Romano (2005)、Holm (1979)。这些工作提供了 FWER 控制的一般性工具(如逐步下降法)。本文的 Method 1 和 Method 6 直接借用了这些工具,但将其适配到"局部假设"的结构中。
- 内/外置信集与部分识别:Kaplan (2024)、Armstrong and Shen (2023)、Romano and Shaikh (2010)。这些工作关注集合值参数的推断,特别是"内置信集"(以高概率包含于真实集合)和"外置信集"(以高概率包含真实集合)的构造。本文的 Section 3 完全沿用了这一框架。
- 矩不等式与许多矩条件的推断:Canay and Shaikh (2016)、Chernozhukov et al. (2013)。这些工作处理的是"许多不等式约束同时成立"的检验问题,与本文的"多个局部单调性假设同时检验"在结构上高度相似。本文在讨论中引用了这些文献,说明作者意识到自己的方法可以视为矩不等式检验的一个特例。
这个方向在追问的核心问题¶
- 如何从"全局检验"过渡到"局部推断"? 即:当全局零假设被拒绝时,如何定位拒绝的原因?本文的回答是:将全局假设分解为局部假设,并用 FWER 控制来保证局部推断的可靠性。
- 如何在控制 FWER 的同时最大化检验功效? 本文通过使用协方差矩阵信息(而非 Bonferroni 的保守近似)来达到渐近精确的 FWER 控制,从而在"平坦函数"这一最不利情形下仍能接近名义水平。
- 如何将单调性推断推广到非标准模型? 如 IVQR(附录 A.1)和函数系数模型(附录 A.2),这些模型的估计量可能不具有 \(\sqrt{n}\) 收敛速度,或者协方差矩阵结构更复杂。
⚠️ 作者的 framing¶
作者将缺口 frame 成:"现有单调性检验只能给出全局二元结论,无法提供局部信息;而我们的方法通过多重检验和置信集构造,填补了这一空白。" 具体而言,作者在引言中指出,全局检验的"不拒绝"并不能证明函数单调,而"拒绝"也不能告诉我们哪里不单调。作者将自己的方法定位为"更丰富、更细致的推断工具"。被淡化的竞争路线包括:贝叶斯方法(作者仅在结论中提了一句"贝叶斯可信集的开发留待未来工作")、基于函数估计的置信带方法(如同时置信带,可以视觉上判断单调性,但缺乏形式化的 FWER 控制),以及非参数单调回归(直接估计单调函数,而非检验单调性)。这些竞争路线在引言中未被详细讨论,作者选择聚焦于频率学派的 FWER 控制框架。
张力¶
未见明显对立引用。被引文献之间在方法论上是一致的——都认可 FWER 控制作为多重检验的黄金标准,且都采用渐近理论作为推断的基础。唯一的细微张力在于:Ghosal et al. (2000) 和 Chetverikov (2019) 的全局检验方法在"函数整体单调"的零假设下具有较高的功效,而本文的局部检验方法在"函数大部分单调但局部不单调"的情形下更有信息量。这两种方法并非对立,而是互补——全局检验可以作为初步筛查,局部检验可以作为后续定位工具。
二、最核心、最简单的例子 / 数学问题¶
第一步:符号、模型、可观测数据¶
在展开论文的技术细节之前,先建立一套统一的记号。这套记号贯穿全文,是理解所有定理和证明的基础。
符号清单:
| 记号 | 含义 | 类型 |
|---|---|---|
| \(m(\cdot)\) | 目标函数,定义在 \(\mathcal{X}\) 上 | 未知参数(函数) |
| \(\mathcal{X} = \{1, 2, \ldots, h\}\) | 评估点的集合(更一般地,\(\mathcal{X} = \{x_1, \ldots, x_h\}\)) | 已知设计点 |
| \(m \equiv (m(1), \ldots, m(h))'\) | 函数在 \(h\) 个点上的取值向量 | 未知参数(有限维) |
| \(\hat{m} \equiv (\hat{m}(1), \ldots, \hat{m}(h))'\) | 估计量 | 随机向量 |
| \(d_x \equiv m(x) - m(x+1)\) | 相邻点之间的差值 | 未知参数(标量) |
| \(\hat{d}_x \equiv \hat{m}(x) - \hat{m}(x+1)\) | 差值的估计 | 随机变量 |
| \(s_x\) | \(\hat{d}_x\) 的渐近标准误 | 未知常数 |
| \(\hat{s}_x\) | \(s_x\) 的一致估计 | 随机变量 |
| \(\hat{t}_x \equiv \hat{d}_x / \hat{s}_x\) | t 统计量 | 随机变量 |
| \(V_a\) | \(\hat{m}\) 的渐近协方差矩阵 | 未知矩阵 |
| \(\hat{V}_a\) | \(V_a\) 的一致估计 | 随机矩阵 |
| \(V_b \equiv G' V_a G\) | \(\hat{d}\) 的渐近协方差矩阵 | 未知矩阵 |
| \(G\) | 差分变换矩阵,\((h \times (h-1))\) 维 | 已知矩阵 |
| \(c_\alpha\) | FWER 控制临界值 | 常数(需模拟或计算) |
| \(\alpha\) | 名义 FWER 水平 | 用户设定 |
| \(n\) | 样本量 | 已知 |
模型:论文的核心假设是 Assumption A1——估计量 \(\hat{m}\) 满足联合渐近正态性:
可观测数据:研究者观测到样本 \(\{W_i\}_{i=1}^n\),基于此构造估计量 \(\hat{m}\) 及其协方差矩阵估计 \(\hat{V}_a\)。论文不关心数据的具体生成过程,只关心估计量的渐近性质。
目标(estimand):真实集合
第二步:最小内核¶
核心问题:给定 \(\hat{m}\) 和 \(\hat{V}_a\),如何构造一个集合 \(\hat{S}\),使得 \(\hat{S}\) 以高概率(至少 \(1-\alpha\))包含于真实集合 \(S\)(内置信集),或者以高概率包含 \(S\)(外置信集)?
最小例子:假设 \(h = 3\),即函数在三个点 \(x = 1, 2, 3\) 上取值。我们关心两个差值:
基本检验:对每个 \(x\),计算 t 统计量 \(\hat{t}_x = \hat{d}_x / \hat{s}_x\)。直观上,如果 \(\hat{t}_x\) 很大(正数),说明 \(\hat{d}_x\) 显著为正,即函数在 \(x\) 处递减,因此 \(x \notin S\)。如果 \(\hat{t}_x\) 很小或为负,说明没有证据表明函数在 \(x\) 处递减,因此 \(x\) 可能属于 \(S\)。
关键难点:由于 \(\hat{d}_1\) 和 \(\hat{d}_2\) 是相关的(它们共享 \(\hat{m}(2)\)),不能简单地用单个 t 检验的临界值 \(z_\alpha\) 来分别检验每个假设。如果这样做,FWER 会超过 \(\alpha\)。正确的做法是使用联合分布来确定临界值 \(c_\alpha\),使得:
为什么这很难:因为 \(S\) 是未知的,我们不能直接计算 \(\max_{x \in S} \hat{Z}_x\)。论文的解决方案是:注意到对于所有 \(x\),\(\hat{Z}_x \ge \hat{t}_x\)(因为 \(d_x \le 0\) 意味着 \(\hat{Z}_x = \hat{t}_x - d_x/\hat{s}_x \ge \hat{t}_x\)),因此:
为什么这个内核是"最小"的:它剥离了所有应用场景的细节(条件期望、分位回归、IVQR 等),只保留了最本质的统计结构——一组渐近联合正态的估计量,以及一组线性约束(差值非正)。一旦理解了这一点,所有后续的推广(Stepdown、两阶段、置信集)都只是在这个内核上添加"效率改进"或"推断目标扩展"。
三、这篇论文做了什么¶
三句话¶
- 研究了什么问题:如何对一个函数 \(m(\cdot)\) 在多个点上的单调性进行多重检验,并构造其"单调点集合"的内/外置信集,而非仅仅给出全局单调性的二元结论。
- 核心工具/方法:基于估计量 \(\hat{m}\) 的联合渐近正态性(Assumption A1),构造 t 统计量 \(\hat{t}_x = \hat{d}_x/\hat{s}_x\),用最大中心化 t 统计量的渐近分布的分位数作为临界值,控制 FWER;并进一步提出 Stepdown(Method 6)和两阶段(Method 8)程序以提高功效。
- 主要结论:在 Assumption A1 下,所提出的 Method 1 具有渐近 FWER 控制(Theorem 2.2);由此构造的内/外置信集具有正确的渐近覆盖概率(Theorem 3.1, 3.2);Stepdown 和两阶段程序在保持 FWER 控制的同时提高了功效(Theorem 6.1, 6.3)。
关键设定与假设¶
Assumption A1(核心假设):
相比已有文献的放宽/强化: - 放宽:不要求 \(\hat{m}\) 是某个特定估计量(如核估计或级数估计),而是直接假设联合渐近正态性,这使得方法可以"即插即用"到不同的模型。 - 强化:要求 \(V_a\) 可被一致估计。在某些非标准情形下(如弱识别、单位根),这一要求可能不成立,但论文未讨论这些情形。
其他假设: - 评估点 \(x_1 < x_2 < \cdots < x_h\) 是预先固定的(非数据依赖)。 - 差值 \(d_x = m(x) - m(x+1)\) 的定义依赖于相邻点的顺序,因此 \(x\) 必须是离散的或有序的。
主要结果¶
Theorem 2.2(Method 1 的 FWER 控制):在 Assumption A1 下,Method 1 具有强渐近 FWER 控制,即
Theorem 3.1(外置信集):由 Method 1 构造的外置信集 \(\hat{S}_o\) 满足
Theorem 3.2(内置信集):由 Method 5 构造的内置信集 \(\hat{S}_i\) 满足
Theorem 6.1(Stepdown):Method 6 在保持 FWER 控制的同时,功效不低于 Method 1。证明基于 Lehmann and Romano (2005) 的逐步下降理论,关键条件是临界值的单调性(见附录 B.5 的证明)。
Theorem 6.3(两阶段):Method 8 在保持 FWER 控制的同时,通过在第一阶段构造置信区域来排除"明显不成立的零假设",从而在第二阶段使用更小的临界值,提高功效。证明的关键在于 Theorem 6.2 给出的置信区域覆盖概率,以及 Lemma B.1(Slutsky 定理的推广)。
证明路线与技术技巧¶
整体路线(以 Theorem 2.2 为例): 1. Delta 方法:由 Assumption A1 和差值定义 \(d = G'm\),得到 \(\sqrt{n}(\hat{d} - d) \xrightarrow{d} N(0, V_b)\),其中 \(V_b = G'V_aG\)。 2. 标准化:定义 \(\hat{Z}_x = (\hat{d}_x - d_x)/\hat{s}_x\),利用 \(\hat{V}_b \xrightarrow{p} V_b\) 和 Slutsky 定理,得到 \(\hat{Z} \xrightarrow{d} N(0, \Sigma)\)。 3. 关键不等式:对于真实零假设 \(H_{0x}\)(即 \(d_x \le 0\)),有 \(\hat{t}_x \le \hat{Z}_x\)。因此,拒绝任何真实零假设意味着 \(\max_{x \in S} \hat{t}_x > c_\alpha\),进而 \(\max_{x \in S} \hat{Z}_x > c_\alpha\)。 4. 分位数定义:选择 \(c_\alpha\) 为 \(\max_{x \in \{1,\ldots,h-1\}} \hat{Z}_x\) 的 \((1-\alpha)\)-分位数,则
关键跳跃点: - 从 \(\hat{t}_x\) 到 \(\hat{Z}_x\) 的不等式:这是整个证明的枢纽。它允许我们将"未知的 \(S\)"替换为"所有位置",从而用一个可计算的临界值来控制 FWER。这个跳跃的代价是保守性——当 \(S\) 远小于全集时,实际 FWER 远低于 \(\alpha\),这正是 Stepdown 和两阶段程序试图弥补的。 - 协方差矩阵的估计:\(\hat{\Sigma}\) 的构造需要 \(\hat{V}_a\) 的一致估计。在附录 A 中,作者展示了如何针对 IVQR 和函数系数模型构造这样的估计量,但论文未给出一般性的充分条件。
技术技巧点名: - Delta 方法:用于从 \(\hat{m}\) 的渐近正态性推导 \(\hat{d}\) 的渐近正态性。 - Slutsky 定理:用于处理估计的标准误 \(\hat{s}_x\) 和估计的协方差矩阵 \(\hat{\Sigma}\)。 - 最大统计量的分位数模拟(Method 2):由于 \(\max\) 的分布没有闭式表达式,通过蒙特卡洛模拟从 \(N(0, \hat{\Sigma})\) 中抽样来近似 \(c_\alpha\)。 - Bootstrap(Method 3):作为模拟方法的替代,通过重抽样来近似 \(\hat{Z}^*\) 的分布,适用于 \(\hat{\Sigma}\) 难以直接估计的情形。 - 逐步下降法(Method 6):借鉴 Holm (1979) 的思想,在每一步排除已拒绝的假设,重新计算临界值,以提高功效。 - 两阶段法(Method 8):借鉴 Romano et al. (2014) 的思想,利用第一阶段置信区域来"筛选"候选假设,使第二阶段的临界值更小。
真实例子与应用¶
实证例子:教育回报率(Section 4)
- 数据:来自 R 包
wooldridge的census2000数据集,包含 29,501 个观测。变量为 log 周收入(\(Y\))和教育年限(\(X\),取值 9-16 年)。 - 目标函数:条件期望函数 \(m(x) = E[\log(\text{周收入}) | \text{教育} = x]\)。
- 方法应用:
- 估计 \(m(x)\) 在 \(x = 9, 10, \ldots, 16\) 处的值(用样本均值)。
- 计算差值 \(\hat{d}_x = \hat{m}(x) - \hat{m}(x+1)\) 及其标准误。
- 运行 Method 1 的 MTP,得到临界值 \(\hat{\hat{c}}_\alpha = 2.40\)(\(\alpha = 0.05\))。
- 结果:t 统计量在 \(x = 11, 12, 14\) 处显著为负(\(\hat{t}_x < -2.40\)),因此拒绝反向零假设 \(H^*_{0x}: d_x \ge 0\),即在这些点上有强证据表明收入随教育递增。在 \(x = 9, 10, 13\) 处,t 统计量不显著,无法得出明确结论。
- 内置信集 \(\hat{S}_i = \{11, 12, 14\}\),外置信集 \(\hat{S}_o = \{9, 10, 11, 12, 13, 14\}\)。
- 与全局检验的对比:全局检验(如 Romano-Wolf 2013)只能判断"整个函数是否递增",而本文的方法可以定位到具体哪些教育年限处有显著递增。例如,从 \(x = 10\) 到 \(x = 11\) 的估计是下降的(\(\hat{m}(10) > \hat{m}(11)\)),但下降不显著,因此不能拒绝 \(H_{0,10}\),但也不能拒绝 \(H^*_{0,10}\),即证据不足以判断该处是否递增。
模拟例子(Section 5)
- 目的:验证 Method 1 的 FWER 控制在有限样本下的表现。
- 设计:\(h = 4\),\(m(x) = 1\)(平坦函数,所有零假设为真),\(\sigma_x = 1\) 或 \(\sigma_x = x\)(异方差)。
- 结果:当 \(n_x = 10\) 时,Method 1 的 FWER 约为 0.07(略高于名义水平 0.05),而 Bootstrap 方法约为 0.04(略低于名义水平)。当 \(n_x = 100\) 时,两者都接近 0.05。这表明 Method 1 在样本量较小时可能略微过度拒绝,但 Bootstrap 方法可以缓解这一问题。
- Stepdown 和两阶段的比较:在 \(n_x = 100\) 时,Stepdown 和两阶段方法的 FWER 都低于 0.05,但功效(平均拒绝的假零假设数)更高。两阶段方法在 \(n_x = 50\) 时的功效提升最明显。
🔎 结论是否比证明窄¶
- Theorem 2.2 的证明严格依赖于 Assumption A1 的联合渐近正态性,但论文在 Section 2.3 中仅给出了 CEF 例子的低层条件(Assumption CEF),未给出更一般的充分条件。因此,证明的适用范围是"满足 A1 的所有估计量",但论文的表述可能让读者误以为该方法适用于所有估计量。
- Theorem 6.3 的证明依赖于 Theorem 6.2 的置信区域覆盖概率,而后者要求第一阶段置信区域的渐近覆盖概率恰好为 \(1-\beta\)。在实际中,如果 \(\hat{V}_a\) 的估计有偏,这个覆盖概率可能偏离 \(1-\beta\),导致第二阶段的 FWER 控制失效。论文在模拟中使用了正态数据,未检验非正态或重尾情形。
- 附录 A 的 IVQR 扩展:论文声称 Assumption IVQR 可由 Chernozhukov and Hansen (2006) 的结果推出,但未给出具体的正则条件(如工具变量的相关性条件、分位回归的识别条件)。因此,该扩展的证明是"引用式"的,而非"自包含"的。
四、开放问题¶
-
连续评估点的选择:论文假设评估点 \(x_1, \ldots, x_h\) 是预先固定的。当 \(X\) 是连续变量时,如何选择这些点(如分位数网格)?网格的密度如何影响 FWER 控制和功效?论文在结论中仅提到"有限个点"的限制,未给出网格选择的指导。扎根于 Section 2.1 的设定和结论中的"finite number of \(X\) points"。
-
自适应评估点:能否根据数据自适应地选择评估点(如只在数据密集的区域检验)?这涉及到"数据依赖的假设族"的 FWER 控制,目前的理论框架(Lehmann and Romano 2005)不直接适用。扎根于 Section 2.1 的固定点设定。
-
贝叶斯可信集:论文在结论中提到"开发贝叶斯可信集是未来工作",但未给出任何具体方向。一个自然的想法是:对 \(m(\cdot)\) 施加高斯过程先验,然后构造 \(S\) 的后验可信集。但这需要处理"集合值参数"的后验推断,目前文献中缺乏现成工具。扎根于结论段的"Bayesian credible sets"。
-
Stepdown 与两阶段的最优性:论文证明了这两种方法在 FWER 控制上不劣于 Method 1,但未讨论它们在功效上的最优性。是否存在某种意义下"最优"的多重检验程序?这需要建立功效函数的上界,目前文献中缺乏此类结果。扎根于 Section 6 的模拟结果和 Theorem 6.1, 6.3 的陈述。
-
弱识别下的单调性检验:在 IVQR 模型中,如果工具变量较弱,估计量 \(\hat{\beta}_1(u)\) 的渐近分布可能不是正态的(见 Chernozhukov and Hansen 2006 的讨论)。此时 Assumption A1 不成立,本文的方法需要如何调整?扎根于附录 A.1 的 IVQR 扩展。
-
高维评估点:如果 \(h\) 随样本量 \(n\) 增长(如 \(h \to \infty\)),FWER 控制是否仍然成立?这涉及到"高维多重检验"的理论,目前论文的证明(基于固定 \(h\) 的渐近)不直接适用。扎根于 Section 2.1 的固定 \(h\) 设定。
提示:若要确认上述开放问题是否为真 gap,建议去读以下近期文献的引言部分(各约 5 篇): - 单调性检验:Chetverikov (2019), Ghosal et al. (2000), Hall and Heckman (2000), Romano and Wolf (2013), 以及近期关于"部分识别"的文献(如 Canay and Shaikh 2017)。 - 多重检验与 FWER 控制:Lehmann and Romano (2005), Holm (1979), Romano et al. (2014), 以及近期关于"在线多重检验"的文献。 - 贝叶斯可信集:近期关于"集合值参数"的贝叶斯推断文献(如 Possolo 和 Meija 的测量不确定度文献)。
Maintained by 陈星宇 · Homepage · Source on GitHub