Asymptotic validity and finite-sample properties of approximate randomization tests¶
作者: Panos Toulis
来源: Biometrika
主题: 数理统计 / 假设检验
相关性: 8/10
链接: https://doi.org/10.1093/biomet/asaf085
一、领域脉络与小综述¶
这个方向是什么¶
本文研究的核心问题是近似随机化检验(approximate randomization test)的有限样本性质与渐近有效性。随机化检验是一类基于数据在某个变换群(如置换、符号翻转)下不变性假设的假设检验方法,其核心吸引力在于:当数据分布满足精确不变性时,检验在有限样本下具有精确的 size 控制,无需任何渐近近似。然而,实际应用中我们往往无法直接观测到满足不变性的"真实"数据,而只能获得带有噪声或估计误差的代理变量(如回归残差)。此时使用的检验即为"近似"随机化检验,其 size 可能与理想检验存在偏差。本文的核心理论贡献是给出了这种偏差的一个非渐近上界,并基于此推导了近似随机化检验在不变性假设下有效的新条件;当不变性不成立时,证明了通过 studentization 仍可保证渐近有效性。
发展脉络¶
- 奠基工作:随机化检验的思想可追溯至 Fisher [1935] 的随机化实验设计与 Pitman [1937] 的置换检验。这些工作确立了"在变换群下数据分布不变 ⇒ 检验有限样本精确有效"这一核心原理。Lehmann and Romano [2005, Ch.15] 系统整理了随机化检验的理论框架,给出了有限样本有效性的严格证明,并提出了 Hoeffding 条件作为渐近有效性的充分条件。
- 主要进展:Hoeffding [1952] 提出了著名的 Hoeffding 条件(式 4),即随机化分布与抽样分布渐近一致的条件,成为后续所有随机化检验渐近理论的基础。Janssen [1997, 1999] 将 studentization 引入随机化检验,证明了在非不变性假设下,studentized 统计量的随机化分布可以渐近逼近其抽样分布,从而扩展了随机化检验的适用范围。Chung and Romano [2013] 和 DiCiccio and Romano [2017] 进一步研究了回归设定下的置换检验与符号检验,建立了 studentized 置换检验在非交换数据下的渐近有效性。
- 当前 frontier:Canay et al. [2017] 研究了近似随机化检验在弱假设下的有效性,Wu and Ding [2021] 和 Zhao and Ding [2021] 将随机化检验推广至更复杂的因果推断设定。Chernozhukov et al. [2021] 在面板数据中研究了基于残差的随机化检验。Dobriban [2021] 独立研究了不变性检验的一致性。本文的位置在于:现有理论主要依赖 Hoeffding 条件的渐近框架,对有限样本行为缺乏刻画;本文首次给出了近似随机化检验与理想检验之间 size 偏差的非渐近界,填补了这一空白。
子线索聚类¶
- 随机化检验的渐近理论:以 Hoeffding 条件为核心,研究随机化分布与抽样分布的渐近等价性。代表工作:Hoeffding [1952], Janssen [1997, 1999], Chung and Romano [2013], DiCiccio and Romano [2017]。这一线索关注的是渐近有效性,但缺乏有限样本刻画。
- 近似随机化检验的鲁棒性:研究当数据不满足精确不变性时,检验的 size 如何偏离名义水平。代表工作:Canay et al. [2017], Dobriban [2021]。这一线索与本文最接近,但现有结果多为渐近的或针对特定设定。
- 残差类随机化检验:以回归残差作为代理变量构造随机化检验,包括残差置换检验(对应 bootstrap)与残差符号检验(对应 wild bootstrap)。代表工作:Freedman [1981], Freedman and Lane [1983a,b], Wu [1986], DiCiccio and Romano [2017]。本文的线性回归应用即属于这一线索。
这个方向在追问的核心问题¶
- 近似随机化检验何时有效? 即:当代理变量(如残差)与真实变量(如误差)的差异趋于零的速度有多快时,检验的 size 偏差可以忽略?Hoeffding 条件给出了渐近答案,但有限样本答案未知。
- 不变性假设与 studentization 的关系? 当不变性不成立时,studentization 能否恢复有效性?Janssen [1997, 1999] 给出了渐近肯定答案,但有限样本代价不明。
- 高维与复杂设定下的行为? 当维度 d 随样本量 n 增长时,残差类随机化检验是否仍然有效?本文的定理 4 和 5 给出了部分答案,但高维回归的完整理论仍是开放的。
⚠️ 作者的 framing¶
作者在引言中将本文的贡献 frame 为"填补随机化检验理论的两个空白":(1) 现有理论基于 Hoeffding 条件的渐近框架,无法解释有限样本行为;(2) 近似随机化检验在不变性假设下的有效性条件此前未知。作者强调其核心贡献——条件 (C1)——是一个"非渐近"条件,不要求统计量收敛于任何极限分布,因此比 Hoeffding 条件更弱、更适用于有限样本分析。作者还指出,本文的线性回归应用"重新推导"了残差置换检验和残差符号检验的有效性条件,且这些条件比经典 bootstrap 理论的条件更弱。这是作者的说法,读者需自行判断其说服力。
张力¶
未见明显对立引用。不过,作者在 4.4 节明确指出:在高度杠杆的回归设定下,Hoeffding 条件(式 19)失败,但本文的条件 (C1) 仍然成立,检验仍然有效。这暗示 Hoeffding 条件可能过于严格,但作者并未直接挑战 Hoeffding 条件的必要性,而是将其定位为充分条件。这一"充分但非必要"的张力值得关注。
二、最核心、最简单的例子 / 数学问题¶
第一步:符号、模型、可观测数据¶
- ε = (ε₁, …, εₙ) ∈ ℝⁿ:真实数据向量,是随机变量。在回归设定中,ε 表示不可观测的误差项。
- ĝ = (ĝ₁, …, ĝₙ) ∈ ℝⁿ:代理变量向量,是随机变量。在回归设定中,ĝ 表示回归残差。
- Gₙ:有限变换群,作用于 ℝⁿ。例如,Gₙ 可以是 n 个元素的置换群(对应置换检验),或是对角元为 ±1 的对角矩阵群(对应符号检验)。
- g:从 Gₙ 中均匀随机抽取的变换,g ~ Unif(Gₙ)。g 是随机变量,独立于数据。
- Tₙ(·) : ℝⁿ → ℝ:检验统计量,是数据的确定性函数。例如,Tₙ(ε) 可以是样本均值或回归系数的估计量。
- tₙ(ε):观测到的检验统计量值,是随机变量。
- cₙ,α(ε):临界值函数,定义为 cₙ,α(ε) = inf{ t ∈ ℝ : (1/|Gₙ|) Σ_{g∈Gₙ} 1{Tₙ(gε) ≤ t} ≥ 1 − α }。这是随机化分布的分位数,是随机变量。
- φₙ:检验决策,φₙ = 1{ tₙ(ε) > cₙ,α(ε) },是随机变量。
- E(φₙ):检验的 size(第一类错误概率),是我们要控制的量。
- E(φₙ*):理想随机化检验(使用真实数据 ε)的 size。
- Δₙ = Tₙ(ĝ) − Tₙ(gε):近似误差,即使用代理变量与真实变量时统计量值的差异。这是随机变量。
- Λₙ = Tₙ(g′ε) − Tₙ(g″ε):随机化分布的间距(spacing),即两个独立随机变换下统计量值的差异。这是随机变量。
- 条件 (C1):E(Δₙ²) / E(Λₙ²) → 0。这是本文的核心条件,要求近似误差的方差远小于随机化分布本身的方差。
模型:本文考虑一个抽象设定:存在一个变换群 Gₙ 和一个检验统计量 Tₙ。理想情况下,数据 ε 在 Gₙ 下不变(即 ε 的分布在群作用下不变),此时随机化检验有限样本精确有效。但实际中我们只能观测到代理变量 ĝ,它是对 ε 的近似。近似随机化检验使用 ĝ 构造随机化分布,因此其 size 可能与理想检验有偏差。本文的目标是刻画这个偏差。
可观测数据:研究者实际能观测到的是代理变量 ĝ(如回归残差),以及变换群 Gₙ 和统计量 Tₙ 的具体形式。研究者不能观测到真实数据 ε(如误差项),也不能直接观测到理想检验的 size E(φₙ*)。所有关于 ε 的量(如 E(Δₙ²)、E(Λₙ²))都是理论构造,用于分析而非直接计算。
第二步:最小内核¶
最简特例:考虑最简单的单样本均值检验。设 ε = (ε₁, …, εₙ) 是 i.i.d. 零均值随机变量,Gₙ 是符号翻转群(即 g 是对角元为 ±1 的随机对角矩阵)。检验统计量为 Tₙ(ε) = (1/√n) Σᵢ εᵢ。理想随机化检验的随机化分布为 { Tₙ(gε) : g ∈ Gₙ },即 { (1/√n) Σᵢ ±εᵢ }。由于 ε 的分布在符号翻转下不变,该检验有限样本精确有效。
现在假设我们只能观测到 ĝᵢ = εᵢ + ηᵢ,其中 ηᵢ 是测量噪声。近似随机化检验使用 { Tₙ(gĝ) : g ∈ Gₙ } 构造随机化分布。此时:
- 近似误差:Δₙ = Tₙ(gĝ) − Tₙ(gε) = (1/√n) Σᵢ gᵢ ηᵢ,其中 gᵢ = ±1 是随机符号。因此 E(Δₙ²) = (1/n) Σᵢ E(ηᵢ²)。
- 随机化间距:Λₙ = Tₙ(g′ε) − Tₙ(g″ε) = (1/√n) Σᵢ (g′ᵢ − g″ᵢ) εᵢ。由于 g′ᵢ − g″ᵢ 以概率 1/2 为 0、以概率 1/2 为 ±2,因此 E(Λₙ²) ≈ (2/n) Σᵢ E(εᵢ²)。
条件 (C1) 变为:E(Δₙ²) / E(Λₙ²) ≈ [Σᵢ E(ηᵢ²)] / [2 Σᵢ E(εᵢ²)] → 0。这要求测量噪声的方差远小于信号本身的方差。直观上,当噪声相对于信号足够小时,近似随机化检验的 size 偏差可以忽略。
为什么这个例子是核心:这个例子揭示了本文的核心思想——近似随机化检验的有效性取决于"近似误差"与"随机化分布本身的变异性"之比。当这个比值趋于零时,检验的 size 偏差趋于零。这个比值正是条件 (C1) 的本质。本文的所有定理(定理 1-5)都是这个思想在不同设定下的推广:定理 1 给出一般框架,定理 4 和 5 分别将其应用于置换检验和符号检验的回归设定。
三、这篇论文做了什么¶
三句话¶
- 研究了什么问题:近似随机化检验(使用代理变量而非真实数据)与理想随机化检验之间 size 偏差的非渐近界,以及保证近似检验渐近有效的新条件。
- 核心工具 / 方法:将检验决策的差异分解为"近似误差"(Δₙ)与"随机化分布间距"(Λₙ)之比,通过控制这个比值来 bound size 偏差;当不变性不成立时,利用 studentization 恢复渐近有效性。
- 主要结论:在条件 (C1)(E(Δₙ²)/E(Λₙ²) → 0)下,近似随机化检验与理想检验的 size 偏差趋于零;在不变性假设下,该条件自动满足;在极限假设下,studentization 可保证渐近有效性。线性回归应用中,置换检验的有效条件简化为 d/n → 0,符号检验的有效条件为 d/n → 0 且噪声方差有界。
关键设定与假设¶
- 设定:数据 ε ∈ ℝⁿ,变换群 Gₙ(有限群),检验统计量 Tₙ(·)。理想检验使用 ε,近似检验使用代理变量 ĝ。
- 假设 (A1):E[Tₙ²(ε)] < ∞ 且 1/|Gₙ| = o(1)。前者是矩条件,保证统计量的二阶矩存在;后者要求群的大小趋于无穷,这是随机化分布能够"混合"的前提。
- 假设 (A2):max_{g≠g′} P{Tₙ(gε) = Tₙ(g′ε)} = o(1)。这是非退化条件,要求随机化分布中统计量取值不重复的概率趋于 1,避免临界值函数的病态行为。
- 假设 (A3):随机化分布中统计量取值的"间距"(Λₙ)在标准化后不退化,即 P(|Λₙ| > ε) → 1 对任意 ε > 0。这保证随机化分布有足够的变异性。
- 假设 (A3'):Λₙ 的标准化 CDF 在 0 附近满足 γ-Hölder 连续性。这是为了获得有限样本界而引入的光滑性条件,比 (A3) 更强。
- 条件 (C1):E(Δₙ²)/E(Λₙ²) → 0。这是本文的核心条件,要求近似误差的均方远小于随机化分布的方差。
相比已有文献的放宽/强化:相比 Hoeffding 条件(要求 Tₙ(gε) 与 Tₙ(ε) 的联合分布收敛),条件 (C1) 只要求二阶矩之比趋于零,不要求任何分布收敛,因此更弱、更易验证。但 (A3') 的 Hölder 连续性是对已有文献的强化,因为已有文献通常只假设分布收敛。
主要结果¶
定理 1(一般框架):在 (A1)-(A3) 下,若条件 (C1) 成立,则 |E(φₙ) − E(φₙ*)| ≤ 1/m + o(1),其中 m 是随机化样本数。这意味着近似检验的 size 与理想检验的 size 之差趋于零。证明思路:将检验决策的差异分解为"近似误差超过间距"的事件概率,用 Chebyshev 不等式和 (A3) 控制。
定理 2(有限样本界):在 (A1)-(A2) 和 (A3') 下,|E(φₙ) − E(φₙ*)| ≤ O(1/m) + O(m·ε₀) + O(ε₀^γ) + O(ε₀^{-2}·E(Δₙ²)/E(Λₙ²)),其中 ε₀ 是优化参数。通过选择 ε₀ 优化,得到 rate O(m^{-γ/(2+γ)}) + O((E(Δₙ²)/E(Λₙ²))^{γ/(2+γ)})。这个界揭示了 size 偏差与条件 (C1) 的收敛速率之间的直接联系。
定理 3(功效下界):在 (A1)-(A3) 下,若替代假设满足 Tₙ(ε) 的均值偏移 μₙ 满足 μₙ/σₙ → ∞,则近似检验的功效趋于 1。证明思路:将功效分解为"信号超过临界值"和"近似误差小于信号"两个事件,分别用 Chebyshev 和 (C1) 控制。
定理 4(置换检验):在回归设定中,若误差 ε 可交换且 E(εᵢ²) < ∞,则条件 (C1) 简化为 E(||Pₓε||²)/E(||ε||²) → 0,其中 Pₓ 是投影矩阵。在不变性假设下,这等价于 d/n → 0。在极限假设下,无需额外条件即可保证渐近有效性。关键简化:利用置换群的对称性,将 (C1) 中的二阶矩之比转化为投影矩阵的迹之比。
定理 5(符号检验):在回归设定中,若误差 ε 对称且 E(εᵢ²) < ∞,则条件 (C1) 简化为 min{σₙ*, τₙ*}·d/n → 0,其中 σₙ* 和 τₙ* 是误差方差的上下界。关键简化:利用符号翻转群的对称性,将 (C1) 转化为对角矩阵的迹之比。
证明路线与技术技巧¶
整体路线(以定理 1 为例): 1. 分解检验决策:将近似检验的决策 φₙ 与理想检验的决策 φₙ* 的差异分解为"近似误差超过间距"的事件概率。 2. 控制近似误差:用 Chebyshev 不等式和条件 (C1) 控制 E(Δₙ²)/E(Λₙ²)。 3. 控制间距退化:用假设 (A3) 保证随机化分布中统计量取值不重复的概率趋于 1。 4. 组合:将上述控制代入分解式,得到 size 偏差的界。
关键技巧: - 间距变量 Λₙ 的引入:将随机化检验的决策问题转化为"近似误差 vs 间距"的比较,这是本文的核心创新。间距变量 Λₙ 的分布性质((A3) 和 (A3'))直接决定了 size 偏差的速率。 - Hölder 连续性 (A3'):这是获得有限样本界的关键。通过假设标准化间距的 CDF 在 0 附近光滑,可以用 ε₀^γ 控制"间距过小"的概率,从而优化 bound。 - 投影矩阵的迹:在回归设定中,利用投影矩阵的性质将 (C1) 中的二阶矩之比转化为 d/n 或 d/n 乘以方差比,大大简化了条件。
真实例子与应用¶
例 1(独立性检验):检验两个变量 ε 和 δ 的独立性。设 ε 可交换,δ 固定,检验统计量为内积 Tₙ(ε) = ε′δ。当 δ 有高杠杆时,Hoeffding 条件失败,但条件 (C1) 仍然成立,近似检验仍然有效。这个例子展示了 (C1) 比 Hoeffding 条件更广的适用范围。
例 2(对称分布的中位数检验):检验 ε 是否关于 0 对称。设 ε 对称,ĝ = ε + η 为带噪声的观测。条件 (C1) 简化为 E(||η||²)/E(||ε||²) → 0,即噪声方差远小于信号方差。这个例子展示了 (C1) 在非回归设定中的应用。
例 4(交换性下的模拟):线性回归中,误差可交换,d ∈ {5, log n, n^{1/3}, n^{1/2}}。模拟显示,当 d/n → 0 时,置换检验的 size 收敛到名义水平;当 d/n 不趋于 0 时,size 偏差明显。这个例子验证了定理 4 的理论预测。
例 5(高杠杆回归的模拟):线性回归中,误差可交换,但协变量有高杠杆。Hoeffding 条件失败,但条件 (C1) 成立,置换检验的 size 仍然收敛。这个例子展示了 (C1) 在 Hoeffding 条件失败时的有效性。
🔎 结论是否比证明窄¶
- 定理 1 的陈述是"|E(φₙ) − E(φₙ*)| ≤ 1/m + o(1)",但证明中实际需要假设 (A3)(间距非退化)。作者在定理陈述中列出了 (A3),因此陈述与证明一致。
- 定理 2 的有限样本界依赖于 (A3') 的 Hölder 连续性,但作者在定理陈述中明确列出了这一假设。然而,作者在 4.4 节的例子中声称"即使 Hoeffding 条件失败,(C1) 也成立",但并未验证 (A3') 在该例子中是否成立。这是一个潜在的 gap:定理 2 的有限样本界可能不适用于该例子。
- 定理 4 和 5 的陈述中,作者声称"在不变性假设下,条件 (C1) 简化为 d/n → 0",但证明中实际需要额外的矩条件(如 E(εᵢ⁴) < ∞)。作者在定理陈述中未明确列出这些条件,这是一个陈述与证明之间的 gap。
四、开放问题¶
-
高维回归的完整理论:定理 4 和 5 给出了 d/n → 0 的充分条件,但未给出 d/n 不趋于 0 时的精确 size 偏差表达式。当 d 与 n 同阶或 d > n 时,置换检验和符号检验的行为如何?这需要新的技术工具。(扎根于定理 4 和 5 的证明,以及例 4 中 d = n^{1/2} 时 size 偏差明显的模拟结果。)
-
Hölder 连续性 (A3') 的验证:定理 2 的有限样本界依赖于 (A3'),但作者未给出验证 (A3') 的通用方法。在哪些具体设定下 (A3') 成立?能否用更弱的条件替代?这直接关系到有限样本界的实用性。(扎根于定理 2 的陈述和 4.4 节的例子。)
-
任意变换群的一般化:本文的定理 1 对任意有限群 Gₙ 成立,但定理 4 和 5 仅针对置换群和符号翻转群。对于更一般的群(如旋转群、图自同构群),条件 (C1) 如何简化?这需要群表示论的工具。(扎根于定理 1 的一般性陈述和定理 4、5 的特殊性。)
-
功效的有限样本界:定理 3 给出了功效趋于 1 的渐近结果,但未给出有限样本下的功效下界。能否用类似定理 2 的技术获得功效的有限样本界?这需要控制第二类错误概率。(扎根于定理 3 的陈述。)
-
与 bootstrap 理论的统一:作者在 4.2 节指出残差置换检验对应残差 bootstrap,残差符号检验对应 wild bootstrap,但未深入探讨本文条件与经典 bootstrap 理论条件(如 Freedman [1981] 的假设)之间的精确关系。这是一个值得探索的方向。(扎根于 4.2 节的讨论。)
提示:要确认上述问题是否是真 gap,建议阅读以下近期文献的引言部分:DiCiccio & Romano (2017, Ann. Statist.)、Canay et al. (2017, Econometrica)、Wu & Ding (2021, JRSS-B)、Zhao & Ding (2021, Biometrika)。如果这些文献的引言都指向同一类未解决问题,那就是共识性 gap;如果它们给出的条件互相矛盾,那就是机会。
Maintained by 陈星宇 · Homepage · Source on GitHub