跳转至

Inference of high-dimensional weak instrumental variable regression models without ridge-regularization

讲者: Xu Guo
会场: Recent Development on High-Dimensional Data Modeling
报告题目: Inference of High-Dimensional Weak Instrumental Variable Regression Models without Ridge-Regularization
链接: arXiv
来源: JCSDS 2026 · 返回会议总览

一、领域脉络与小综述

这个方向是什么

这个子方向要解决的根本问题是：在工具变量（IV）回归中，当工具变量数量很多（K 很大，甚至 K > n）且每个工具变量都很弱（与内生变量相关性低）时，如何对结构参数 β 进行可靠的假设检验。经典的两阶段最小二乘（2SLS）和 Anderson-Rubin（AR）检验在这种“许多弱工具变量”设定下会失效（尺寸扭曲、功效低下）。当前该方向的成熟度处于“方法百花齐放但各有局限”的阶段——已有方法要么对工具变量数量增长有严格限制（如 K³/n → 0），要么依赖同方差假设，要么需要计算复杂的岭正则化参数，要么在稀疏/密集信号下表现不均衡。

发展脉络（history）

  1. 奠基工作：Anderson and Rubin (1949) 提出了经典的 AR 检验，其核心思想是：在 H₀: β = β₀ 下，结构误差 e = Y - Xβ₀ 与工具变量 Z 不相关，因此可用 e 与 Z 的样本协方差构造检验统计量。AR 检验对弱工具变量稳健，但要求 K 固定或增长很慢。

  2. 主要进展——许多弱工具变量：

  3. Bekker (1994) 建立了“许多工具变量”的渐近框架（K/n → μ），但要求同方差。
  4. Chao et al. (2014) 和 Hausman et al. (2012) 引入了 jackknife 的 AR 检验和异方差稳健的 Fuller 估计量，允许 K/n 有界，但要求 K < n 且对浓度参数的增长率有约束。
  5. Mikusheva and Sun (2022) 提出了一个带精炼方差估计量的 jackknife AR 检验，同样限制 K 的增长。
  6. Crudu et al. (2021) 在类似假设下提出了检验。

  7. Bun et al. (2020) 对 centered GMM-AR 检验做了自由度校正，但要求 K/n → 0。

  8. 当前 Frontier——非常多的工具变量（K > n）：

  9. Belloni et al. (2012) 提出了 Sup Score 检验（BCCH），基于最大型统计量，可处理 K > n，但使用 Bonferroni 校正的保守临界值，导致功效严重损失（作者自己承认）。
  10. Carrasco and Tchuente (2016) 引入了岭正则化的 AR 统计量，但不稳健于异方差。
  11. Dovì et al. (2024) 提出了 RJAR 检验，结合 jackknife 和岭正则化，在异方差和任意弱工具变量下控制尺寸，但需要选择正则化参数，计算成本高，且备择假设下的理论性质未充分探索。

  12. Lim et al. (2024) 提出了维度无关的 bootstrap AR 检验，通过岭正则化降低投影矩阵的有效秩，但同样依赖正则化参数。

  13. 本文的位置：本文声称“岭正则化不是必要的”，提出一个不需要调参的二次型检验 JAR，并推导了 BCCH 统计量的渐近零分布（从而可用更不保守的临界值），最后用 Fisher 方法组合两者，得到一个对稀疏/密集信号都稳健、无调参、计算简单的检验。

子线索聚类

  • 线索 1：基于二次型的检验（quadratic-type tests）：这类检验对密集信号（dense alternatives）有效。代表工作：Chen and Qin (2010) 的高维两样本均值检验；Cui et al. (2018) 的高维回归系数检验；本文的 JAR 和 RJAR 也属此类。它们通常构造 e 与 Z 的二次型（如 eᵀZZᵀe），在 H₀ 下渐近正态。
  • 线索 2：基于最大型的检验（maximum-type tests）：这类检验对稀疏信号（sparse alternatives）有效。代表工作：Cai et al. (2014) 的高维均值检验；Li and Chen (2012) 的高维协方差检验；Belloni et al. (2012) 的 BCCH 检验。它们关注 maxₖ |∑ᵢ eᵢZᵢₖ|，在 H₀ 下渐近服从 Gumbel 分布。
  • 线索 3：组合检验（combined tests）：结合二次型和最大型的优势，对未知稀疏性稳健。代表工作：Xu et al. (2016) 的自适应两样本检验；Yu et al. (2024) 的 Fisher 组合协方差检验；本文的 Fisher 组合检验。

这个方向在追问的核心问题

  1. 如何在高维弱工具变量下控制检验的尺寸（size）？ 经典 AR 检验在 K 大时尺寸扭曲；jackknife 和岭正则化是两种主流修正，但各有代价。
  2. 如何提高检验的功效（power）？ 在稀疏信号下，最大型检验优于二次型；在密集信号下则相反。如何在不事先知道稀疏性的情况下保持高功效？
  3. 如何避免调参（tuning-free）？ 岭正则化方法（RJAR、Lim et al. 2024）需要选择正则化参数，计算成本高且理论性质复杂。能否构造一个完全无调参的检验？
  4. 如何适应异方差（heteroskedasticity）？ 许多早期方法（Bekker 1994、Phillips and Gao 2017）假设同方差，但实际数据常违反此假设。

⚠️ 作者的 framing

  • 作者把缺口 frame 成什么：作者声称“岭正则化不是必要的”（见摘要和引言），从而将本文定位为 RJAR 和 BCCH 的“显然的下一步”——更简单、更快、更强大。具体来说：
  • 对 RJAR：去掉岭正则化，用简单的投影矩阵 P = ZZᵀ 替代 P_γ = Z(ZᵀZ + γI)⁻¹Zᵀ，从而避免调参和矩阵求逆。
  • 对 BCCH：推导 M²ₙ 的渐近 Gumbel 分布，用更不保守的临界值替代 Bonferroni 校正，从而提升功效。
  • 然后组合两者，得到对稀疏/密集都稳健的 Fisher 检验。
  • 哪些竞争路线被他淡化或回避了：
  • Lim et al. (2024) 的 bootstrap AR 检验：作者只在结论中提到“最近 Lim et al. (2024) 开发了一个维度无关的 bootstrap AR 检验”，但没有在模拟中与之比较。这可能是因为 Lim et al. 的方法也依赖岭正则化，且 bootstrap 计算成本高。
  • 基于 Lasso 的稀疏 IV 方法：如 Belloni et al. (2012) 的 Sup Score 检验本身也依赖 Lasso 选择工具变量，但作者只用了其最大型统计量，回避了 Lasso 选择部分。
  • 条件似然比检验（CLR）：如 Moreira (2003) 的 CLR 检验在弱工具变量下表现优异，但主要针对固定 K 或 K 较小的情况，作者未讨论其在 K > n 下的扩展。
  • 什么明显该被引/该存在、却没出现在 intro 里？：
  • Andrews et al. (2019) 的综述：虽然被引了，但作者没有详细讨论其中关于“许多弱工具变量”的实证发现（如 AER 论文中弱工具变量的普遍性）。
  • Blandhol et al. (2022) 的“TSLS 何时是 LATE”：被引了，但只在实证部分用到其工具变量构造思路，没有在方法部分讨论其对 LATE 解释的批判性影响。
  • 基于随机矩阵理论（RMT）的方法：既然 K/n 可以很大，RMT 可能提供更精确的渐近分布，但作者没有引用相关文献（如 Paul and Aue 2014 的综述）。

张力

未见明显对立引用。所有被引工作基本在“弱工具变量有害”这一点上达成共识，分歧在于如何修正。主要张力在于：岭正则化是否必要？ Dovì et al. (2024) 认为需要，本文认为不需要。这是一个可检验的实证问题——本文的模拟确实显示 JAR 在功效上优于 RJAR。

二、最核心、最简单的例子 / 数学问题

第一步：把符号、模型、可观测数据交代清楚

  • 符号：
  • \( Y \in \mathbb{R} \)：响应变量（可观测）。
  • \( X \in \mathbb{R} \)：标量内生回归变量（可观测）。
  • \( Z \in \mathbb{R}^K \)：K 维工具变量向量（可观测）。
  • \( \beta \in \mathbb{R} \)：结构参数（要推断的 estimand）。
  • \( \Pi \in \mathbb{R}^K \)：第一阶段系数向量（nuisance parameter）。
  • \( \varepsilon \in \mathbb{R} \)：结构误差（不可观测）。
  • \( v \in \mathbb{R} \)：第一阶段误差（不可观测）。
  • \( e_i = Y_i - X_i \beta_0 \)：在 H₀ 下的结构误差（可计算，因为 β₀ 已知）。
  • \( n \)：样本量。
  • \( K \)：工具变量个数（可随 n 增长，甚至 K > n）。
  • \( \Sigma_Z = \mathbb{E}(ZZ^\top) \)：Z 的协方差矩阵。
  • \( P = ZZ^\top \)：投影矩阵（无正则化）。

  • \( P_\gamma = Z(Z^\top Z + \gamma I_K)^{-1} Z^\top \)：岭正则化投影矩阵。

  • 模型：

    \[Y = X\beta + \varepsilon, \quad X = Z^\top \Pi + v,\]
    其中 \( \mathbb{E}(Z\varepsilon) = 0_K \)，\( \mathbb{E}(Zv) = 0_K \)。这是一个标准的线性 IV 模型，没有包含外生协变量（作者在附录中扩展了有协变量的情况）。

  • 可观测数据：

  • 可观测：\( \{Y_i, X_i, Z_i\}_{i=1}^n \)，即 n 个 i.i.d. 样本，每个样本包含响应、内生变量和 K 维工具变量。
  • 不可观测：结构误差 \( \varepsilon_i \)、第一阶段误差 \( v_i \)、第一阶段系数 \( \Pi \)。这些只能通过假设和模型结构来识别。
  • 关键识别条件：\( \mathbb{E}(Z\varepsilon) = 0 \)（工具变量外生性）和 \( \mathbb{E}(Zv) = 0 \)（工具变量与第一阶段误差不相关，但 v 与 ε 可以相关，即 X 是内生的）。

第二步：讲最小内核

最简特例：考虑一个极端稀疏的情形——只有一个工具变量（K=1），且该工具变量很弱（corr(Z, X) 很小）。此时，经典的 AR 检验统计量为：

\[\text{AR} = \frac{(\sum_i e_i Z_i)^2}{\hat{\sigma}^2 \sum_i Z_i^2} \xrightarrow{d} \chi^2_1,\]
其中 \( e_i = Y_i - X_i \beta_0 \)，\( \hat{\sigma}^2 = \frac{1}{n} \sum_i e_i^2 \)。这个检验对弱工具变量稳健，因为它在 H₀ 下不依赖 Π 的估计。

现在，当 K 很大（甚至 K > n）时，经典 AR 检验的分子 \( (\sum_i e_i Z_i)^\top (\sum_i Z_i Z_i^\top)^{-1} (\sum_i e_i Z_i) \) 中的矩阵求逆会出问题（因为 ZᵀZ 奇异或接近奇异）。本文的核心想法是：不要试图求逆，而是直接使用二次型 \( \sum_{i \neq j} e_i e_j Z_i^\top Z_j \)。这个量在 H₀ 下是均值为零的 U-统计量，其方差可被一致估计，从而构造一个渐近正态的检验统计量 JAR。

具体来说： - 在 H₀ 下，\( \mathbb{E}(e_i Z_i) = 0 \)，所以 \( \mathbb{E}(e_i e_j Z_i^\top Z_j) = 0 \) 对 i ≠ j。 - JAR 统计量是：

\[\text{JAR}_n = \frac{\sum_{i \neq j} e_i e_j Z_i^\top Z_j}{\sqrt{2 \sum_{i \neq j} e_i^2 e_j^2 (Z_i^\top Z_j)^2}}.\]
分子是 U-统计量，分母是它的标准差估计。在适当的矩条件下，JARₙ 渐近标准正态。

为什么这个想法能工作？ 因为 \( \sum_{i \neq j} e_i e_j Z_i^\top Z_j = \sum_i \sum_{j \neq i} e_i e_j Z_i^\top Z_j \) 本质上是一个去掉了对角项的二次型。去掉对角项（即 i=j 的项）避免了 ZᵀZ 的求逆，同时保留了信号：在 H₁ 下，\( \mathbb{E}(e_i Z_i) = \Pi(\beta - \beta_0) \neq 0 \)，所以分子有非零均值。这个技巧在 Chen and Qin (2010) 的高维两样本均值检验中已经用过，本文将其移植到 IV 设定。

最小内核总结：本文在数学上干的事是：构造一个无正则化的 U-统计量来替代需要矩阵求逆的二次型，从而在高维弱工具变量下实现无调参的假设检验。

三、这篇论文做了什么

三句话

  1. 研究了什么问题：在高维弱工具变量回归（K 可大于 n，工具变量可任意弱）中，对结构参数 β 进行假设检验。
  2. 核心工具/方法：提出了三个检验——(a) 无调参的二次型检验 JAR（基于 U-统计量）；(b) 改进的最大型检验 BCCH Asy（推导了 M²ₙ 的渐近 Gumbel 分布，用更不保守的临界值）；(c) Fisher 组合检验（结合 JAR 和 BCCH Asy 的 p 值）。
  3. 主要结论：三个检验都在弱工具变量和异方差下控制渐近尺寸；JAR 对密集信号高效，BCCH Asy 对稀疏信号高效，Fisher 组合对未知稀疏性稳健；JAR 比 RJAR 计算快约 200-600 倍（见表 1）；在移民工资弹性的实证中，JAR 和 Fisher 给出最短的置信区间。

关键设定与假设

在第二节记号基础上，补全完整设定：

  • 模型：\( Y = X\beta + \varepsilon \)，\( X = Z^\top \Pi + v \)，无外生协变量（附录有扩展）。
  • 假设 3.1（子高斯性）：\( \|Z\|_{\psi_2} \leq c_0 \)，\( \|\varepsilon\|_{\psi_2} \leq c_0 \)，\( \|v\|_{\psi_2} \leq c_0 \)。这是高维线性模型的常见假设，确保尾部概率指数衰减。相比 RJAR 的假设，本文没有要求 ε 和 v 的联合分布有界，而是分别控制。
  • 假设 3.2（迹条件）：\( \text{tr}(\Sigma_Z^4) = o\{\text{tr}^2(\Sigma_Z^2)\} \)。这是 Chen and Qin (2010) 中用于 U-统计量渐近正态的条件，确保方差占主导。它比“Σ_Z 的特征值有界”更弱，允许特征值发散。
  • 假设 3.3（K 的增长速度）：\( (\log K)^{13} = o(n) \)。允许 K 指数增长（如 K = e^{n^{1/13}}），但比 RJAR 的“K 可大于 n”更宽松？实际上 RJAR 也允许 K > n，但本文的假设 3.3 对 K 的增长速度有具体约束（虽然很弱）。
  • 假设 3.4（相关性结构）：用于最大型检验的渐近分布。它要求“高度相关的变量个数”是 o(K)（即大多数变量对之间的相关性很弱），且对任意 k，与 Z_k 高度相关的变量个数增长慢于 K 的任何多项式。这比 Cai et al. (2014) 的“最大相关系数有界”更一般，但比“完全独立”更现实。

相比已有文献的放宽/强化： - 相比 RJAR：放宽了岭正则化的需求（无调参）；强化了计算效率（快 200-600 倍）。 - 相比 BCCH：放宽了临界值的保守性（用 Gumbel 分布替代 Bonferroni）；强化了功效。 - 相比 Chen and Qin (2010)：放宽了从两样本均值检验到 IV 回归的设定（需要处理内生性）；强化了异方差稳健性。

主要结果

  • 定理 3.1（JAR 的渐近零分布）：在假设 3.1-3.2 下，H₀ 成立时，JARₙ → N(0,1)。这是核心结果，表明无正则化的 U-统计量在 K 很大时仍渐近正态。
  • 定理 3.2（JAR 的局部功效）：在局部备择 \( \zeta = \Pi(\beta - \beta_0) \) 满足 \( \zeta^\top \Sigma_Z \zeta = o(1) \) 和 \( \zeta^\top \Sigma_Z^3 \zeta = o\{\text{tr}(\Sigma_Z^2)/n\} \) 时，JARₙ 的渐近功效为 \( \Phi(-z_\alpha + n \zeta^\top \Sigma_Z^2 \zeta / \sqrt{\Omega}) \)。这表明 JAR 能检测到信号强度为 \( \sqrt{\text{tr}(\Sigma_Z^2)} / n \) 量级的备择。
  • 定理 3.3（M²ₙ 的渐近零分布）：在假设 3.1, 3.3, 3.4 下，\( M_n^2 - 2\log K + \log\log K \) 渐近服从 Gumbel 分布。这允许使用更不保守的临界值 \( c(\alpha) = 2\log K - \log\log K + q_\alpha \)，其中 q_α 是 Gumbel 分布的 (1-α) 分位数。
  • 定理 3.4（M²ₙ 的检测边界）：当信号强度 \( \max_k |\mu_k| \geq \sqrt{(2+\epsilon_0)\log K} \) 时，M²ₙ 的功效趋于 1。这个 \( \sqrt{\log K} \) 的检测边界与 Cai et al. (2014) 一致。
  • 定理 3.5（JAR 与 M²ₙ 的渐近独立性）：在 H₀ 下，JARₙ 和 \( M_n^2 - 2\log K + \log\log K \) 渐近独立。这是 Fisher 组合检验的理论基础。
  • 推论 3.1-3.2（Fisher 检验的尺寸和功效）：Fisher 检验在 H₀ 下渐近控制尺寸（→ α），在 H₁ 下（ζ ∈ L₁ ∪ L₂(c)）功效趋于 1。

证明路线与技术技巧

整体路线（以 JAR 的渐近正态性为例）：

  1. 将 JARₙ 写为 U-统计量：分子 \( T_n = \frac{1}{n(n-1)} \sum_{i \neq j} e_i e_j Z_i^\top Z_j \) 是一个二阶 U-统计量，核函数为 \( h(Z_i, e_i; Z_j, e_j) = e_i e_j Z_i^\top Z_j \)。在 H₀ 下，核函数是退化的（均值为零）。
  2. 方差计算：计算 \( \text{Var}(T_n) = \frac{2}{n(n-1)} \mathbb{E}[e_i^2 e_j^2 (Z_i^\top Z_j)^2] \)，并证明分母 \( \hat{\Omega} \) 是方差的一致估计（命题 3.1）。
  3. 渐近正态性：使用 U-统计量的 Hoeffding 分解和鞅差中心极限定理（或 Hall 1984 的 U-统计量 CLT）。关键条件是假设 3.2（迹条件），它确保方差占主导且高阶项可忽略。
  4. 关键跳跃点：证明 \( T_n \) 的渐近正态性需要处理核函数的退化性和高维性。作者使用了一个技巧：将 \( T_n \) 重写为 \( \sum_{i \neq j} e_i e_j Z_i^\top Z_j = \sum_i e_i Z_i^\top (\sum_{j \neq i} e_j Z_j) \)，然后利用鞅差结构。这避免了直接处理 U-统计量的投影。

技术技巧点名： - U-统计量理论：JAR 的分子是二阶 U-统计量，其渐近正态性依赖于 Hoeffding 分解和鞅差 CLT。 - Jackknife：JAR 和 RJAR 都使用 jackknife（去掉 i=j 的项）来避免 ZᵀZ 的求逆。 - 极值理论：M²ₙ 的渐近 Gumbel 分布依赖于 Gaussian 极值理论（Leadbetter et al. 1983），需要假设 3.4 来控制相关性。 - Fisher 组合方法：利用渐近独立性，将两个 p 值组合成 χ²₄ 统计量。 - 迹条件：假设 3.2 是 Chen and Qin (2010) 的标准技巧，用于控制高维 U-统计量的方差。

真实例子与应用

数据：Card (2009) 的移民工资弹性数据，来自 Goldsmith-Pinkham et al. (2020) 的复现材料。包含 124 个美国城市，两个技能组（高中组和大学组）。

场景：估计移民与本地人之间的替代弹性。模型为 \( y_{is} = \beta_s X_{is} + \Gamma_s^\top W_i + \varepsilon_{is} \)，其中 y 是移民与本地人残差对数工资之差，X 是移民与本地人工作小时数之比的对数，W 是 9 个控制变量。

工具变量： - Z₃₈：38 个移民来源国（Card 2009 的原始设定）。 - Z₃₄₂：38 个来源国与 9 个控制变量的交互项（共 342 个 IVs，K > n）。

方法应用：对每个候选 β₀ 值（共 100 个），计算五个检验（RJAR、BCCH、BCCH Asy、JAR、Fisher）的 p 值，取不拒绝 H₀ 的 β₀ 集合作为 95% 置信区间。

结果（表 2-3）： - 在 Z₃₈ 下，JAR 和 Fisher 给出最短的置信区间（高中组长度 0.0364，大学组 0.0525-0.0566），而 BCCH 和 RJAR 的区间更长（0.0687-0.1455）。 - 在 Z₃₄₂ 下，JAR 和 Fisher 仍然最短（高中组 0.0364，大学组 0.0566-0.0646），BCCH 最长（0.0888-0.1455）。

这个例子想说明什么：验证了模拟中的发现——JAR 和 Fisher 在真实数据中也能给出更精确的推断（更短的置信区间），尤其是在 K > n 的高维设定下。同时，BCCH 的保守性导致区间过长，RJAR 在稀疏设定（大学组）下表现不佳。

🔎 结论是否比证明窄

  • 定理 3.1 的证明要求 K → ∞，但作者在结论中声称“适用于 K > n”。实际上，当 K 固定时，JAR 的渐近正态性可能不成立（因为 U-统计量的 CLT 需要 K 发散来保证方差占主导）。作者在结论中承认了这一点（“我们的 JAR 理论结果要求 K → ∞”），但正文中仍将其作为“高维”方法推广。
  • 定理 3.3 的 Gumbel 分布依赖于假设 3.4，该假设要求“高度相关的变量个数是 o(K)”。如果工具变量之间存在强相关（如基因组数据中的 LD 结构），这个假设可能不成立，此时 Gumbel 近似可能失效。作者没有讨论这种情形。
  • Fisher 组合检验的渐近独立性（定理 3.5）只在 H₀ 下成立。在 H₁ 下，JAR 和 M²ₙ 可能相关，但作者没有分析这种相关性对 Fisher 检验尺寸的影响（虽然推论 3.2 声称功效趋于 1，但未给出有限样本下的尺寸性质）。

四、开放问题

  1. 依赖观测的扩展：作者假设观测独立，但许多 IV 应用（如宏观时间序列）存在序列相关。作者提到 Dovì (2025) 最近的工作，但未给出具体扩展。扎根点：结论部分“It would be very helpful to develop procedures for dependent observations.”

  2. 维度无关的 bootstrap 方法：作者提到 Lim et al. (2024) 的 bootstrap AR 检验，但未在模拟中比较。一个开放问题是：能否将本文的无调参 JAR 与 bootstrap 结合，得到对 K 固定或发散都有效的检验？扎根点：结论部分“Recently Lim et al. (2024) developed a dimension-agnostic bootstrap Anderson-Rubin test procedure. It would be interesting to investigate these important issues.”

  3. 更一般的异方差结构：假设 3.1(ii) 只要求 \( \mathbb{E}(\varepsilon^2 | Z) < \infty \)，但未考虑条件异方差的具体形式（如 ARCH/GARCH）。能否在更复杂的异方差下保持 JAR 的渐近性质？扎根点：假设 3.1(ii) 的陈述“E(ε²|Z) < ∞”非常弱，但模拟中只考虑了乘性异方差（a₀ ≠ 0），未考虑更复杂的结构。

  4. 第一阶段稀疏性的自适应：Fisher 组合检验对稀疏/密集都稳健，但它的功效是否最优？能否构造一个自适应检验，在稀疏时接近 M²ₙ、在密集时接近 JAR，且不需要组合？扎根点：引言中关于“稀疏 vs 密集”的讨论，以及 Fisher 组合的 Bahadur 效率（Littell and Folks 1971, 1973）——但 Bahadur 效率是渐近的，有限样本下可能不成立。

Maintained by 陈星宇 · Homepage · Source on GitHub

评论