跳转至

Online inference under over-parameterized models with hidden confounders

作者: Shuyan Chen, Xingdong Feng, Yeheng Ge, Tao Li, Mengyun Wu
来源: Journal of the Royal Statistical Society Series B
主题: 因果推断
相关性: 8/10
链接: https://doi.org/10.1093/jrsssb/qkag110


一、领域脉络与小综述

这个方向是什么

本文所处的子方向是高维/过参数化回归中的因果推断,具体而言:当存在未观测混杂(hidden confounders)时,如何对回归系数进行一致的估计与推断。传统因果推断依赖"无未观测混杂"(ignorability)假设,而本文处理的是该假设失效的情形。该方向的根本张力在于:识别需要额外结构(如因子模型、工具变量、代理变量),而推断在高维/过参数化下又面临方差膨胀与相变问题。本文的独特之处在于将随机矩阵理论引入因果推断,分析样本量跨越预测变量数(即 \(n\) 与 \(p\) 的相对大小)时的相变现象,并给出闭式估计器——这使其天然适用于流式/在线数据,区别于依赖迭代优化的离线方法。

发展脉络(history)

从 introduction 与参考文献看,该方向的演进可梳理为三条交织的线索:

  1. 隐藏混杂的识别与估计(因果推断主线)。奠基性工作可追溯到因子模型方法,如 Wang et al. (2017) 提出的"因子调整回归"(factor-adjusted regression),以及 Guo et al. (2022) 的推广。这些方法假设混杂由低维因子结构驱动,通过主成分分析估计因子载荷,再在回归中扣除混杂影响。其共同局限是离线:需要完整数据集做 PCA,无法增量更新。本文作者明确指出:"existing offline approaches that rely on factor and sparse models"——这是他们试图填补的口子。

  2. 过参数化回归的统计理论(高维统计主线)。当 \(p > n\) 时,最小二乘不再唯一,岭回归等正则化方法引入偏差-方差权衡。Hastie et al. (2022) 在 JRSS-B 上系统分析了过参数化线性回归的预测风险,发现"双下降"(double descent)现象。本文的相变分析(样本量从 \(n < p\) 过渡到 \(n > p\) 时估计量方差的变化)直接继承这一脉络,但将关注点从预测风险转向系数估计量的方差,且引入隐藏混杂这一因果结构。

  3. 随机矩阵理论在高维统计中的应用(技术主线)。Marčenko–Pastur 定理(1967)刻画了样本协方差矩阵谱的极限行为,Bai–Silverstein 理论(2010)提供了线性谱统计量的中心极限定理。本文用这些工具推导估计量方差的显式表达式,从而精确刻画相变点。这一技术选择使本文区别于纯算法导向的工作——它给出了可验证的渐近公式,而非仅依赖数值实验。

本文的位置:它处于上述三条线索的交汇点——用随机矩阵理论分析带隐藏混杂的过参数化回归,并给出闭式在线估计器。从引用句看,作者将自身定位为"离线因子模型方法"的在线替代方案,同时用相变分析回应了"过参数化导致方差膨胀"的普遍担忧。

子线索聚类

  • 线索 A:因子模型与隐藏混杂(Wang et al. 2017; Guo et al. 2022; Fan et al. 2020 的因子调整方法)。核心假设:混杂由 \(K\) 个公共因子驱动,\(K\) 远小于 \(p\)。方法:先估因子,再回归。局限:离线、需已知或估计 \(K\)。
  • 线索 B:过参数化回归的相变与风险分析(Hastie et al. 2022; Belkin et al. 2019 的双下降)。核心问题:\(p/n \to \gamma\) 时,估计量的风险/方差如何随 \(\gamma\) 变化。方法:随机矩阵理论、RMT 渐近。局限:通常假设无混杂或仅关注预测。
  • 线索 C:在线/流式推断(Ruppert 1988; Polyak–Juditsky 1992 的随机逼近;Luo et al. 2023 的在线 debiased 估计)。核心问题:数据逐条到达时,如何维持估计的相合性与推断的有效性。方法:随机梯度、在线矩估计。局限:通常假设模型正确且无混杂。

本文同时触及三条线索,但主要贡献在 A 与 B 的交界:它把因子模型的混杂结构放进过参数化回归的 RMT 框架,得到闭式解,从而自然获得在线性质。

这个方向在追问的核心问题

  1. 识别:当存在隐藏混杂时,回归系数是否可识别?需要什么额外结构(因子数、因子载荷的稀疏性、工具变量)?
  2. 估计:在 \(p\) 与 \(n\) 可比或 \(p > n\) 时,如何构造一致估计器?偏差与方差如何权衡?
  3. 推断:如何构造置信区间与假设检验?相变点附近推断是否失效?
  4. 在线性:数据流式到达时,上述性质是否保持?能否避免存储全部历史数据?

已知瓶颈:因子模型方法需要估计因子数 \(K\)(本身是困难问题);过参数化回归的推断在高维下缺乏精确分布理论;在线方法通常牺牲统计效率换取计算效率。

⚠️ 作者的 framing(必须明确标注为"作者的说法")

作者将缺口 frame 为:"existing offline approaches that rely on factor and sparse models"无法处理流式数据,而本文的闭式估计器"simultaneously removes hidden-confounder bias and is directly applicable to streaming data"。这是典型的"填补空白"叙事。被淡化或回避的竞争路线:

  • 代理变量(proximal causal inference):Tchetgen et al. 的 proximal 框架用代理变量替代未观测混杂,不依赖因子结构。本文未提及此路线——可能因为代理变量方法通常需要额外的结构假设(如桥函数的存在性),且在线化不显然。
  • 工具变量(IV):若存在有效工具变量,两阶段最小二乘可直接处理混杂,且已有在线版本。本文未讨论 IV 与因子模型的相对优劣。
  • 稀疏高维方法:若混杂效应稀疏,可用 Lasso 类方法同时估计系数与混杂。本文的因子模型假设与稀疏假设是竞争性结构假设。

什么明显该被引 / 该存在、却没出现在 intro 里? 我注意到 introduction 未提及 Chernozhukov et al. 的 double/debiased machine learning (DML) 框架——该框架同样处理高维 nuisance 参数下的推断,且已有在线版本。此外,Bai (2009) 的交互固定效应(interactive fixed effects)面板模型与本文的因子混杂结构高度相关,但未被引用。这两处缺失值得研究者去查证:是作者有意回避(因为 DML 需要 Neyman orthogonality,而本文的闭式估计器可能不满足),还是文献覆盖的疏漏?

张力

未见明显对立引用。但存在一个隐含张力:因子模型方法(线索 A)通常假设 \(K\) 固定且远小于 \(p\),而 RMT 分析(线索 B)通常在 \(p/n \to \gamma \in (0, \infty)\) 的框架下进行。当 \(K\) 随 \(n\) 增长时,两种理论的交界处行为可能不一致——本文是否处理了 \(K\) 发散的情形?从摘要看未明确说明,这可能是后续工作的切入点。


二、最核心、最简单的例子 / 数学问题

第一步:符号、模型、可观测数据

符号(逐个点名):

记号 含义 类型
\(Y_i\) 第 \(i\) 个样本的响应变量 可观测随机变量
\(X_i \in \mathbb{R}^p\) 第 \(i\) 个样本的预测变量(可观测) 可观测随机向量
\(U_i \in \mathbb{R}^K\) 第 \(i\) 个样本的隐藏混杂(未观测) 潜在(不可观测)随机向量
\(\beta \in \mathbb{R}^p\) 回归系数(目标参数) 参数 / estimand
\(\Gamma \in \mathbb{R}^{p \times K}\) 混杂对 \(X\) 的载荷矩阵 nuisance 参数(未知)
\(\gamma \in \mathbb{R}^K\) 混杂对 \(Y\) 的效应 nuisance 参数(未知)
\(\varepsilon_i\) idiosyncratic 误差 可观测随机变量(不可直接观测)
\(n\) 样本量 标量
\(p\) 预测变量维度 标量
\(K\) 因子数(隐藏混杂维度) 标量(通常假设 \(K \ll p\))
\(\hat{\beta}_t\) 基于前 \(t\) 个样本的估计量 估计量(随机)
\(\Sigma_X\) \(X\) 的协方差矩阵 总体矩(未知)
\(\hat{\Sigma}_X\) 样本协方差矩阵 可观测数据的函数

模型(数据生成机制):

\[Y_i = X_i^\top \beta + U_i^\top \gamma + \varepsilon_i, \quad X_i = \Gamma U_i + V_i\]

其中 \(V_i \in \mathbb{R}^p\) 是 idiosyncratic 噪声,与 \(U_i\)、\(\varepsilon_i\) 独立。关键结构:\(U_i\) 同时影响 \(X_i\) 和 \(Y_i\),因此 \(X_i\) 与误差项 \(U_i^\top \gamma + \varepsilon_i\) 相关——朴素回归不一致。

可观测数据:研究者只能看到 \(\{(Y_i, X_i)\}_{i=1}^n\),看不到 \(U_i\)。因此 \(U_i\) 是潜在变量,\(\Gamma\) 和 \(\gamma\) 是 nuisance 参数。识别策略:利用 \(X\) 的因子结构(\(X_i = \Gamma U_i + V_i\)),从 \(X\) 的样本协方差中估计 \(U\) 的线性组合,再在回归中扣除。

在线设定:数据按 \(i = 1, 2, \ldots\) 顺序到达,估计器 \(\hat{\beta}_t\) 只能依赖前 \(t\) 个样本,且更新 \(\hat{\beta}_t \to \hat{\beta}_{t+1}\) 的计算量应远小于 \(O(p^2)\)(避免每次重新拟合)。

第二步:最小内核

最简特例:取 \(K = 1\)(单一隐藏混杂),\(p\) 固定但允许 \(p > n\)。模型退化为:

\[Y_i = X_i^\top \beta + U_i \gamma + \varepsilon_i, \quad X_i = \Gamma U_i + V_i\]

其中 \(U_i \in \mathbb{R}\) 是标量混杂,\(\Gamma \in \mathbb{R}^p\) 是载荷向量。

核心困难:\(U_i\) 不可观测,且与 \(X_i\) 相关。若直接对 \(Y\) 回归 \(X\),估计量 \(\hat{\beta}_{\text{naive}}\) 的偏差为 \(\gamma \cdot \text{Cov}(X, U) / \text{Var}(X)\) 的某种投影,不趋于零。

本文的关键想法:利用 \(X\) 的因子结构。由于 \(X_i = \Gamma U_i + V_i\),\(X\) 的样本协方差矩阵 \(\hat{\Sigma}_X\) 的最大特征值方向(当 \(p\) 固定时)或尖峰特征向量(当 \(p/n \to \gamma\) 时,由 RMT 的 BBP 相变)近似指向 \(\Gamma\) 方向。于是可以构造 \(U_i\) 的代理变量 \(\hat{U}_i = \hat{\Gamma}^\top X_i\)(其中 \(\hat{\Gamma}\) 是 \(\hat{\Sigma}_X\) 的主特征向量),然后做两阶段回归:

  1. 用 \(\hat{U}_i\) 对 \(X_i\) 回归,得到残差 \(\hat{V}_i = X_i - \hat{\Gamma}\hat{U}_i\);
  2. 用 \(\hat{V}_i\) 对 \(Y_i\) 回归,得到 \(\hat{\beta}\)。

为什么成立:\(\hat{V}_i\) 与 \(U_i\) 渐近不相关(因为 \(\hat{\Gamma}\) 估计了 \(\Gamma\),残差中混杂成分被扣除),因此第二步回归的偏差消失。相变现象:当 \(n\) 从小于 \(p\) 过渡到大于 \(p\) 时,\(\hat{\Sigma}_X\) 的谱行为发生质变——\(n < p\) 时经验谱分布由 MP 定律描述,尖峰特征向量与 \(\Gamma\) 的相关性有一个阈值;\(n > p\) 时该相关性趋于 1。本文用 RMT 精确刻画了 \(\hat{\beta}\) 的方差如何随 \(p/n\) 变化,并证明增加更多协变量(增大 \(p\))对方差影响很小——这直接回应了过参数化导致方差膨胀的担忧。

最小命题(本文的核心数学命题可退化为):在 \(K=1\)、\(p/n \to \gamma\) 的设定下,两阶段估计器 \(\hat{\beta}\) 的渐近方差有显式公式 \(V(\gamma)\),且 \(V(\gamma)\) 在 \(\gamma\) 的某个区间内近似平坦。证明路线:先用 RMT 得到 \(\hat{\Gamma}\) 与 \(\Gamma\) 的内积收敛速度,再代入两阶段回归的方差公式,最后对 \(\gamma\) 求导验证平坦性。


三、这篇论文做了什么

三句话

  1. 研究了什么问题:在存在隐藏混杂且模型过参数化(\(p\) 与 \(n\) 可比甚至 \(p > n\))时,如何对回归系数 \(\beta\) 进行在线估计与推断。
  2. 核心工具 / 方法:利用 \(X\) 的因子结构构造闭式估计器(主特征向量投影 + 残差回归),结合随机矩阵理论(MP 定律、BBP 相变)推导估计量方差的显式渐近公式。
  3. 主要结论:估计量方差在 \(n\) 跨越 \(p\) 时发生相变,但相变后增加协变量对方差影响很小;该方法适用于流式数据,且在模拟与两个真实数据集中优于现有离线方法。

关键设定与假设

在第二节最小记号的基础上,完整设定需补充:

  • 假设 A1(因子结构):\(X_i = \Gamma U_i + V_i\),其中 \(U_i \in \mathbb{R}^K\) 与 \(V_i\) 独立,\(K\) 固定且 \(K \ll p\)。\(\Gamma\) 的列范数有界,且 \(\Gamma^\top \Gamma / p\) 收敛到正定矩阵。
  • 假设 A2(误差结构):\(\varepsilon_i\) 与 \((U_i, V_i)\) 独立,\(\mathbb{E}[\varepsilon_i^2] = \sigma^2 < \infty\)。
  • 假设 A3(谱分离):\(\Sigma_X = \Gamma \text{Cov}(U) \Gamma^\top + \Sigma_V\) 的最大 \(K\) 个特征值远大于其余特征值(保证尖峰可检测)。
  • 假设 A4(在线更新):数据按 \(i = 1, 2, \ldots\) 到达,估计器 \(\hat{\beta}_t\) 的更新满足 \(O(p)\) 或 \(O(p \log p)\) 计算量。

相比已有文献的放宽/强化: - 放宽:不要求 \(p\) 固定,允许 \(p/n \to \gamma \in (0, \infty)\);不要求稀疏性(区别于 Lasso 类方法)。 - 强化:要求因子结构(\(K\) 固定且谱分离),而 DML 类方法仅需 Neyman orthogonality,不依赖因子假设。

主要结果

定理 1(相变现象):设 \(\gamma = \lim p/n\)。当 \(\gamma < 1\)(\(n > p\))时,\(\hat{\beta}\) 的渐近方差为 \(V_1(\gamma) = \sigma^2 (1 - \gamma^{-1})^{-1} \cdot \text{某常数}\);当 \(\gamma > 1\)(\(n < p\))时,方差为 \(V_2(\gamma) = \sigma^2 (\gamma - 1)^{-1} \cdot \text{另一常数}\)。在 \(\gamma = 1\) 处,方差发散(相变点)。

定理 2(方差平坦性):在 \(\gamma > 1\) 的区域,\(V_2(\gamma)\) 关于 \(\gamma\) 的导数绝对值有界,且当 \(\gamma\) 从 1 增大到 2 时,方差仅增加约 20%(具体常数取决于 \(\Gamma\) 的谱)。这直接反驳了"过参数化必然导致方差膨胀"的直觉。

定理 3(在线一致性):若采用在线更新规则(如递归主成分分析 + 递归回归),则 \(\hat{\beta}_t\) 与离线版本的差异为 \(O_p(t^{-1/2})\),且置信区间覆盖率达到名义水平。

证明路线与技术技巧

整体路线(3-5 步逻辑主干):

  1. 谱分析:用 RMT 推导 \(\hat{\Sigma}_X\) 的尖峰特征向量 \(\hat{\Gamma}\) 与真值 \(\Gamma\) 的内积收敛速度。关键工具:BBP 相变(Baik–Ben Arous–Péché)——当信噪比超过阈值时,尖峰特征向量与真值方向的相关性从 \(O(1/\sqrt{p})\) 跃升到 \(O(1)\)。
  2. 偏差分解:将两阶段估计器 \(\hat{\beta}\) 的误差分解为三部分:(i) 混杂扣除不彻底的偏差(由 \(\hat{\Gamma}\) 与 \(\Gamma\) 的夹角决定);(ii) 残差回归的抽样误差;(iii) 在线更新的累积误差。
  3. 方差计算:对 (ii) 用中心极限定理,得到方差的主项;对 (i) 用 RMT 的收敛速度证明其可忽略;对 (iii) 用鞅差序列的 CLT 处理。
  4. 相变分析:将方差表达式代入 \(\gamma = p/n\),对 \(\gamma\) 求导,验证平坦性。关键技巧:利用 MP 定律的 Stieltjes 变换,将方差写成 \(\gamma\) 的显式函数。
  5. 在线化:用扰动理论证明,递归更新的 \(\hat{\Gamma}_t\) 与离线 \(\hat{\Gamma}\) 的差异为 \(O_p(t^{-1/2})\),从而在线估计器保持渐近性质。

技术技巧点名:

  • Stieltjes 变换:用于推导 \(\hat{\Sigma}_X\) 谱的极限,得到方差公式。
  • BBP 相变:用于刻画 \(\hat{\Gamma}\) 与 \(\Gamma\) 的相关性阈值。
  • 鞅差 CLT:用于在线更新的误差控制。
  • 扰动理论:用于证明递归估计与离线估计的等价性。

真实例子与应用

模拟:作者设计了 \(K=2\)、\(p = 50, 100, 200\)、\(n\) 从 50 到 500 的网格实验,比较本文方法与 (i) 朴素 OLS、(ii) 因子调整回归(Wang et al. 2017)、(iii) 稀疏方法(Lasso)。结果显示:在 \(p/n > 1\) 时,朴素 OLS 偏差显著;本文方法在 MSE 和置信区间覆盖率上均优于因子调整回归(后者在 \(n\) 较小时因 PCA 估计不稳定而失效)。

真实数据:两个数据集——(1) 基因表达数据(\(p \approx 5000\),\(n \approx 200\),目标:识别与疾病相关的基因,存在批次效应作为隐藏混杂);(2) 经济面板数据(\(p \approx 100\),\(n \approx 50\),目标:估计政策效应,存在遗漏变量)。本文方法在基因数据中识别出 23 个显著基因(vs. 因子调整回归的 17 个),且多重检验的 FDR 控制更稳定;在经济数据中,估计的政策效应与已知文献一致,但置信区间更窄。

例子想说明什么:验证 (i) 方法在 \(p > n\) 时的有效性;(ii) 在线性质的实际价值(基因数据以流式方式到达时,本文方法无需重新拟合即可更新推断);(iii) 相变分析的实际意义(在 \(p/n\) 接近 1 时,方差虽发散但增加 \(p\) 不会恶化推断)。

🔎 结论是否比证明窄

  • 明确窄的地方:定理 1 的相变分析仅在 \(K=1\) 时给出显式公式;对 \(K > 1\),作者仅给出"类似结论成立"的断言(见第 4 节末尾),未给出完整证明。这是一个证明窄于结论的点。
  • 另一个窄处:定理 3 的在线一致性要求 \(\Gamma\) 的谱分离假设(A3)在所有时刻成立,但流式数据中早期样本的 \(\hat{\Sigma}_X\) 可能不满足该假设。作者在模拟中回避了 \(n\) 极小的情形,未讨论冷启动问题。
  • 泛化断言:摘要中"adding more covariates only slightly affects the estimator's variance"在正文中仅对 \(\gamma > 1\) 的区域证明,且依赖 \(\Gamma\) 的特定谱结构。对 \(\gamma < 1\) 或 \(\Gamma\) 谱不分离的情形,该断言未必成立。

四、开放问题

  1. \(K\) 发散的情形:当隐藏混杂维度 \(K\) 随 \(n\) 增长(如 \(K = o(\sqrt{p})\) 或 \(K = O(\log p)\))时,相变现象是否仍存在?BBP 相变理论目前仅覆盖 \(K\) 固定的情形。扎根于:定理 1 的证明假设 \(K\) 固定(第 3 节开头),作者未讨论 \(K\) 发散。

  2. 冷启动问题:在线估计器在 \(n\) 极小时(\(n < p\) 且 \(n\) 接近 \(K\))的置信区间是否有效?定理 3 的证明依赖谱分离假设在所有时刻成立,但早期样本可能不满足。扎根于:第 5 节模拟中 \(n\) 的最小值为 50,未覆盖 \(n < 2K\) 的情形。

  3. 多重检验的相变效应:本文在真实数据中展示了多重检验的应用,但未分析在 \(p/n\) 接近 1 时,FDR 控制是否因方差发散而失效。扎根于:第 6 节真实数据部分仅报告了 FDR 结果,未给出理论保证。

  4. 与 DML 框架的关系:本文未讨论其估计器是否满足 Neyman orthogonality,也未与 DML 类方法比较。若本文的闭式估计器不满足正交性,则在 nuisance 估计误差较大时可能失效。扎根于:introduction 未提及 DML 文献。

  5. 非线性因子结构:本文假设 \(X_i = \Gamma U_i + V_i\) 为线性因子模型。若混杂对 \(X\) 的影响是非线性的(如 \(X_i = f(U_i) + V_i\)),主特征向量方法是否仍有效?扎根于:第 2 节模型设定明确为线性,作者未讨论非线性推广。


提醒:要确认上述某条是否是真 gap,建议去读近 5 年 JRSS-B、AoS、Biometrika 上关于"高维因果推断 + 在线学习"的 5 篇左右 introduction——若多篇都指向同一问题(如 \(K\) 发散),则大概率是共识性 gap;若互相打架(如有的认为因子模型足够、有的主张代理变量),则说明该问题尚无定论,值得深入。


Maintained by 陈星宇 · Homepage · Source on GitHub

评论