跳转至

Efficient inference on high-dimensional linear models with missing outcomes

作者: Yikun Zhang, Alexander Giessing, Yen-Chi Chen
来源: Electronic Journal of Statistics
主题: 效率理论 / Debiased ML
相关性: 8/10
机构绿灯: University of Washington(US News 前 50,免分进入精读)
链接: 期刊页 · arXiv


一、领域脉络与小综述

这个方向是什么

本文研究的核心问题是:在高维线性回归模型(维度 d 远大于样本量 n)中,当响应变量存在随机缺失(Missing At Random, MAR)时,如何对回归函数 m₀(x) = E(Y|X=x) 进行逐点估计并构造置信区间。这是一个典型的"高维统计 × 缺失数据 × 半参数推断"交叉领域问题。其根本挑战在于:高维正则化估计(如 Lasso)虽然能给出相合的估计,但其收敛速度慢且存在不可忽略的偏差,无法直接用于构造有效的置信区间;而缺失数据机制又进一步增加了问题的复杂性。该方向当前的主流方法是"去偏 Lasso"(debiased Lasso),其核心思想是通过构造一个对初始估计的偏差修正项,使得修正后的估计量渐近正态且达到半参数有效界。

发展脉络

  1. 奠基工作:高维线性模型的去偏推断。Zhang and Zhang (2014) 与 van de Geer et al. (2014) 几乎同时提出了去偏 Lasso 方法,通过节点回归(nodal regression)估计精度矩阵的逆,构造出渐近正态的估计量。Javanmard and Montanari (2014a,b) 则从协方差矩阵已知/未知的角度发展了另一条技术路线。这些工作确立了"正则化估计 + 偏差修正"的基本范式,并证明了在稀疏性假设 s = o(√n/log d) 下可以达到渐近正态性。

  2. 主要进展:从系数推断到函数推断。Cai and Guo (2017) 将去偏思想从单个系数推广到回归函数 m₀(x) = xᵀβ₀ 的推断,并建立了置信区间的 minimax 最优性。Zhang and Cheng (2017) 发展了基于乘子自助法的同时推断过程。这些工作表明,对函数值的推断比对系数向量的推断在技术上更复杂,因为需要控制函数类上的均匀偏差。

  3. 关键转折:缺失数据与高维的结合。在缺失数据领域,传统的半参数理论(如 Robins et al., 1994; Tsiatis, 2007)已经建立了在固定维度下处理 MAR 的完整框架,包括逆概率加权(IPW)和增强逆概率加权(AIPW)等工具。然而,将这些工具推广到高维场景面临根本性困难:倾向得分本身需要高维估计,其估计误差会通过偏差修正项传播到最终估计量中。Chakrabortty et al. (2019) 首次系统研究了这一问题,提出了去偏双重稳健(DDR)估计框架,但他们的方法需要估计一个 d×d 维的去偏矩阵,计算成本高昂。

  4. 当前前沿:计算效率与统计效率的统一。本文的定位正是在这一脉络的末端:作者指出,DDR 方法虽然理论上优雅,但计算上需要求解 d 个独立的凸优化问题(每个对应一个节点回归),当 d 很大时计算负担过重。本文提出的方法通过将去偏矩阵的估计转化为一个 n 维凸优化问题(而非 d 维),显著降低了计算复杂度,同时保持了统计效率。

子线索聚类

  • 线索一:去偏 Lasso 及其变体(Zhang and Zhang 2014; van de Geer et al. 2014; Javanmard and Montanari 2014a,b; Bühlmann 2013; Ning and Liu 2017; Zhu and Bradic 2018; Cai et al. 2023)。这一线索的核心技术问题是:如何构造一个"好的"去偏方向,使得偏差修正项既能够消除正则化偏差,又不会引入过大的方差。代表方法包括节点回归、协方差矩阵估计、以及本文提出的凸优化方法。

  • 线索二:缺失数据下的半参数推断(Robins et al., 1994; Robins and Rotnitzky, 1995; Tsiatis, 2007; Graham, 2011; Müller and Keilegom, 2012)。这一线索关注的是在 MAR 假设下如何利用倾向得分构造无偏或渐近无偏的估计量,并达到半参数效率界。经典工具包括 IPW、AIPW 和双重稳健估计。

  • 线索三:高维缺失数据推断(Chakrabortty et al. 2019; Tian et al. 2024; Song et al. 2024; Hou et al. 2023)。这一线索是前两条的交叉,也是本文的直接竞争对手所在。其核心挑战是:在高维场景下,倾向得分的估计误差如何影响最终推断的精度,以及如何设计计算上可行的算法。

  • 线索四:高维推断的计算-统计权衡(Wright 2015; Agrawal et al. 2017; Zhang et al. 2023)。这一线索关注算法的可实现性,包括坐标下降法、凸优化求解器等。本文的贡献之一在于将去偏矩阵的估计转化为一个可高效求解的凸优化问题。

这个方向在追问的核心问题

  1. 偏差修正的最优方向:给定一个初始估计 β̂,如何选择去偏方向 w ∈ R^d,使得修正后的估计量 β̂ + (1/√n)ΣᵢwᵢRᵢ(Yᵢ - Xᵢᵀβ̂) 具有最小的渐近方差,同时保持渐近无偏性?本文的回答是:通过求解一个凸优化问题,在约束 ||x - (1/√n)Σᵢwᵢπ̂ᵢXᵢ||∞ ≤ γ/n 下最小化 Σᵢπ̂ᵢwᵢ²,这等价于在偏差-方差之间做最优权衡。

  2. 倾向得分估计误差的传播:当倾向得分 π(X) 需要从数据中估计时,其估计误差如何影响最终估计量的渐近分布?本文的核心理论贡献之一是证明了只要倾向得分在样本点处逐点一致估计(即 max₁≤ᵢ≤ₙ|π̂ᵢ - πᵢ| = oₚ(1)),估计误差就不会影响最终估计量的一阶渐近性质,无需样本分割或交叉拟合。

  3. 半参数效率界的可达性:在给定维度 d 下,所有渐近线性估计量中,最小可能的渐近方差是多少?本文证明了其提出的估计量达到半参数效率界 σ²·xᵀ[E(RXXᵀ)]⁻¹x,且该界与维度 d 无关(在固定 d 的意义下)。

⚠️ 作者的 framing

作者将本文的贡献定位为"计算效率与统计效率的统一":他们声称已有的 DDR 方法(Chakrabortty et al., 2019)虽然理论上达到了半参数效率界,但计算上需要求解 d 个独立的凸优化问题,而本文的方法只需求解一个 n 维凸优化问题,且通过对偶形式可以进一步简化为 d 维问题。作者还强调,他们的方法在倾向得分估计方面比 DDR 更灵活——DDR 要求倾向得分满足特定的参数形式,而本文的方法允许任意一致的估计器(包括随机森林、神经网络等非参数方法)。此外,作者特别指出他们的方法不需要样本分割或交叉拟合,这与许多去偏方法(如 Chernozhukov et al., 2018 的双重机器学习框架)形成对比。

值得注意的淡化:作者在引言中淡化了与 Cai and Guo (2017) 的关系。Cai and Guo 已经研究了高维线性模型下回归函数的置信区间,并建立了 minimax 最优性。本文的贡献更多在于缺失数据场景下的推广,而非对完整数据场景的根本性改进。此外,作者对"计算效率"的论证主要基于算法复杂度分析(O(d·n) vs O(d²·n)),但并未提供详细的运行时间对比实验。

张力

  • 与 Chakrabortty et al. (2019) 的张力:作者声称他们的方法在计算上更高效,但 Chakrabortty et al. 的 DDR 方法在理论上更一般(适用于广义回归模型),且其双重稳健性质在模型误设定下可能更稳健。本文的方法本质上依赖于线性回归模型的特殊结构(去偏方向可以通过凸优化直接求解),推广到非线性模型可能并不直接。

  • 与 Cai and Guo (2017) 的张力:Cai and Guo 在完整数据下已经建立了回归函数推断的 minimax 理论。本文在缺失数据下的效率界是否真的"更优",还是仅仅是已有结果的推广?作者没有明确讨论这一点。

  • 未见明显对立引用:在作者引用的文献中,没有发现直接相互矛盾或在不同条件下得出相反结论的工作。这反映了该领域目前仍处于"增量式发展"阶段,而非"范式竞争"阶段。

二、最核心、最简单的例子 / 数学问题

第一步:符号、模型、可观测数据

符号约定(按本文第 1 节和第 2 节的定义):

  • 参数 / 估计目标:
  • β₀ ∈ ℝᵈ:真实回归系数向量,满足稀疏性 ||β₀||₀ = s_β ≪ d
  • m₀(x) = xᵀβ₀:在查询点 x 处的回归函数值,是本文的估计目标
  • σ²_ε:噪声方差,即 Var(ε|X)
  • π(X) = P(R=1|X):倾向得分(propensity score),即观测概率

  • 随机变量 / 样本:

  • (Yᵢ, Rᵢ, Xᵢ) ∈ ℝ × {0,1} × ℝᵈ,i = 1, ..., n:独立同分布样本
  • Y ∈ ℝ:响应变量(可能缺失)
  • R ∈ {0,1}:缺失指示变量,R=1 表示 Y 被观测到
  • X ∈ ℝᵈ:高维协变量向量(完全观测)
  • ε ∈ ℝ:噪声项,满足 E(ε|X) = 0, E(ε²|X) = σ²_ε

  • 可观测数据:

  • 完整观测到的是 {(Xᵢ, Rᵢ, RᵢYᵢ)}:即协变量 X 总是可观测的,但响应 Y 仅在 R=1 时可见
  • 样本量为 n,维度为 d,且 d 可能远大于 n(高维场景)
  • 倾向得分 π(X) 需要从数据 {(Xᵢ, Rᵢ)} 中估计

  • 关键假设:

  • MAR 假设(Assumption 1(b)):R ⊥ Y | X,即给定协变量 X 后,缺失机制与响应值无关。这意味着缺失是完全由可观测的协变量决定的,不存在不可观测的混杂因素影响缺失。
  • 稀疏线性模型(Assumption 1(a)):Y = Xᵀβ₀ + ε,且 β₀ 是稀疏的(只有 s_β 个非零分量)。
  • 子高斯条件(Assumptions 2-3):协变量 X 和噪声 ε 均满足子高斯分布假设,以保证集中不等式成立。
  • 可估计性条件(Assumption 4):完整数据 Gram 矩阵 E(RXXᵀ) 的最小特征值有正下界 κ_R² > 0,确保回归参数可识别。
  • 倾向得分可估性(Assumption 5):存在 r_π = r_π(n, δ) → 0 使得 P(max₁≤ᵢ≤ₙ|π̂ᵢ - πᵢ| > r_π) < δ。这是本文理论的核心假设——它允许倾向得分估计误差以任意速率收敛到零,只要是一致估计即可。

第二步:最小内核

问题:我们观测到 n 个独立同分布样本 {(Xᵢ, Rᵢ, RᵢYᵢ)},其中 Y 服从稀疏线性模型 Y = Xᵀβ₀ + ε,且缺失机制满足 MAR。我们想要估计 m₀(x) = xᵀβ₀ 并构造置信区间。

最小内核(最简情形):考虑 d = 1 的情形(即只有一个协变量),此时问题退化为:

  • 模型:Y = β₀X + ε
  • 观测:{(Xᵢ, Rᵢ, RᵢYᵢ)},其中 P(R=1|X) = π(X)
  • 目标:估计 m₀(x) = β₀x

直觉:如果我们只使用完整数据(R=1 的子样本)做最小二乘回归,得到的估计量是有偏的,因为完整数据的分布与原始分布不同(缺失机制依赖于 X)。一个自然的修正是使用逆概率加权(IPW):给每个完整数据点赋予权重 1/π(Xᵢ),从而"还原"原始分布。但 IPW 估计量的方差很大,因为权重可能很大(当 π(X) 接近 0 时)。

本文的核心思想:不直接使用 IPW,而是构造一个更精细的偏差修正项。具体地:

  1. 第一步(Lasso 初始估计):用完整数据求解 Lasso 问题,得到 β̂。这个估计量是相合的(在稀疏性条件下),但存在 O(s_β log d / n) 的正则化偏差。

  2. 第二步(求解去偏方向):对给定的查询点 x,求解凸优化问题: min_{w∈Rⁿ} Σᵢ π̂ᵢ wᵢ² subject to ||x - (1/√n)Σᵢ wᵢ π̂ᵢ Xᵢ||∞ ≤ γ/n

这个问题的含义是:寻找一组权重 w,使得加权平均的协变量 (1/√n)Σᵢ wᵢ π̂ᵢ Xᵢ 尽可能接近目标 x(在 L∞ 范数意义下),同时最小化加权平方和 Σᵢ π̂ᵢ wᵢ²(这控制了方差)。

  1. 第三步(偏差修正):构造去偏估计量 m̂_debias(x) = xᵀβ̂ + (1/√n) Σᵢ ŵᵢ Rᵢ(Yᵢ - Xᵢᵀβ̂)

其中第二项是偏差修正项,它基于完整数据的残差加权平均。

为什么这个最小内核能工作:

  • 偏差控制:约束条件 ||x - (1/√n)Σᵢ wᵢ π̂ᵢ Xᵢ||∞ ≤ γ/n 保证了修正项能够消除 Lasso 的正则化偏差。直观上,如果加权平均的协变量接近 x,那么修正项 (1/√n)Σᵢ wᵢ Rᵢ(Yᵢ - Xᵢᵀβ̂) 的期望就接近 xᵀ(β₀ - β̂),从而抵消偏差。

  • 方差控制:目标函数 Σᵢ π̂ᵢ wᵢ² 最小化权重平方和,这直接控制了修正项的方差。通过调整 γ 的大小,可以在偏差和方差之间做最优权衡。

  • 半参数有效性:当 γ 选择适当时,修正项的渐近方差恰好等于半参数效率界 σ²_ε·xᵀ[E(RXXᵀ)]⁻¹x。这意味着在所有渐近线性估计量中,该估计量具有最小的渐近方差。

在 d=1 情形下的具体计算:当 d=1 时,约束条件简化为 |x - (1/√n)Σᵢ wᵢ π̂ᵢ Xᵢ| ≤ γ/n。最优解 ŵ 可以通过 KKT 条件显式求解,其形式为 ŵᵢ ∝ π̂ᵢ Xᵢ(在约束边界上)。此时修正项变为 (1/√n)Σᵢ ŵᵢ Rᵢ(Yᵢ - Xᵢᵀβ̂),其渐近方差恰好为 σ²_ε·x²/E(π(X)X²),这正是半参数效率界。

这个最小内核揭示了本文的核心数学贡献:将去偏 Lasso 的偏差修正问题转化为一个凸优化问题,通过优化权重来同时控制偏差和方差,从而在计算效率和统计效率之间达到最优平衡。

三、这篇论文做了什么

三句话

  1. 研究了什么问题:在高维线性回归模型(d ≫ n)中,当响应变量存在随机缺失(MAR)时,如何对回归函数 m₀(x) = xᵀβ₀ 进行逐点估计并构造渐近有效的置信区间。

  2. 核心工具 / 方法:提出了一种基于 Lasso 初始估计与凸优化去偏修正的估计方法。该方法通过求解一个 n 维凸优化问题(对偶形式为 d 维)来构造去偏方向,权重由倾向得分估计决定,并在偏差-方差之间做最优权衡。

  3. 主要结论:在倾向得分可逐点一致估计的条件下,所提出的估计量是渐近正态的,且渐近方差达到半参数效率界 σ²_ε·xᵀ[E(RXXᵀ)]⁻¹x。该结论不要求样本分割或交叉拟合,且对倾向得分的估计方法(参数或非参数)具有鲁棒性。

关键设定与假设

  • 模型设定(Assumption 1):线性模型 Y = Xᵀβ₀ + ε,其中 E(ε|X) = 0, E(ε²|X) = σ²_ε;缺失机制满足 MAR:R ⊥ Y | X,倾向得分 π(X) = P(R=1|X)。

  • 协变量条件(Assumption 2):X 为子高斯随机向量,且其稀疏特征值有界:对任意 s-稀疏向量 u,有 E[(Xᵀu)²] ≤ φ_s ||u||₂²。这保证了高维集中不等式成立。

  • 噪声条件(Assumption 3):ε 为子高斯随机变量,满足 ||ε||_{ψ₂} ≲ σ_ε。

  • 可识别性条件(Assumption 4):完整数据 Gram 矩阵 E(RXXᵀ) 的最小特征值 ≥ κ_R² > 0。注意这里不要求 positivity 条件 π(x) > π_min > 0,而是通过 Gram 矩阵的正定性来保证可识别性——这是一个比传统倾向得分文献更弱的条件。

  • 倾向得分估计条件(Assumption 5):存在 r_π = r_π(n, δ) → 0 使得 P(max₁≤ᵢ≤ₙ|π̂ᵢ - πᵢ| > r_π) < δ。这是本文最核心的假设——它允许倾向得分估计误差以任意速率收敛到零,只要是一致估计即可。与 Chakrabortty et al. (2019) 的对比:DDR 方法要求倾向得分估计满足特定的收敛速率(如 n^{-1/4}),而本文只要求一致性,这是一个显著的放松。

  • 稀疏性条件(Assumption 6):回归系数 β₀ 的支撑集大小为 s_β,且对偶解 ℓ₀ 的支撑集大小为 s_ℓ(x),两者均满足 s = o(√n/log d)。这是高维去偏推断的标准条件。

主要结果

定理 3.2(Lasso 初始估计的一致性):在稀疏性条件和特征值条件下,Lasso 估计 β̂ 满足 ||β̂ - β₀||₂ = O_P(σ_ε √(s_β log d / n) / κ_R²)。 这是标准的高维 Lasso 收敛速率,为后续去偏步骤提供了基础。

定理 3.3(去偏方向的一致性):在倾向得分估计误差 r_π 和稀疏性条件下,凸优化问题的解 ℓ̂(x) 满足 ||ℓ̂(x) - ℓ₀(x)||₂ = O_P(√(s_ℓ(x) log d / n) + r_π), 其中 ℓ₀(x) 是总体最优解。该结果的关键在于:去偏方向的估计误差由两部分组成——统计估计误差(√(s_ℓ log d / n))和倾向得分估计误差(r_π),且后者不主导前者。

定理 3.6(渐近正态性):在定理 3.2 和 3.3 的条件下,去偏估计量满足 √n(m̂_debias(x) - m₀(x)) → N(0, σ²_m(x)), 其中 σ²_m(x) = σ²_ε·xᵀ[E(RXXᵀ)]⁻¹x 是半参数效率界。该定理的证明基于以下分解: √n(m̂_debias(x) - m₀(x)) = (1/√n)Σᵢ ŵᵢ Rᵢ εᵢ + o_P(1), 其中第一项是鞅差序列的和,可通过 Lindeberg-Feller 中心极限定理处理。

命题 3.7(方差估计的一致性):Σᵢ π̂ᵢ ŵᵢ² 是 xᵀ[E(RXXᵀ)]⁻¹x 的一致估计量。这保证了置信区间的构造是可行的。

证明路线与技术技巧

整体路线:证明分为三个层次——Lasso 初始估计的一致性 → 去偏方向的一致性 → 去偏估计量的渐近正态性。核心思路是"偏差-方差分解":

  1. 偏差分解:将估计误差分解为 √n(m̂_debias(x) - m₀(x)) = (1/√n)Σᵢ ŵᵢ Rᵢ εᵢ + [x - (1/√n)Σᵢ ŵᵢ π̂ᵢ Xᵢ]ᵀ√n(β₀ - β̂) + 高阶项

第一项是"随机项",第二项是"偏差项"。约束条件保证了偏差项可以被控制。

  1. 偏差项控制:利用约束 ||x - (1/√n)Σᵢ ŵᵢ π̂ᵢ Xᵢ||∞ ≤ γ/n 和 Lasso 估计的 L₁ 误差界 ||β̂ - β₀||₁ = O_P(s_β √(log d / n)),可以证明偏差项为 o_P(1)。

  2. 随机项处理:随机项 (1/√n)Σᵢ ŵᵢ Rᵢ εᵢ 是独立随机变量的加权和。利用鞅差序列的中心极限定理,只需验证 Lindeberg 条件和方差收敛性。

关键技巧:

  1. 凸对偶:将原始的去偏问题(寻找 w 使得加权平均接近 x)转化为对偶问题(最小化 ||x - (1/√n)Σᵢ wᵢ π̂ᵢ Xᵢ||∞ 的拉格朗日对偶),这使得问题可以通过标准的凸优化算法高效求解。

  2. 局部化技巧:在证明去偏方向的一致性时,作者将问题限制在支撑集 S_ℓ(x) 上,利用稀疏性假设将高维问题转化为低维问题。具体地,通过限制在支撑集上,可以将 L∞ 范数约束转化为 L₂ 范数估计,从而获得更紧的界。

  3. 倾向得分误差的"一阶不敏感性":这是本文最核心的技术创新。作者证明了,只要倾向得分估计误差 r_π 满足 r_π = o(1),它就不会影响最终估计量的一阶渐近性质。这比传统的双重稳健方法(要求 r_π = O(n^{-1/4}))更宽松。证明的关键在于:倾向得分误差只通过"二阶交叉项"进入偏差分解,而这些交叉项在高阶矩条件下可以忽略。

  4. 无样本分割:与 Chernozhukov et al. (2018) 的双重机器学习框架不同,本文不需要样本分割或交叉拟合。这是因为去偏方向的估计误差与 Lasso 初始估计的误差是"正交"的——去偏方向只依赖于 X 和 R,而 Lasso 估计依赖于 X, R, Y,两者的误差来源不同,因此可以同时使用全部数据。

真实例子与应用

模拟研究(第 4 节):作者设计了多种模拟场景,包括不同的协方差结构(循环矩阵、Toeplitz 矩阵)、不同的稀疏模式(稀疏、密集、伪密集)以及不同的缺失机制(MAR 和 MCAR)。主要发现:

  1. 在稀疏 β₀ 和稀疏查询点 x 下,本文方法(Debias)的置信区间覆盖率接近名义水平 95%,而传统的去偏 Lasso(DL-Jav, DL-vdG)在缺失数据下覆盖率显著偏低(约 80-90%)。
  2. 在密集 β₀ 下,所有方法的偏差都增大,但本文方法仍保持相对较好的覆盖率。
  3. 在 MCAR 设置下,所有方法的表现都有所改善,但本文方法仍然优于其他方法。
  4. 计算效率方面,本文方法(求解 n 维凸优化)比 DDR 方法(求解 d 个独立的凸优化)快约 10-50 倍(具体取决于 d 的大小)。

真实数据应用(第 5 节):作者使用 SDSS 星系数据,目标是推断星系恒星质量与其光谱特征之间的关系。数据包含 1185 个星系,30.2% 的恒星质量缺失。作者发现: 1. 本文方法得到的置信区间比完整数据分析(仅使用完整数据)更窄,说明利用了缺失数据中的信息。 2. 与恒星质量负相关的关键光谱特征(如金属丰度指标)在统计上显著,与天文学文献一致。 3. 本文方法得到的置信区间比 DL-Jav 和 DL-vdG 更短,且覆盖率更高。

🔎 结论是否比证明窄

结论确实比证明窄,主要体现在以下几个方面:

  1. 效率界的证明不完整:定理 3.6 证明了渐近正态性,但并未明确证明所达到的方差 σ²_m(x) 就是所有渐近线性估计量中的最小方差(即半参数效率界)。作者在 Remark 6 中声称"达到半参数效率界",但这一结论依赖于对估计量渐近方差的精确刻画,而证明中只给出了方差的一致估计,并未给出严格的效率界论证。具体来说,作者没有证明对于任意其他渐近线性估计量,其渐近方差都不小于 σ²_m(x)。这需要建立半参数效率界的一般理论,而本文只证明了其估计量的渐近方差恰好等于这个量。

  2. 倾向得分估计的假设过于宽松:Assumption 5 只要求 max₁≤ᵢ≤ₙ|π̂ᵢ - πᵢ| = oₚ(1),但并未说明这个条件在什么情况下成立。对于高维倾向得分估计(如 Lasso 逻辑回归),这个条件通常需要额外的稀疏性假设和调参条件。作者在附录 C 中给出了 Lasso 逻辑回归的示例,但只证明了 r_π = O_P(√(s_π log d / n)),这需要 s_π = o(√n/log d)。这意味着,虽然 Assumption 5 本身很宽松,但实际验证它可能需要更强的条件。

  3. 模拟和真实数据只验证了部分场景:模拟研究主要关注了高斯协变量和线性模型,没有考虑非线性、异方差或更复杂的缺失机制。真实数据应用只考虑了 SDSS 星系数据,且没有与其他最新的缺失数据推断方法(如多重插补 + 去偏 Lasso)进行对比。

  4. 计算复杂度的分析不完整:作者声称方法比 DDR 更高效,但只给出了算法复杂度分析(O(d·n) vs O(d²·n)),没有提供详细的运行时间对比实验。此外,对于 d 和 n 都很大的情况,求解 n 维凸优化问题可能仍然很慢。

四、开放问题

  1. 效率界的严格证明:本文声称达到半空间效率界,但并未给出严格的证明。一个自然的开放问题是:能否建立高维缺失数据下回归函数推断的半参数效率界的一般理论,并证明本文的估计量达到该界?这需要发展高维半参数效率理论,可能涉及对渐近方差的精确刻画和对所有渐近线性估计量的分类。扎根于本文 Remark 6 的声明。

  2. 倾向得分估计的自适应选择:Assumption 5 允许任意一致的倾向得分估计,但实际中如何选择倾向得分的估计方法(Lasso 逻辑回归、随机森林、神经网络等)?不同的方法可能在不同的数据生成机制下表现不同。一个开放问题是:能否设计一个数据自适应的准则来选择倾向得分估计方法,使得最终的去偏估计量在某种意义下最优?扎根于本文第 4.4 节的模拟实验。

  3. 非稀疏对偶解的推广:本文的核心假设之一是查询点 x 对应的对偶解 ℓ₀(x) 是稀疏的(Assumption 6)。但在许多实际应用中,查询点可能是密集的(如 x = (1,1,...,1))。能否将本文的方法推广到非稀疏对偶解的情形?这可能需要对凸优化问题施加不同的正则化,或者采用不同的去偏策略。扎根于本文第 3.3 节对 Assumption 6 的讨论。

  4. 非线性模型的推广:本文的方法严重依赖于线性回归模型的结构。能否将类似的"凸优化去偏"思想推广到广义线性模型、分位数回归或非参数回归?这需要重新设计去偏程序,并可能涉及不同的效率界。扎根于本文第 6 节(Discussion)中提到的"广义线性模型的推广"。

  5. 缺失协变量的处理:本文只考虑了响应变量缺失的情况。如果协变量也存在缺失,问题会变得更加复杂。能否将本文的方法推广到协变量缺失的场景?这可能需要对缺失机制做额外的假设,并设计更复杂的去偏程序。扎根于本文第 6 节提到的"缺失协变量"作为未来工作。

  6. 多重检验与同时置信带:本文只考虑了单个查询点的置信区间。在实际应用中,我们往往需要对多个查询点同时进行推断,或者构造整个回归函数的置信带。能否将本文的方法推广到同时推断?这需要控制多重检验的族错误率,并可能涉及高斯过程的极限理论。扎根于本文第 6 节提到的"同时置信带"作为未来工作。


提醒:要确认上述开放问题是否真的是"空白",建议去读高维缺失数据推断领域近 5 年的论文(如 JASA、AoS、Biometrika 上的相关文章),看是否已有工作解决了这些问题。特别是问题 1(效率界的严格证明)和问题 4(非线性推广),这两个方向很可能已有部分工作,需要仔细甄别。


Maintained by 陈星宇 · Homepage · Source on GitHub

评论