Deep learning with missing data¶
作者: Tianyi Ma, Tengyao Wang, Richard J Samworth
来源: Journal of the Royal Statistical Society Series B
主题: 非参数 / 半参数
相关性: 6/10
机构绿灯: University of Cambridge(US News 前 50,免分进入精读)
链接: 期刊页 · arXiv
一、领域脉络与小综述(从 introduction + 参考文献 + 已构建)¶
这个方向是什么¶
本文所研究的核心问题是:在协变量存在缺失(missing covariates)的情况下,如何利用深度神经网络进行多元非参数回归。传统上,处理缺失数据的主流策略是"先插补(imputation),再回归",即先用某种插补技术(如均值插补、MICE、MissForest)将缺失值填满,再在完整的数据上训练预测模型。然而,这种"插补-回归"两阶段流程存在一个根本性的统计缺陷:插补过程本身会引入噪声,且插补后的数据分布与真实数据分布存在系统性偏差,导致后续回归模型的预测性能受损。本文提出的核心洞见是:观测模式(observation pattern,即哪些变量被观测到、哪些缺失)本身携带了重要的预测信息,应当被显式地编码进模型,而非仅仅作为插补的副产品被丢弃。这一方向处于"深度学习的统计理论"与"缺失数据分析"的交叉地带,其成熟度属于正在快速发展的前沿领域——理论框架(组合型Hölder类的极小极大分析)已相对清晰,但方法论的普适性和实际应用仍在探索中。
发展脉络(history)¶
- 奠基工作:深度网络的逼近理论。Schmidt-Hieber (2020) 是本文最重要的理论基石。该工作首次系统性地证明了,在组合型函数类(compositional function class)假设下,基于ReLU激活函数的深度神经网络估计量能够达到非参数回归的极小极大收敛速率(至多相差对数因子)。这一工作为"深度网络为何在实践中有效"提供了第一个严格的统计解释,其核心思想是:许多高维函数(如加法模型、单指标模型)可以表示为若干低维函数的组合,而深度网络天然适合逼近这类组合结构。本文正是将这一框架从"完全观测数据"推广到"缺失数据"场景。
- 主要进展:缺失数据的现代处理方法。在深度学习的背景下,处理缺失数据的方法大致分为三类:(i) 基于生成模型的方法,如 MisGAN (Li, Jiang and Marlin, 2019),利用GAN学习缺失数据的分布;(ii) 基于变分自编码器的方法,如 MIWAE (Mattei and Frellsen, 2019),通过最大化观测数据的边际似然下界进行插补;(iii) 基于判别模型的方法,如将缺失指示向量直接作为额外特征输入网络。本文的方法属于第三类,但其理论贡献远超于此——它首次为"模式嵌入"这一直觉提供了严格的极小极大最优性保证。
- 当前 frontier:对缺失机制的鲁棒性。一个关键的转折点是 Le Morvan et al. (2021) 的工作,该文指出:在插补-回归框架下,即使插补方法本身是相合的,插补后的回归函数也可能是不连续的(在插补值等于观测值的边界处),从而难以被神经网络有效逼近。这一发现揭示了"插补-回归"范式的内在缺陷,为本文提出的"模式嵌入"方法提供了直接动机。此外,Josse et al. (2024) 系统研究了监督学习中的缺失值问题,证明了在某些条件下,将缺失指示向量作为特征可以提升预测性能,但缺乏理论保证。
- 本文的位置:本文站在上述工作的交汇点上,做出了三个关键贡献:其一,提出模式嵌入神经网络(PENNs)这一通用架构,可与任意插补技术结合;其二,在组合型Hölder类假设下,给出了PENNs的有限样本超额风险上界,该上界对任意缺失机制成立;其三,通过互补的极小极大下界,证明了PENNs在典型情形下达到最优收敛速率(至多相差对数因子)。这标志着该方向从"启发式方法"走向"有理论保证的方法"。
子线索聚类¶
- 深度网络的逼近与估计理论(Schmidt-Hieber 2020; Kohler and Langer 2021; Lu et al. 2021; Jiao et al. 2023; Fan and Gu 2024):这一簇工作致力于回答"深度网络为何有效"以及"其统计极限是什么"。核心工具是组合型Hölder类、网络逼近误差的显式刻画、以及经验过程理论。本文的定理2和定理3直接建立在这一簇工作的基础之上。
- 缺失数据的统计推断(Efromovich 2011; Le Morvan et al. 2021; Josse et al. 2024):这一簇工作关注缺失数据下的估计与推断问题。Efromovich (2011) 研究MAR缺失下的正交级数方法;Le Morvan et al. (2021) 揭示了插补-回归的固有缺陷;Josse et al. (2024) 则从一致性角度分析了监督学习中的缺失值处理。本文的"模式嵌入"思想正是对这一簇工作的回应与超越。
- 深度网络的理论分析工具(Bartlett et al. 2019; Shen et al. 2019):这一簇工作提供了分析深度网络复杂度的关键技术——VC维和伪维数的上界、覆盖数估计等。本文的命题4(VC维上界)直接依赖于Bartlett et al. (2019) 的引理17。
这个方向在追问的核心问题¶
- 如何在不依赖缺失机制假设的前提下,利用深度网络进行有效的非参数回归? 这是本文试图回答的首要问题。传统方法(如EM算法、多重插补)通常需要假设MCAR或MAR,而本文的目标是构建一个对任意缺失机制都适用的方法。
- 模式嵌入的"信息价值"如何量化? 直觉上,观测模式(哪些变量缺失)可能携带关于响应变量的信息,但这种信息增益能否转化为收敛速率的提升?本文的定理2和定理3给出了精确的答案:当模式可被划分为少量"单元"时,模式嵌入带来的额外代价仅是多项式因子。
- 深度网络的极小极大最优性在缺失数据下是否仍然成立? 这是理论层面的核心问题。本文通过构造与"已知单元划分"情形相匹配的极小极大下界,证明了PENNs在典型情形下确实达到了最优速率。
⚠️ 作者的 framing(必须明确标注成"这是作者的说法")¶
作者在引言中将本文的贡献框架为"首次为缺失数据下的深度回归提供了极小极大最优性保证"。具体而言,作者声称(见引言最后一段):"据我们所知,这是第一个在任意缺失机制下,为深度神经网络回归估计量提供极小极大最优收敛速率的工作。" 作者还强调,与以往工作相比,本文的优势在于:(i) 不依赖MCAR/MAR假设;(ii) 允许插补算法与预测网络联合训练;(iii) 理论结果适用于组合型Hölder类这一广泛的函数类别。值得注意的是,作者在引言中淡化了与"缺失指示向量作为特征"这一朴素方法的联系,而是强调其理论贡献在于证明了这种做法的最优性,而非仅仅是有效性。此外,作者将"单元划分"假设(Assumption 1)作为核心创新点,但这一假设的合理性在引言中并未得到充分论证——它更像是为了理论分析而引入的便利条件,而非对实际数据生成机制的深刻刻画。
张力¶
未见明显对立引用。 不过,存在一个值得注意的潜在张力:Le Morvan et al. (2021) 的工作表明,插补-回归框架下的回归函数可能是不连续的,而本文的PENNs通过显式编码模式来规避这一问题。但本文并未讨论:如果插补本身是"好"的(例如,插补值非常接近真实值),模式嵌入是否仍然必要?此外,本文的极小极大下界(定理3)依赖于一个特定的构造(均匀分布、特定函数类),这一构造是否对更广泛的分布族(如重尾分布)仍然成立,是一个未解决的问题。
二、最核心、最简单的例子 / 数学问题¶
第一步:把符号、模型、可观测数据交代清楚¶
在展开论文的技术细节之前,我们先建立一套统一的记号。这套记号将贯穿后续所有讨论。
- 样本与数据:设 \((X_i, \Omega_i, Y_i)_{i=1}^n\) 为独立同分布的随机向量,取值于 \(\mathbb{R}^d \times \{0,1\}^d \times \mathbb{R}\)。这里:
- \(X_i = (X_{i,1}, \ldots, X_{i,d})^\top\) 是完全观测的协变量向量(潜在变量,实际中部分分量可能缺失)。
- \(\Omega_i = (\Omega_{i,1}, \ldots, \Omega_{i,d})^\top\) 是观测模式向量(revelation vector),其中 \(\Omega_{i,j} = 1\) 表示第 \(j\) 个协变量被观测到,\(\Omega_{i,j} = 0\) 表示缺失。
- \(Y_i\) 是响应变量(标量)。
-
我们实际观测到的是 \((\tilde{X}_i, \Omega_i, Y_i)\),其中 \(\tilde{X}_i\) 是 \(X_i\) 的"部分观测版本":\(\tilde{X}_{i,j} = X_{i,j}\) 若 \(\Omega_{i,j} = 1\),否则 \(\tilde{X}_{i,j} = \star\)(一个表示缺失的占位符)。
-
插补与观测数据:设 \(\text{Imp}: \mathbb{R}^d_\star \to \mathbb{R}^d\) 为任意(可能随机的)插补算法,其中 \(\mathbb{R}^d_\star = (\mathbb{R} \cup \{\star\})^d\) 是扩展的协变量空间。插补后的协变量为 \(Z_i := \text{Imp}(\tilde{X}_i)\)。注意:\(Z_i\) 是可观测的,而 \(X_i\) 是不可观测的(潜在变量)。本文的核心思想是:回归函数应当同时依赖于插补后的协变量 \(Z_i\) 和观测模式 \(\Omega_i\),即目标函数为 \(f^\star(z, \omega) := \mathbb{E}(Y_0 \mid Z_0 = z, \Omega_0 = \omega)\)。
-
参数与估计目标:
- 估计目标(estimand):贝叶斯回归函数 \(f^\star: \mathbb{R}^d \times \mathcal{S} \to \mathbb{R}\),其中 \(\mathcal{S} := \{\omega : \mathbb{P}(\Omega_0 = \omega) > 0\}\) 是可能观测模式的集合。
- 估计量:\(\hat{f}\),基于训练数据 \((\tilde{X}_i, \Omega_i, Y_i)_{i=1}^n\) 构造。
- 损失函数:平方损失 \(\ell(f, z, \omega, y) = (f(z, \omega) - y)^2\)。
-
风险:\(R(f) := \mathbb{E}[(f(Z_0, \Omega_0) - Y_0)^2]\),超额风险为 \(R(\hat{f}) - R(f^\star)\)。
-
函数类与结构假设:
- 组合型Hölder类 \(\mathcal{H}(q, \mathbf{d}, \mathbf{t}, \boldsymbol{\beta}, \boldsymbol{\gamma})\):这是本文的核心结构假设。一个函数 \(f: \mathbb{R}^d \to \mathbb{R}\) 属于此类,如果它可以表示为 \(q\) 个函数的复合:\(f = g_q \circ \cdots \circ g_1\),其中每个 \(g_r: \mathbb{R}^{d_r} \to \mathbb{R}^{d_{r+1}}\) 的每个分量函数都属于 \((\beta_r, \gamma_r)\)-Hölder类,且 \(g_r\) 只依赖于 \(t_r \le d_r\) 个变量。直观上,这刻画了"高维函数具有低维结构"的情形。
-
单元划分(Assumption 1):观测模式集合 \(\mathcal{S}\) 可以被划分为 \(K\) 个单元 \(\mathcal{S}_1, \ldots, \mathcal{S}_K\),使得在每个单元 \(\mathcal{S}_k\) 上,\(f^\star(\cdot, \omega)\) 作为 \(z\) 的函数是相同的(记为 \(f_{\mathcal{S}_k}\)),且 \(f_{\mathcal{S}_k} \in \mathcal{H}(q_k, \mathbf{d}^{(k)}, \mathbf{t}^{(k)}, \boldsymbol{\beta}^{(k)}, \boldsymbol{\gamma}^{(k)})\)。这个假设的直观含义是:具有相似缺失模式的样本,其回归函数也相似,因此可以共享统计信息。
-
关键量:
- \(n_k := n \pi_k\):第 \(k\) 个单元的有效样本量,其中 \(\pi_k := \mathbb{P}(\Omega_0 \in \mathcal{S}_k)\)。
- \(s\):网络稀疏度(非零参数个数)。
- \(L\):网络深度。
- \(N\):网络宽度。
- \(V\):网络参数总数。
- \(B_n := \xi_2 \sqrt{2 \log n}\):截断阈值,用于处理响应变量的重尾性。
第二步:讲最小内核¶
现在,我们剥离论文的所有技术细节,找出支撑整篇论文的那个最小内核。这个内核可以用一个最简单的例子来概括。
最简例子:假设 \(d = 1\)(只有一个协变量),且 \(\Omega_0 \in \{0, 1\}\)(要么观测到,要么缺失)。此时,观测模式只有两种:\(\omega = 1\)(观测到)和 \(\omega = 0\)(缺失)。假设插补算法是"零插补"(即缺失时填0),则 \(Z_0 = X_0 \cdot \Omega_0\)。贝叶斯回归函数为:
核心困难:如果我们忽略 \(\omega\),直接学习 \(z \mapsto \mathbb{E}(Y_0 \mid Z_0 = z)\),那么在 \(z = 0\) 处,这个函数是两种情形的混合:\(\omega = 0\) 时的常数和 \(\omega = 1\) 时 \(f^\star(0, 1)\) 的值。这个混合函数可能是不连续的(在 \(z = 0\) 处),从而难以被神经网络有效逼近。这正是 Le Morvan et al. (2021) 指出的问题。
PENNs 的解法:PENNs 将 \(\omega\) 作为额外的输入,学习一个联合函数 \((z, \omega) \mapsto \hat{f}(z, \omega)\)。在这个最简单的例子中,PENNs 实际上学习两个独立的函数:\(\hat{f}(\cdot, 1)\) 和 \(\hat{f}(\cdot, 0)\)(后者是常数)。通过这种方式,PENNs 避免了混合函数的不连续性,从而能够以更快的速率逼近 \(f^\star\)。
数学命题:在这个最简例子中,如果 \(f^\star(\cdot, 1)\) 是 \(\beta\)-Hölder光滑的,那么: - 忽略 \(\omega\) 的标准网络(在 \(z=0\) 处可能不连续)的收敛速率至多是 \(n^{-\beta/(2\beta+1)}\)(受限于不连续点的逼近误差)。 - PENNs 的收敛速率可以达到 \(n^{-\beta/(2\beta+1)}\)(与已知 \(\omega\) 时的速率相同),因为它在每个单元上分别逼近光滑函数。
一般化:论文的核心贡献在于将这个最简单的直觉推广到一般情形:(i) 协变量维度 \(d > 1\);(ii) 观测模式数量 \(|\mathcal{S}|\) 可能指数增长;(iii) 每个单元上的回归函数属于组合型Hölder类(而非简单的Hölder类);(iv) 插补算法可以是任意的(不限于零插补)。在这些推广下,PENNs 的收敛速率由每个单元的"有效样本量" \(n_k\) 和"有效维度" \(t_k^\star\) 决定,而非全局的 \(n\) 和 \(d\)。这正是定理2的核心内容。
三、这篇论文做了什么¶
三句话¶
- 研究了什么问题:在协变量缺失(允许任意缺失机制,包括MNAR)的多元非参数回归中,如何设计深度神经网络估计量并保证其统计最优性。
- 核心工具/方法:提出模式嵌入神经网络(PENNs),将观测模式向量 \(\Omega\) 作为额外输入,通过一个嵌入网络学习其低维表示,再与插补后的协变量特征结合,最后通过一个组合网络输出预测。
- 主要结论:在组合型Hölder类假设下,PENNs 的有限样本超额风险上界为 \(\sum_{k=1}^K \pi_k n_k^{-2\bar{\beta}_k^\star/(2\bar{\beta}_k^\star + t_k^\star)}\)(至多相差 \(\log\) 因子),且该速率是极小极大最优的(至多相差 \(\log\) 因子)。
关键设定与假设¶
- 数据生成:\((X_i, \Omega_i, Y_i)_{i=1}^n\) 独立同分布,\(Y_i\) 给定 \((X_i, \Omega_i)\) 的条件分布满足次高斯性(\(\|Y_0\|_{\psi_2} \le \xi_2\)),协变量 \(Z_i\) 的每个分量是次指数的(\(\|Z_{0,j}\|_{\psi_1} \le \xi_1\))。注意:这里不假设 \(Y\) 有界,也不假设 \(Z\) 有界,这比以往工作(如 Schmidt-Hieber 2020)更一般。
- 核心结构假设(Assumption 1):观测模式集合 \(\mathcal{S}\) 可划分为 \(K\) 个单元 \(\{\mathcal{S}_k\}_{k=1}^K\),在每个单元上 \(f^\star(\cdot, \omega)\) 相同,且属于组合型Hölder类 \(\mathcal{H}(q_k, \mathbf{d}^{(k)}, \mathbf{t}^{(k)}, \boldsymbol{\beta}^{(k)}, \boldsymbol{\gamma}^{(k)})\)。统计含义:这允许不同缺失模式共享统计信息,是"借用强度"(borrowing strength)的理论基础。相比已有工作:Schmidt-Hieber (2020) 假设完全观测(\(K=1\)),本文将其推广到 \(K\) 个单元。
- 可分离性假设(Definition 1):存在一个神经网络 \(f_2\) 可以将不同单元 \(\mathcal{S}_k\) 的观测模式映射到彼此分离的向量 \(v_k\)(即 \(\|v_k - v_{k'}\|_\infty \ge 2\epsilon\))。统计含义:这保证了嵌入网络能够"区分"不同的单元,是后续组合网络能够正确选择对应回归函数的前提。相比已有工作:这是一个全新的假设,专门为缺失数据场景设计。
- 网络结构假设:PENNs 由三个子网络组成——特征网络 \(f_1\)(处理插补后的协变量)、嵌入网络 \(f_2\)(处理观测模式)、组合网络 \(f_3\)(结合前两者的输出)。每个子网络都是稀疏的ReLU网络,稀疏度 \(s\) 和深度 \(L\) 的选择由定理2给出。
- 插补算法:任意(可以是随机的),但要求插补后的 \(Z_i\) 满足次指数性。相比已有工作:本文不要求插补算法是"好"的(即不要求插补值接近真实值),这极大地增强了方法的适用性。
主要结果¶
- 定理2(上界):在 Assumptions 1-2 下,若选择适当的网络结构(深度、宽度、稀疏度),则截断的PENNs估计量 \(\hat{f}\) 满足
\[\mathbb{E}[R(\hat{f})] - R(f^\star) \lesssim \sum_{k=1}^K \pi_k n_k^{-2\bar{\beta}_k^\star/(2\bar{\beta}_k^\star + t_k^\star)} \cdot (\log n)^{C},\]其中 \(\bar{\beta}_k^\star\) 是第 \(k\) 个单元上组合型Hölder类的有效光滑度,\(t_k^\star\) 是有效维度。直觉:收敛速率由每个单元的"局部"复杂度决定,而非全局复杂度。如果某些单元的有效维度很低(例如,只有少数变量影响回归函数),那么即使全局维度 \(d\) 很大,这些单元的估计速率也可以很快。
- 定理3(下界):存在一个满足 Assumptions 1-2 的分布族,使得任何估计量的最坏情况风险至少为 \(c \sum_{k=1}^K \pi_k n_k^{-2\bar{\beta}_k^\star/(2\bar{\beta}_k^\star + t_k^\star)}\)。直觉:定理2的速率是极小极大最优的,PENNs 没有浪费任何统计效率。
- 命题4(VC维上界):稀疏ReLU网络的VC维和伪维数有界为 \(O(sL\log(s))\),这是证明定理2的关键技术工具。相比已有工作:本文的证明去掉了以往工作中对参数有界性的假设,使得结果更一般。
证明路线与技术技巧¶
整体路线(定理2的证明分为四步):
- 截断与风险分解:首先将估计量截断到 \([-B_n, B_n]\)(\(B_n = \xi_2 \sqrt{2\log n}\)),将超额风险分解为截断误差、逼近误差和估计误差三项。截断是为了处理 \(Y\) 的重尾性,使得经验过程的集中不等式可以应用。
- 逼近误差控制:利用组合型Hölder类的结构,构造一个稀疏ReLU网络 \(\bar{f}\) 逼近 \(f^\star\)。关键在于逐单元逼近:在每个单元 \(\mathcal{S}_k\) 上,利用 Lu et al. (2021) 和 Jiao et al. (2023) 的逼近定理,用网络逼近 \(f_{\mathcal{S}_k}\)。逼近误差为 \(\sum_{k=1}^K \pi_k n_k^{-2\bar{\beta}_k^\star/(2\bar{\beta}_k^\star + t_k^\star)}\)。
- 估计误差控制:利用经验过程理论,控制 \(\sup_{f \in \mathcal{F}} |\hat{R}_n(f) - R(f)|\)。关键在于新的VC维上界(命题4),它允许网络参数无界,从而可以处理次高斯的协变量和响应变量。估计误差为 \(\sqrt{sL\log(s)/n}\)。
- 平衡逼近与估计:选择网络稀疏度 \(s\) 和深度 \(L\),使得逼近误差和估计误差平衡,得到最终的速率。
关键跳跃点:
- 跳跃点1:如何构造嵌入网络 \(f_2\) 并保证可分离性? 论文的巧妙之处在于,不需要显式构造 \(f_2\),而是利用"通用逼近定理"证明存在这样的网络。具体地,对于任意划分 \(\{\mathcal{S}_k\}\),可以构造一个浅层网络将每个 \(\mathcal{S}_k\) 映射到不同的顶点 \(v_k\)。这个构造依赖于一个关键事实:\(\{0,1\}^d\) 上的任意函数都可以用ReLU网络精确表示(因为它是分段线性的)。
- 跳跃点2:如何处理 \(f_1\) 和 \(f_2\) 的交互? 组合网络 \(f_3\) 的输入是 \(f_1(z)\) 和 \(f_2(\omega)\) 的拼接。关键在于证明:如果 \(f_2\) 能分离单元,那么 \(f_3\) 可以"选择"正确的 \(f_{\mathcal{S}_k}\)。这通过一个局部常数逼近实现:\(f_3\) 在 \(v_k\) 附近近似等于 \(f_{\mathcal{S}_k}(f_1(z))\)。这个构造依赖于 Lemma 11,它证明了存在一个网络可以"提取" \(u_k\)(当 \(\omega \in \mathcal{S}_k\) 时),且误差为 \(O(n^{-1})\)。
- 跳跃点3:如何去掉参数有界性假设? 以往工作(如 Schmidt-Hieber 2020)要求网络参数有界,以便控制VC维。本文通过精细的覆盖数论证,证明了即使参数无界,稀疏网络的伪维数仍然有界。这需要一个新的技术引理(命题4),其证明基于 Bartlett et al. (2019) 的引理17,但做了关键的推广。
真实例子与应用¶
论文包含三个层面的实验:
- 模拟数据(Models 1-4):设计了四种数据生成机制,涵盖MCAR和MNAR、独立和相关的协变量、线性与非线性回归函数。核心发现是:PENNs 在所有设置下都优于不包含模式信息的标准神经网络(NN),且提升幅度在MNAR设置下尤为显著。例如,在Model 2(MNAR)中,PENNs 的超额风险比 NN 低约 50%。
- 半合成数据(CT扫描、MNIST):在真实数据上人为引入缺失。对于CT扫描数据(回归任务),PENNs 在MCAR和MNAR下均优于NN、XGBoost和随机森林。对于MNIST(分类任务),PENNs 在MNAR下显著优于NN,但在MCAR下与NN相当——这符合理论预期,因为MCAR下模式的信息价值较低。
- 真实数据(信用评分):数据本身含有缺失值。PENNs 的预测误差(以PUV衡量)比NN低约 10%,比XGBoost低约 15%。
实验想说明什么:这些实验旨在验证两个理论预测:(i) 模式嵌入能够提升预测性能,尤其是在MNAR下;(ii) PENNs 的收益随着缺失率增加而增大。此外,通过可视化嵌入网络 \(f_2\) 的输出(图3),论文展示了学习到的嵌入确实能够将相似的缺失模式聚类在一起,验证了"模式相似性"假设的合理性。
🔎 结论是否比证明窄¶
是的,存在几处结论比证明窄的情况,值得注意:
- 定理2的"任意缺失机制"表述:论文在引言和摘要中声称结果对"任意缺失机制"成立,但仔细阅读定理2的证明可以发现,这个"任意性"是在固定划分 \(\{\mathcal{S}_k\}\) 已知的前提下成立的。如果划分未知(需要从数据中学习),则定理2的证明并不直接适用。论文在讨论部分(Section 5)承认了这一点,但并未给出划分未知时的理论结果。
- 定理3的"极小最优"表述:定理3的证明构造了一个特定的分布族,其中每个单元上的回归函数都是"高度结构化"的(由少数变量决定)。对于更一般的分布族(例如,所有单元上的回归函数都依赖于所有变量),定理3的下界可能不成立。因此,"极小最优"的结论仅限于论文所构造的分布族。
- "与插补算法无关"的表述:论文声称PENNs可以与任意插补算法结合,但定理2的证明要求插补后的 \(Z_i\) 满足次指数性。如果插补算法本身不满足这一条件(例如,插补值可能取极大值),则定理2的结论可能失效。论文在实验中使用的是简单的均值插补和MICE,这些算法在实验设置下满足次指数性,但这一条件在真实应用中可能不成立。
四、开放问题¶
- 划分未知时的理论保证:论文的核心假设(Assumption 1)要求观测模式可以被划分为已知的单元。但在实际应用中,划分通常是未知的,需要从数据中学习。一个自然的开放问题是:如何设计算法同时学习划分和回归函数,并给出相应的收敛速率? 这需要将"聚类"和"回归"的理论结合起来,可能涉及混合模型或谱方法的分析。(扎根于 Section 5 的讨论:"It would be interesting to consider data-driven choices of the partition...")
- 插补算法的自适应选择:论文的理论结果对插补算法要求较低(仅需次指数性),但实验表明插补算法的选择会影响PENNs的实际性能。一个开放问题是:是否存在一个"最优"的插补算法,使得PENNs的收敛速率达到极小最优? 这可能需要将插补误差纳入风险分解,并优化插补与回归的联合损失。(扎根于 Section 5 的讨论:"...the choice of imputation method can have a significant impact on the performance of PENNs...")
- 高维协变量的扩展:论文的理论结果允许协变量维度 \(d\) 随样本量 \(n\) 增长,但要求每个单元的有效维度 \(t_k^\star\) 远小于 \(d\)。对于有效维度也随 \(n\) 增长的情形(例如,深度神经网络中的特征学习),目前的证明技术可能不再适用。一个开放问题是:在什么样的条件下,PENNs 能够适应高维有效维度? 这可能涉及随机矩阵理论或高维概率的工具。(扎根于定理2的证明中对 \(t_k^\star\) 的依赖)
- 因果推断的延伸:论文的方法论(模式嵌入)与因果推断中的"缺失协变量"问题密切相关。例如,在估计平均处理效应(ATE)时,协变量的缺失可能导致选择偏差。一个开放问题是:PENNs 能否被推广到缺失协变量下的因果效应估计,并保持半参数效率? 这需要将模式嵌入与高效影响函数(EIF)结合起来,可能涉及双重稳健估计的理论。(扎根于引言中提到的"missing data play an ever more significant role in high-dimensional learning problems")
提示:要确认上述问题是否真的是"开放问题",建议去读近5年关于"missing data + deep learning"的论文(如 Josse et al. 2024 的后续工作、NeurIPS/ICML 上的相关论文),看是否已有解决这些问题的尝试。如果多篇论文都指向同一个问题,那大概率是共识性的 gap;如果各论文的解法互相矛盾,那可能是机会所在。
Maintained by 陈星宇 · Homepage · Source on GitHub