Estimation beyond missing (completely) at random¶
作者: Tianyi Ma, Kabir A. Verchand, Thomas B. Berrett, Tengyao Wang, Richard J. Samworth
来源: Annals of Statistics
主题: 数理统计 / 假设检验
相关性: 7/10
机构绿灯: University of Cambridge(US News 前 50,免分进入精读)
链接: 期刊页 · arXiv
一、领域脉络与小综述¶
这个方向是什么¶
本文研究的根本问题是:当数据存在缺失且缺失机制可能依赖于未观测到的数据(即非随机缺失,MNAR)时,我们还能以多好的精度估计总体参数(如均值)? 传统统计学习通常依赖 MCAR(完全随机缺失)或 MAR(随机缺失)假设,这些假设在应用中往往过于理想化。本文的核心贡献在于,将稳健统计中 Huber 的 ε-污染模型(Huber, 1964)创造性地移植到缺失数据领域,构建了一个从 MCAR 到任意 MNAR 的连续谱系模型,并在此框架下系统地研究了均值估计的 minimax 理论。这个方向处于稳健统计与缺失数据分析的交叉地带,其成熟度处于理论奠基阶段——它首次为"偏离 MCAR 的程度"提供了可量化的度量(ε),并给出了相应的最优估计精度刻画。
发展脉络¶
-
奠基工作:Huber 的 ε-污染模型(Huber, 1964)。这是整个框架的灵感来源。在完全观测数据下,Huber 模型假设数据以概率 1−ε 来自目标分布 P,以概率 ε 来自任意污染分布 Q。本文作者明确表示其任意污染模型是"Huber 风格"的缺失数据类比(见 Section 2.2.2 对
P_arb的定义)。留下的口子:Huber 模型假设污染是"任意"的,但未考虑污染与缺失的交互作用。 -
缺失数据经典理论:MCAR/MAR/MNAR 分类(Little & Rubin, 2014; Seaman et al., 2013)。本文在 Section 2.1 中形式化定义了这三类模型,并明确指出 MAR 假设下参数可能不可识别(见 Example 2)。留下的口子:经典理论对 MAR 的依赖导致其在 MNAR 场景下失效,但缺乏对"偏离 MAR 程度"的连续度量。
-
稳健统计的现代发展:算法稳健估计(Diakonikolas & Kane, 2023; Depersin & Lecué, 2019, 2022a)。本文的 ITERATIVE_ROBUST_MEAN 算法(Algorithm 1)直接调用了满足特定性质(式 (16))的稳健均值估计算法作为子程序,例如 Depersin & Lecué (2022a) 的算法。留下的口子:这些算法针对完全观测数据设计,无法直接处理缺失。
-
缺失数据下的高维问题(Zhu, Wang & Samworth, 2022; Follain, Wang & Samworth, 2022; Cai & Zhang, 2019)。这些工作研究了 PCA、changepoint 等具体问题在 MCAR 下的最优率,但未处理 MNAR 的稳健性问题。留下的口子:缺乏一个统一的、针对 MNAR 的估计理论框架。
-
敏感性分析(Zhao, Small & Bhattacharya, 2019; Rosenbaum, 1987)。这些工作通过限制缺失机制(如边际敏感性模型)来评估结论的稳健性。本文在 Proposition 4 后的讨论中明确指出,其可实现的 ε-污染模型是这些敏感性条件的推广(见 Section 2.3 后对
R(P, ε, q)与敏感性条件的比较)。留下的口子:敏感性分析通常只给出区间估计,而非最优估计率。
子线索聚类¶
- 稳健估计的 minimax 理论(Huber 1964; Chen, Gao & Ren 2018; Lugosi & Mendelson 2021):关注在 ε-污染下估计均值的最优误差率。本文的 Section 3 和 Section 4 直接建立在此线索上。
- 缺失数据的识别与估计(Little & Rubin 2014; Seaman et al. 2013; Farewell et al. 2018):关注不同缺失机制下的可识别性与似然推断。本文的 Section 2 对此进行了形式化。
- 算法稳健统计(Diakonikolas & Kane 2023; Depersin & Lecué 2022a, 2022b; Depersin & Lecué 2019):关注计算效率与统计最优性的权衡。本文的 Algorithm 1 是此线索的直接应用。
- 敏感性分析(Rosenbaum 1987; Zhao, Small & Bhattacharya 2019):关注在偏离假设时结论的稳健性。本文的
R(P, ε, q)类是其推广。
核心问题¶
- 如何度量"偏离 MCAR 的程度"? 本文的答案是 ε-污染模型:以概率 1−ε 服从 MCAR 机制,以概率 ε 服从任意 MNAR 机制。
- 在任意污染下,均值估计的 minimax 最优率是什么? 本文证明其可分解为 MCAR 项与 ε 依赖的稳健项之和(Theorem 5, 6)。
- 在可实现污染(MNAR 版本)下,能否获得更好的率? 本文证明可以,且给出了 Gaussian 与非参数两类情形的精确刻画(Theorem 7-14)。
- 当 ε 未知时,能否自适应? 本文 Section 6 给出了肯定的回答,代价仅为对数因子。
张力¶
- 任意污染 vs 可实现污染:任意污染模型(Section 3)中,当 ε ≥ q/(1+q) 时 minimax 风险为无穷(Theorem 6),意味着完全无法估计;而可实现污染模型(Section 4)中,即使 ε → 1 仍可一致估计(Theorem 8, 9)。这一对比是本文的核心张力,也是其理论贡献所在。
- Gaussian vs 非参数:Gaussian 情形下可实现污染的最优率是 log⁻¹(n)(Theorem 9),而非参数情形下是 n^{-1}(Theorem 12),两者相差一个对数因子。作者在 Theorem 13(b) 中证明,当类扩大到所有次 Gaussian 分布时,一致估计不可能,这揭示了 Gaussian 假设的关键性。
- 未见明显对立引用:本文引用的工作之间没有直接矛盾,但存在方法论的竞争——似然方法(MAR)与稳健方法(ε-污染)对 MNAR 的处理方式不同,本文明确选择了后者。
二、最核心、最简单的例子 / 数学问题¶
第一步:符号、模型与可观测数据¶
符号清单(按出现顺序):
| 符号 | 含义 | 类型 |
|---|---|---|
| \(X \in \mathcal{X} = \mathbb{R}^d\) | 完整数据(潜在变量) | 随机变量 |
| \(\Omega \in \{0,1\}^d\) | 缺失指示向量(1=观测,0=缺失) | 随机变量 |
| \(Z = X \odot_\star \Omega\) | 观测到的数据(缺失处为 \(\star\)) | 随机变量 |
| \(P \in \mathcal{P}(\mathcal{X})\) | 完整数据的分布 | 未知分布 |
| \(\theta_0 = \mathbb{E}_P(X) \in \mathbb{R}^d\) | 目标参数(均值) | 参数/estimand |
| \(\pi \in \mathcal{P}(2^{[d]})\) | 缺失模式的边缘分布 | 已知或未知 |
| \(q_j := \sum_{S \ni j} \pi(S)\) | 第 j 个坐标被观测的边缘概率 | 标量 |
| \(q_{jk} := \sum_{S \supseteq \{j,k\}} \pi(S)\) | 第 j,k 个坐标同时被观测的概率 | 标量 |
| \(\epsilon \in [0,1)\) | 污染比例 | 模型参数 |
| \(\Sigma \in \mathcal{S}^{d \times d}_{++}\) | 协方差矩阵 | 已知或未知 |
| \(\Sigma^{IPW}_{jk} := \frac{q_{jk}}{q_j q_k} \Sigma_{jk}\) | 逆概率加权协方差 | 导出量 |
| \(\kappa := \frac{\epsilon}{q(1-\epsilon)}\) | 有效污染水平 | 导出量 |
| \(\delta \in (0,1]\) | 失败概率 | 用户指定 |
| \(n\) | 样本量 | 标量 |
| \(M(\delta, \mathcal{P}_\Theta, L)\) | minimax \((1-\delta)\) 分位数 | 风险度量 |
模型(以最简单的单变量情形 \(d=1\) 为例):
数据生成机制: 1. 以概率 \(1-\epsilon\):\(X \sim P\)(\(P\) 有均值 \(\theta_0\)、方差 \(\sigma^2\)),\(\Omega \sim \text{Bernoulli}(q)\) 且 \(\Omega \perp X\)(即 MCAR)。 2. 以概率 \(\epsilon\):\(X \sim P\),但 \(\Omega\) 可以任意依赖于 \(X\)(即 MNAR),甚至 \(\Omega\) 的分布可以是任意的。
可观测数据:\(Z_1, \ldots, Z_n \overset{\text{iid}}{\sim} R\),其中 \(R = (1-\epsilon)\text{MCAR}(\pi, P) + \epsilon Q\),\(Q \in \mathcal{P}(\mathcal{X}_\star)\) 任意。
目标:估计 \(\theta_0 = \mathbb{E}_P(X)\)。
关键困难:当 \(\epsilon > 0\) 时,观测到的数据 \(Z\) 的分布 \(R\) 与 \(P\) 之间没有直接联系——\(R\) 可以是任意分布。因此,任何只依赖 \(Z\) 的估计量都可能被 \(Q\) 完全误导。
第二步:最小内核——为什么 minimax 风险会分解?¶
核心数学问题:在任意污染模型 \(\mathcal{P}^{arb}(P, \epsilon, \pi)\) 中,估计 \(\theta_0\) 的 minimax \((1-\delta)\) 分位数是多少?
关键观察(支撑 Theorem 5 和 6 的直觉):
-
MCAR 部分:以概率 \(1-\epsilon\),我们观测到 \(X \sim P\) 且缺失独立。此时,观测到的数据量约为 \(n(1-\epsilon)q\),因此 MCAR 项 \(\text{tr}(\Sigma^{IPW})/n\) 反映了"有效样本量"的损失。
-
污染部分:以概率 \(\epsilon\),观测到的数据可以来自任意分布 \(Q\)。为了对抗这种污染,任何估计量都必须"忽略"一部分极端观测。稳健统计的理论(如 Depersin & Lecué 2022a)告诉我们,这种对抗的代价是 \(\|\Sigma^{IPW}\|_{op} \epsilon\)。
-
分解:Theorem 5 的证明核心在于,将估计量 \(\hat{\theta}_n\) 的误差分解为两部分:
- 在"好"事件(大部分数据来自 MCAR 部分)上的估计误差,这由 MCAR 项控制;
- 在"坏"事件(污染数据过多)上的误差,这由 \(\epsilon\) 项控制。
通过精心选择阈值(Algorithm 1 中的 \(T\)),可以平衡这两部分,得到最优分解。
为什么这个分解是 tight 的?(Theorem 6 的直觉)
- 构造两个分布 \(R_1, R_2 \in \mathcal{P}^{arb}(\theta_1, \Sigma, \epsilon, \pi)\) 和 \(\mathcal{P}^{arb}(\theta_2, \Sigma, \epsilon, \pi)\),使得 \(\|\theta_1 - \theta_2\|_2^2 \asymp \text{MCAR项} + \text{污染项}\),但 \(R_1\) 和 \(R_2\) 在观测数据上的 TV 距离很小(≤ 1−2δ)。
- 具体地,让 \(R_1\) 的污染部分集中在 \(\theta_1\) 附近,\(R_2\) 的污染部分集中在 \(\theta_2\) 附近,而 MCAR 部分相同。这样,任何估计量都无法区分 \(R_1\) 和 \(R_2\),从而误差至少为 \(\|\theta_1 - \theta_2\|_2^2/4\)。
最小内核总结:本文的核心数学贡献在于证明了,在缺失数据 + 污染的联合模型下,minimax 风险可分解为"MCAR 下的最优风险"与"污染带来的额外代价"之和,且这个分解在常数意义下是紧的。这个结果将两个看似独立的领域(缺失数据与稳健统计)统一在一个框架下。
三、这篇论文做了什么¶
三句话¶
- 研究了什么问题:在缺失数据可能非随机(MNAR)的情况下,如何最优地估计总体均值(以及线性回归系数),并刻画了从 MCAR 到任意 MNAR 的偏离程度(ε)对估计精度的影响。
- 核心工具/方法:提出了缺失数据版的 Huber ε-污染模型(任意污染与可实现污染两类),并设计了 ITERATIVE_ROBUST_MEAN 算法(迭代插补 + 稳健估计)和最小 Kolmogorov 距离估计量。
- 主要结论:在任意污染下,minimax 风险分解为 MCAR 项与 ε 项之和(Theorem 5, 6);在可实现污染下,Gaussian 情形可达到 log⁻¹(n) 率(Theorem 7-9),非参数情形可达到 n^{-1} 率(Theorem 12-13),且这些率是 minimax 最优的;方法可自适应未知 ε(Section 6)。
关键设定与假设¶
- 任意污染模型(式 (5)):\(R = (1-\epsilon)\text{MCAR}(\pi, P) + \epsilon Q\),\(Q\) 任意。假设:\(\epsilon < q/(1+q)\)(否则 minimax 风险为无穷,Theorem 6)。
- 可实现污染模型(式 (6)):\(R = (1-\epsilon)\text{MCAR}(\pi, P) + \epsilon Q\),\(Q \in \text{MNAR}_P\)(即 \(Q\) 是 \(P\) 的某个 MNAR 版本)。假设:\(P\) 满足矩条件(Theorem 12(a))或次 Gaussian 条件(Theorem 12(b))。
- 回归模型(Section 5):\(Y = X^\top \theta_0 + \zeta\),响应变量可能 MNAR 缺失。假设:设计矩阵满足 \((β, γ)\)-正则条件(Definition 15),即对任意超平面,有正比例的点距离足够远。
相比已有文献的放宽/强化: - 放宽:不假设 MCAR 或 MAR,允许任意 MNAR。 - 强化:要求 \(\epsilon\) 有上界(任意污染)或 \(P\) 有矩条件(可实现污染),否则问题不可解。
主要结果¶
Theorem 5(任意污染上界):若 \(\epsilon\) 满足式 (17),则 ITERATIVE_ROBUST_MEAN 算法以概率 ≥1−δ 达到
Theorem 6(任意污染下界):若 \(\epsilon \geq q/(1+q)\),则对任意估计量,minimax \((1-\delta)\) 分位数为无穷;若 \(\epsilon < q/(1+q)\),则
Theorem 7-9(Gaussian 可实现污染):最小 Kolmogorov 距离估计量 \(\hat{\theta}^K_n\) 以概率 ≥1−δ 达到
Theorem 12-13(非参数可实现污染):对于 \(L_r\) 矩条件(Theorem 12(a))和次 Gaussian 条件(Theorem 12(b)),分别给出上界
Theorem 17(回归):在 \((β, γ)\)-正则设计下,最小 Kolmogorov 距离估计量以概率 ≥1−δ 达到
Section 6(自适应):通过 Lepski-type 方法(Proposition 18),在未知 ε 时,自适应估计量的误差至多为非自适应情形的 \(O(\log\log n)\) 倍。
证明路线与技术技巧¶
Theorem 5 的证明路线: 1. 数据分割:将样本随机分成 \(T\) 份(Algorithm 1 中的 \(S^{(1)}, \ldots, S^{(T)}\))。 2. 迭代插补:在第 \(t\) 轮,用当前估计 \(\hat{\theta}^{(t-1)}\) 对缺失值进行插补,得到"完整"数据。 3. 稳健估计:对插补后的数据运行稳健均值估计算法 ALG(满足式 (16))。 4. 误差分解:将 \(\|\hat{\theta}^{(t)} - \theta_0\|_2^2\) 分解为插补误差 + 稳健估计误差,利用归纳法控制。 5. 关键引理:Lemma S4 控制插补后的协方差,Lemma S6 控制迭代过程的收缩。
Theorem 6 的证明路线: 1. 构造两个分布:\(R_1, R_2\) 在 MCAR 部分相同,但污染部分分别集中在 \(\theta_1\) 和 \(\theta_2\)。 2. 计算 TV 距离:利用 Lemma S32 将 TV 距离转化为平均 TV 距离,再通过 Pinsker 不等式控制。 3. 应用 minimax 下界引理:若 TV 距离 ≤ 1−2δ,则任何估计量的误差至少为 \(\|\theta_1 - \theta_2\|_2^2/4\)。 4. 优化参数:选择 \(\theta_1, \theta_2\) 的距离,使得 TV 距离恰好 ≤ 1−2δ,从而得到下界。
Theorem 9 的证明路线: 1. Kolmogorov 距离估计:定义 \(\hat{\theta}^K_n\) 为最小化 \(d_K(\hat{R}_n, \mathcal{R}(\theta))\) 的 θ。 2. 上界:利用 Lemma S9 证明 \(d_K(\hat{R}_n, \mathcal{R}(\theta_0))\) 很小,再利用 Theorem 7 的插值技巧。 3. 下界:构造两个 Gaussian 可实现分布,计算其 Kolmogorov 距离,应用 minimax 下界引理。
技术技巧清单: - 迭代插补 + 稳健估计(Algorithm 1):将缺失数据处理转化为"插补 + 稳健化"两步,是本文的核心算法创新。 - minimax 分位数框架(Section 2.4):用 \((1-\delta)\) 分位数替代期望风险,避免了期望风险为无穷的问题。 - Kolmogorov 距离投影(Section 4.1.3):将估计问题转化为线性规划,计算高效。 - Lepski-type 自适应(Section 6):通过比较不同 ε 下的估计量,自适应选择最优 ε。 - 平均 TV 距离(Lemma S32):将高维 TV 距离分解为边缘 TV 距离的加权和,简化了下界证明。
真实例子与应用¶
- 收入调查数据(Bollinger et al., 2019):在 Proposition 4 后的讨论中,作者用该数据说明其可实现污染模型能涵盖 U 型缺失机制(低收入和高收入人群缺失率更高),并给出 ε=0.25, q=0.8 的具体参数。
- 空气质量和临床数据(Kwak & Kim, 2017; Hua et al., 2024):在引言中提到这些数据同时存在缺失和异常值,是任意污染模型的典型应用场景。
- 模拟实验:论文声称有模拟实验(见 Section 4.1.3 的线性规划求解),但正文未给出具体数值结果。
🔎 结论是否比证明窄¶
- Theorem 5 vs 式 (18):定理只对满足式 (17) 的 ε 成立,但式 (18) 的分解被表述为对所有 ε 成立。实际上,当 ε 接近 q/(1+q) 时,式 (17) 可能不满足,此时上界不成立。这是一个表述上的过度泛化。
- Theorem 9 vs Theorem 8:Theorem 9 的上界在中间区域(式 23 成立时)有额外的对数因子,而 Theorem 8 的下界没有。作者承认这一点("except in an intermediate parameter regime"),但没有给出该区域是否本质的讨论。
- Theorem 17 vs 均值情形:回归结果的证明依赖于 \((β, γ)\)-正则设计,这是一个较强的条件。作者没有讨论当设计矩阵不满足该条件时会发生什么。
- Section 6 自适应:Proposition 18 要求 \(\phi(\epsilon, \delta)\) 关于 ε 单调递减,但 Theorem 5 中的上界并不严格单调。这是一个技术假设,可能在实际中不成立。
四、开放问题¶
-
高维情形的推广:本文的均值估计结果仅限于固定维数 \(d\)。当 \(d\) 随 \(n\) 增长时,minimax 率如何变化?特别是,\(\Sigma^{IPW}\) 的谱范数在高维下可能很大,需要稀疏性假设。扎根点:Theorem 5 中的 \(T = O(\log d)\) 暗示高维可行,但未给出完整分析。
-
缺失模式的依赖结构:本文假设缺失模式 \(\Omega\) 的分布 \(\pi\) 已知。当 \(\pi\) 未知且需要估计时,会引入额外的误差。扎根点:Section 2.1 中 \(\pi\) 被当作已知参数。
-
非线性参数:本文仅考虑均值(线性泛函)。对于中位数、分位数等非线性泛函,可实现污染模型下的 minimax 率是否仍然可分解?扎根点:Theorem 12 的证明强烈依赖于均值的线性结构。
-
自适应 ε 的紧性:Section 6 的自适应方法代价为 \(O(\log\log n)\),但这是否是最优的?是否存在自适应估计量达到与非自适应相同的常数?扎根点:Proposition 18 只给出了上界,没有下界。
-
计算复杂性:最小 Kolmogorov 距离估计量需要求解线性规划,当 \(n\) 很大时计算代价高。是否存在计算上更高效的近似算法?扎根点:Section 4.1.3 仅提到可用 lpSolve 求解,未讨论大规模情形。
-
与因果推断的联系:本文的框架与缺失数据的因果推断(如工具变量、代理变量)有何联系?可实现污染模型能否用于敏感性分析中的偏倚校正?扎根点:Proposition 4 后的讨论提到与 Rosenbaum 敏感性模型的联系,但未深入。
提示:要确认上述问题是否为真 gap,建议去读以下近期文献的引言部分(约 5 篇):(i) 高维缺失数据估计(如 Loh & Wainwright 的后续工作);(ii) 缺失数据下的半参数效率;(iii) 分布鲁棒优化与 Wasserstein 鲁棒性;(iv) 因果推断中的敏感性分析(如 Cinelli & Hazlett);(v) 计算高效的稳健估计(如 Depersin & Lecué 的后续工作)。如果这些文献的引言都未提及本文的框架,则上述问题很可能是真 gap。
Maintained by 陈星宇 · Homepage · Source on GitHub