Distribution-free predictive inference with instrumental variables¶
作者: Yonghoon Lee, Edgar Dobriban, Eric Tchetgen Tchetgen
主题: 因果推断
相关性: 8/10
链接: https://arxiv.org/abs/2610.35605
一、领域脉络与小综述¶
这个方向是什么¶
本文研究的核心问题是:当结局变量存在非随机缺失(MNAR)时,如何在不依赖分布假设的前提下,为新的测试个体构建有信息量的预测区间。传统保形预测(conformal prediction)在数据完全可交换(即完全随机缺失,MCAR)时能提供精确的有限样本覆盖保证;加权保形预测(weighted conformal prediction, WCP)将这一框架推广到协变量偏移(即随机缺失,MAR)场景。然而,当缺失机制本身依赖于未观测的结局值(MNAR)时,观测数据与目标分布之间存在不可识别的偏移,此时若无额外结构假设,任何分布自由方法都无法提供非平凡保证。本文引入工具变量(IV)作为额外信息源,系统刻画了在 MNAR 下进行分布自由预测推断的理论边界。
发展脉络¶
- 奠基工作——保形预测:Vovk et al. [2005] 建立了保形预测的有限样本覆盖理论,其核心思想是利用数据可交换性构造秩统计量,从而在不假设分布形式的前提下获得精确的边际覆盖保证。这一框架的局限在于对数据同分布的严格要求。
- 关键推广——加权保形预测:Tibshirani et al. [2019] 将保形预测推广到协变量偏移场景,通过似然比加权修正训练与测试分布之间的偏移。这一工作奠定了处理分布偏移的通用范式,但其有效性依赖于偏移完全由可观测协变量解释(即 MAR 假设)。
- 分布自由推断的极限:Barber et al. [2021] 系统研究了条件覆盖与边际覆盖之间的张力,指出在无分布假设时,条件覆盖目标本质上不可达,边际覆盖是可行的最强保证。这为理解"分布自由"的确切含义提供了理论框架。
- MNAR 下的 IV 方法:Tchetgen Tchetgen 和 Wirth [2017] 与 Sun et al. [2018] 建立了 MNAR 下利用 IV 进行非参数识别的理论框架,给出了结局均值等总体参数的识别条件。这些工作聚焦于点估计,未涉及预测区间构建。
- 保形预测与因果推断的交叉:Lei and Candès [2021] 将保形预测应用于反事实预测,Jin et al. [2023] 进一步考虑了未观测混杂下的敏感性分析。这些工作表明保形框架可以嵌入因果结构,但均未处理 IV 这一特殊工具。
- 本文的位置:本文首次将 IV 引入分布自由预测推断,提出了"识别指数"(identification index)这一新参数,并给出了完整的可能性刻画(不可能性定理 + 可实现性定理),填补了 MNAR 下预测推断的理论空白。
子线索聚类¶
- 保形预测的理论扩展:Vovk et al. [2005], Barber et al. [2021], Angelopoulos et al. [2024]——关注可交换性假设的放松与覆盖保证的精确形式。
- 分布偏移下的预测推断:Tibshirani et al. [2019], Yang et al. [2024], Qiu et al. [2023]——处理协变量偏移、标签偏移等场景,核心工具是似然比加权与半参数效率理论。
- MNAR 与 IV 识别:Tchetgen Tchetgen and Wirth [2017], Sun et al. [2018], Marden et al. [2018], Liu et al. [2025]——关注点估计的识别条件,IV 作为排除限制的工具。
- 保形预测与因果推断:Lei and Candès [2021], Jin et al. [2023]——将保形框架应用于反事实与个体处理效应,处理未观测混杂。
这个方向在追问的核心问题¶
- 识别的边界:在 MNAR 下,哪些目标量(均值、分位数、预测区间)可以被识别?需要什么样的额外假设(IV 有效性、形状约束、参数模型)?
- 分布自由的代价:放弃分布假设后,预测区间的宽度与覆盖保证之间存在怎样的基本权衡?是否存在信息论意义上的最优过程?
- 半参数效率的角色:现代半参数理论(效率界、有效影响函数)能否为分布自由推断提供比朴素插件法更优的工具?双重稳健性在预测区间场景下如何体现?
⚠️ 作者的 framing¶
作者将缺口 frame 为:"在 MNAR 下,分布自由预测推断是否可能?若可能,需要什么条件?" 他们的回答是:这完全由识别指数 Γ_P 决定——当 Γ_P < 1−α 时,任何分布自由方法都无法提供有信息量的预测区间(不可能性);当 Γ_P > 1−α 时,存在有限宽度且覆盖达标的预测区间(可实现性)。这一 framing 将问题从"如何做"提升到"何时可能",与经典识别理论(如 IV 识别条件)形成类比。作者淡化了竞争路线——即通过参数化缺失模型(如 Heckman 选择模型)获得识别——的理由是这些方法依赖强分布假设,与分布自由框架的精神不符。
值得注意的遗漏:作者在 intro 中未讨论"条件覆盖"目标在 IV 设定下的可能性。Barber et al. [2021] 已证明无条件边际覆盖是分布自由推断的极限,但本文的识别指数刻画的是边际覆盖下的可能性边界。条件覆盖在 IV 设定下是否可能、需要什么额外条件,是一个未被触及的问题。
张力¶
未见明显对立引用。但存在一个微妙的张力:Tchetgen Tchetgen 和 Wirth [2017] 与 Sun et al. [2018] 的 IV 识别结果要求 IV 与缺失指示器之间的相关性(相关性条件),而本文的识别指数 Γ_P 并不显式要求这一条件——它只要求"存在一个 IV 值使得观测概率足够高"。这意味着本文的框架可能比传统 IV 识别更宽泛,但也可能因此丢失了传统 IV 方法中的某些效率性质。这一张力值得进一步探究。
二、最核心、最简单的例子 / 数学问题¶
第一步:符号、模型、可观测数据¶
符号清单:
| 符号 | 含义 | 类型 |
|---|---|---|
| \(X \in \mathcal{X}\) | 协变量(特征) | 可观测随机变量 |
| \(Z \in \mathcal{Z}\) | 工具变量(有限类别,\(\lvert\mathcal{Z}\rvert < \infty\)) | 可观测随机变量 |
| \(Y \in \mathbb{R}\) | 结局变量 | 目标随机变量(部分不可观测) |
| \(R \in \{0,1\}\) | 缺失指示器(\(R=1\) 表示 \(Y\) 被观测) | 可观测随机变量 |
| \(P\) | 联合分布 \((X,Z,R,Y)\) | 未知分布 |
| \(P_{X,Z,R,RY}\) | 观测数据的分布 | 可观测分布 |
| \(\pi_{z,x} = P\{R=1 \mid Z=z, X=x\}\) | 观测概率(倾向得分) | nuisance 参数 |
| \(\kappa_{z,x} = P\{Z=z \mid X=x\}\) | 工具变量倾向 | nuisance 参数 |
| \(f_{z,x,1}(y) = f_{Y \mid R=1,Z=z,X=x}(y)\) | 观测组结局密度 | nuisance 参数 |
| \(f_{x}(y) = f_{Y \mid X=x}(y)\) | 完整结局密度 | 目标量(不可识别) |
| \(i_{P,x}(y) = \max_{z \in \mathcal{Z}} \pi_{z,x} f_{z,x,1}(y)\) | 识别子密度 | 可识别量 |
| \(\gamma_P(x) = \int_{\mathbb{R}} i_{P,x}(y) dy\) | 局部识别指数 | 可识别量 |
| \(\Gamma_P = \mathbb{E}_{X \sim P_X}[\gamma_P(X)]\) | 识别指数 | 可识别量(标量) |
| \(\alpha\) | 目标错误率 | 用户指定 |
| \(s: \mathcal{X} \times \mathbb{R} \to \mathbb{R}\) | 非一致性得分 | 用户选择 |
| \(\hat{C}_n(x)\) | 预测区间 | 输出 |
模型设定:
- 数据生成机制:\((X_i, Z_i, R_i, Y_i)_{i=1}^{n+1} \overset{\text{i.i.d.}}{\sim} P\),其中 \(P \in \mathcal{P}_{\text{IV}}\) 满足 IV 条件 \(Z \perp\!\!\!\perp Y \mid X\)。
- 可观测数据:\((X_i, Z_i, R_i, R_i Y_i)_{i=1}^{n}\)(训练+校准),以及测试输入 \(X_{n+1}\)。注意:\(Y_{n+1}\) 不可观测,\(R_i=0\) 时 \(Y_i\) 也不可观测。
- 目标:构建 \(\hat{C}_n(X_{n+1})\) 使得 \(P\{Y_{n+1} \in \hat{C}_n(X_{n+1})\} \geq 1-\alpha\),且 \(\mathbb{E}[\mathrm{Leb}(\hat{C}_n(X_{n+1}))] < \infty\)(有信息量)。
- 分布自由:保证对所有 \(P \in \mathcal{P}_{\text{IV}}\) 成立,不假设 \(Y\) 的分布形式。
第二步:最小内核¶
核心问题:在 MNAR 下,观测数据 \((X,Z,R,RY)\) 的分布 \(P_{X,Z,R,RY}\) 无法唯一决定完整数据分布 \(P_{X,Z,R,Y}\)。因此,任何基于观测数据的预测区间 \(\hat{C}_n\) 的覆盖概率 \(P\{Y_{n+1} \in \hat{C}_n(X_{n+1})\}\) 在 \(P \in \mathcal{P}_{\text{IV}}\) 上并不唯一。
关键洞察:尽管 \(P_{X,Z,R,Y}\) 不可识别,但存在一个可识别的上界——识别子密度 \(i_{P,x}(y)\)。它表示在给定 \(X=x\) 时,通过选择最有利的工具变量值,结局 \(Y\) 落在 \(y\) 附近的最大可识别概率密度。积分 \(\gamma_P(x) = \int i_{P,x}(y) dy\) 衡量了在 \(X=x\) 处通过 IV 能"捕获"的结局分布总质量。
最小例子(二值工具变量,\(Z \in \{0,1\}\)):
设 \(X\) 为常数(无协变量),\(Y \sim \text{Unif}[0,1]\),\(R\) 的缺失机制为: - \(P\{R=1 \mid Y=y, Z=0\} = 0.2\)(工具值 0 时观测概率恒为 0.2) - \(P\{R=1 \mid Y=y, Z=1\} = 0.9\)(工具值 1 时观测概率恒为 0.9)
此时 \(\pi_{0} = 0.2\),\(\pi_{1} = 0.9\),\(f_{0,1}(y) = f_{1,1}(y) = 1\)(因为 \(Y\) 与 \(Z\) 独立,观测组内 \(Y\) 仍均匀)。识别子密度为:
识别指数 \(\Gamma_P = \int_0^1 0.9 \, dy = 0.9\)。
为什么 \(\Gamma_P\) 是关键: - 若 \(\Gamma_P < 1-\alpha\),则任何分布自由预测区间 \(\hat{C}_n\) 的覆盖概率至多为 \(\Gamma_P < 1-\alpha\)(因为区间最多覆盖识别子密度的支撑集,其总质量仅为 \(\Gamma_P\))。不可能性。 - 若 \(\Gamma_P > 1-\alpha\),则存在一个阈值 \(t_\alpha\) 使得 \(\mathbb{E}[\delta(t_\alpha, X)] \leq \alpha\),其中 \(\delta(t, x) = 1 - \int_{-\infty}^{t} i_{P,x}(y) dy\) 是"尾部丢失质量"。此时预测区间 \(\{y : s(x,y) \leq t_\alpha\}\) 的覆盖至少为 \(1-\alpha\)。可实现性。
证明直觉(定理 3.1 的核心构造):对于任意 \(P\) 满足 \(\Gamma_P < 1-\alpha\),可以构造另一个分布 \(Q \in \mathcal{P}_{\text{IV}}\),使得 \(Q\) 与 \(P\) 的观测数据分布完全相同(即 \(P_{X,Z,R,RY} = Q_{X,Z,R,RY}\)),但 \(Q\) 的结局分布将大量质量放置在 \(P\) 的识别子密度支撑集之外(例如,在 \(y = M\) 处放置 \(\delta_M\) 点质量)。由于观测数据无法区分 \(P\) 和 \(Q\),任何基于观测数据的预测区间在 \(Q\) 下的覆盖必然不足。这一构造利用了 MNAR 的根本不可识别性:缺失的结局可以"隐藏"任意多的质量。
这个最小内核揭示了什么:本文的数学贡献不在于提出新的估计方法,而在于精确定义了"可识别信息量"——识别指数 \(\Gamma_P\) 是观测数据分布的可识别函数,它决定了分布自由预测推断的可能性边界。这类似于半参数理论中"可识别参数"与"不可识别 nuisance"的区分,但应用于预测区间而非点估计。
三、这篇论文做了什么¶
三句话¶
- 研究了什么问题:在结局 MNAR 且存在工具变量的设定下,分布自由预测推断何时可能?何时不可能?
- 核心工具/方法:引入"识别指数" \(\Gamma_P\) 作为可能性判据;在可实现区间,提出基于策略(policy)的预测方法,利用半参数效率理论(有效影响函数)构造双重稳健的 nuisance 估计,并给出有限样本覆盖保证。
- 主要结论:当 \(\Gamma_P < 1-\alpha\) 时,任何分布自由方法(甚至 oracle 方法)都无法提供有限宽度的有效预测区间;当 \(\Gamma_P > 1-\alpha\) 时,所提策略方法达到近似覆盖,且覆盖误差由 nuisance 估计误差的二阶项和 \(O(n^{-1/2})\) 校准误差控制。
关键设定与假设¶
- IV 有效性(Assumption 2.1):\(Z \perp\!\!\!\perp Y \mid X\)。这是全文唯一的分布假设,也是 IV 方法的标准排除限制。注意:不要求 \(Z \not\!\perp\!\!\!\perp R \mid X\)(相关性/相关性条件),因此比传统 IV 识别更弱。
- 类别型 IV:\(\lvert\mathcal{Z}\rvert < \infty\)。这一假设简化了策略空间,但作者在附录 A.1 中讨论了连续 IV 的推广。
- ** nuisance 估计**:假设存在独立的训练数据估计 \(\hat{\kappa}_{z,x}\) 和 \(\hat{m}^a_{z,x}(t)\),且满足 \(L^2\) 收敛速率(定理 4.3 中显式出现)。这是半参数效率理论的标准框架。
- 非一致性得分:\(s(x,y)\) 固定(如 \(|y - \hat{\mu}(x)|\)),不要求其最优性。
相比已有工作的关键差异: - 相比 WCP [Tibshirani et al., 2019]:WCP 假设 MAR(即 \(R \perp\!\!\!\perp Y \mid X\)),本文允许 MNAR,但需要 IV。 - 相比 Heckman 选择模型:本文不假设缺失机制的参数形式,但代价是只能获得部分识别(区间估计而非点估计)。 - 相比 Jin et al. [2023]:后者考虑未观测混杂下的敏感性分析,本文聚焦 IV 这一特定工具。
主要结果¶
定理 3.1(不可能性):若 \(\Gamma_P < 1-\alpha\),则对任意 oracle 算法 \(A\)(即使知道 \(P\) 的完整观测分布),存在 \(Q \in \mathcal{P}_{\text{IV}}\) 使得 \(P_{X,Z,R,RY} = Q_{X,Z,R,RY}\) 但 \(Q\{Y_{n+1} \in \hat{C}_n(X_{n+1})\} < 1-\alpha\)。证明技巧:构造 \(Q\) 在识别子密度支撑集外放置点质量,利用观测分布不可区分性。
定理 3.2(可实现性):若 \(\Gamma_P > 1-\alpha\),则 oracle 预测集(4)和样本预测集(5)均达到至少 \(1-\alpha\) 的覆盖。证明技巧:利用 \(\delta(t, X)\) 的单调性和 Markov 不等式。
定理 4.3(双重稳健覆盖保证):策略方法(12)的覆盖率为
定理 A.4(覆盖上界):覆盖率不超过 \(1-\alpha + (1-\Gamma_P) + \text{Reg}(a) + B_a + O(n^{-1/2})\),其中 \(\text{Reg}(a)\) 是策略 \(a\) 相对于最优策略的遗憾。意义:当 \(\Gamma_P\) 接近 1 且策略接近最优时,覆盖率紧贴目标水平。
真实例子¶
-
FES 工资数据(英国家庭支出调查,1978-2000):结局 \(Y\) 为对数小时工资,\(R\) 为就业状态(工资仅对就业者观测),\(Z\) 为潜在福利收入(离散化为三分位),\(X\) 为年龄、教育、年份等。MNAR 的合理性:非就业者的潜在工资可能系统性低于就业者。结果:当 \(\Gamma_P\) 估计值约为 0.91 时,预测区间宽度为 2.11(对数工资),约为观测组 90% 分位跨度的 1.4 倍。
-
NHANES III 自报身高:结局 \(Y\) 为身高,\(R\) 为是否报告身高,\(Z\) 为访谈员身份(5 类),\(X\) 为年龄、性别、种族等。MNAR 的合理性:身高可能影响报告意愿。结果:\(\Gamma_P\) 估计值约为 0.96,预测区间宽度 7.61 英寸,约为观测组 90% 分位跨度的 0.6 倍。
例子想说明什么:当 IV 较强(\(\Gamma_P\) 高)时,预测区间可以相对紧凑;当 IV 较弱时,区间必须很宽以维持覆盖。这验证了识别指数作为"信息量度量"的实用价值。
🔎 结论是否比证明窄¶
是,存在三处"证明窄于结论":
- 定理 3.1 的适用范围:证明依赖于构造 \(Q\) 在识别子密度支撑集外放置点质量,这要求结局空间 \(\mathbb{R}\) 无原子。对于离散结局,构造需要修改(可能需要在支撑集内移动质量),但作者未讨论。
- 定理 4.3 的 nuisance 条件:证明要求 \(\hat{\kappa}\) 和 \(\hat{m}\) 的 \(L^2\) 误差有界且 \(b > 0\)。但实际中 \(\kappa_{z,x}\) 可能接近 0(弱 IV),此时 \(b\) 很小,覆盖误差项放大。作者在模拟中回避了弱 IV 场景。
- 策略选择的效率:作者声称策略方法"接近"最优,但未给出策略类 \(\mathcal{A}\) 的逼近误差分析。定理 A.4 中的 \(\text{Reg}(a)\) 是抽象的,未给出具体策略类的遗憾界。
此外:作者在 intro 中声称"完整刻画了可能性",但定理 3.1 只处理了 \(\Gamma_P < 1-\alpha\) 的情形,\(\Gamma_P = 1-\alpha\) 的边界情形仅在附录 B 中简要讨论(结论是"取决于支撑集结构"),未给出统一刻画。
四、开放问题¶
-
条件覆盖的可能性:本文的识别指数刻画的是边际覆盖下的可能性。在 IV 设定下,条件覆盖(给定 \(X=x\))是否可能?需要什么额外条件?这直接关系到个性化预测的可行性。
-
连续 IV 的推广:本文假设 \(\lvert\mathcal{Z}\rvert < \infty\)。对于连续 IV(如剂量、距离),识别指数的定义需要修改(涉及 sup 而非 max),且策略学习可能面临无限类别的问题。附录 A.1 的推广是否完备?
-
弱 IV 下的行为:当 \(\Gamma_P\) 接近 \(1-\alpha\) 时,预测区间宽度趋于无穷。是否存在"过渡区间"——即 \(\Gamma_P\) 略高于 \(1-\alpha\) 但区间宽度仍可接受?能否给出宽度关于 \(\Gamma_P\) 的显式依赖?
-
nuisance 估计的自适应:定理 4.3 的覆盖保证要求 nuisance 估计达到 \(L^2\) 收敛。在高维或非参数设定下,如何构造满足条件的估计器?能否利用交叉拟合(cross-fitting)放松条件?
-
与因果推断的进一步联系:本文的框架可视为"工具变量预测区间"。能否扩展到更一般的因果参数(如条件平均处理效应 CATE)的预测区间?识别指数是否与因果识别的强度(如 F 统计量)有联系?
提示:要确认上述开放问题是否为真 gap,建议阅读以下近期工作(各约 5 篇)的 intro: - 保形预测在因果推断中的应用(Lei & Candès 2021 之后的后续工作) - IV 在缺失数据中的识别理论(Sun et al. 2018 之后的后续工作) - 分布自由推断的条件覆盖问题(Barber et al. 2021 之后的后续工作)
如果这些工作的 intro 都指向同一问题,则为共识性 gap;如果互相矛盾,则为机会。
Maintained by 陈星宇 · Homepage · Source on GitHub