跳转至

Structural restrictions in local causal discovery: identifying direct causes of a target variable

作者: Juraj Bodik, Valérie Chavez-Demoulin
来源: Biometrika
主题: 因果推断
相关性: 8/10
链接: https://doi.org/10.1093/biomet/asaf042


一、领域脉络与小综述

  • 这个方向是什么:本文属于因果发现(causal discovery)中的一个子方向——局部因果结构识别。与学习完整 DAG 不同,这里只关心一个目标变量 \(Y\) 的直接原因集合 \(\text{pa}_Y\)。根本问题是:在仅观测到单一环境(无干预、无环境变量)的联合分布 \(P(X_1,\dots,X_p,Y)\) 时,能否以及如何在尽量弱的假设下识别 \(\text{pa}_Y\)?该方向的成熟度处于"理论框架已建立、但可识别性条件仍偏强"的阶段——全局 DAG 可识别需要强假设(如非线性高斯、线性非高斯等),而局部识别有望大幅放松这些条件。

  • 发展脉络(history):

  • 奠基工作:Shimizu et al. (2006) 提出 LiNGaM(线性非高斯加性模型),证明在非高斯噪声下线性 DAG 可从观测分布中完全识别;Hoyer et al. (2008) 与 Peters et al. (2014) 将可识别性推广到非线性加性噪声模型(ANM),其核心结论是:只要函数非线性且噪声非退化,因果方向可识别。这些工作确立了"结构限制"(对函数类/噪声分布施加假设)作为解决因果可识别性的主流路线。
  • 主要进展:Peters et al. (2014) 系统化了 ANM 的可识别性理论,定义了"受限加性噪声模型"(restricted ANM),并给出完整 DAG 可识别的充分条件;Zhang and Hyvärinen (2009) 进一步推广到后非线性(PNL)模型。同时,局部因果结构学习开始受到关注——Yin et al. (2008)、Aliferis et al. (2010)、Wang et al. (2014)、Ling et al. (2020) 等提出基于条件独立检验的局部骨架学习算法(如 MB 算法),但这些方法只能识别马尔可夫毯/骨架,无法确定边的方向。Gao and Aragam (2021) 提出基于熵比较的马尔可夫毯估计,但仍未解决方向识别。
  • 当前 frontier:Peters et al. (2016) 的 ICP(不变因果预测)是另一条重要路线——利用多环境数据的不变性来识别直接原因,但需要多个环境或干预。Azadkia et al. (2021) 在 polytree 假设下提出快速局部因果学习方法。本文的位置是:在 ICP 需要多环境、全局 ANM 需要完整 DAG 假设之间,开辟一条"仅需单一观测环境 + 仅对 \(Y\) 的生成过程施加结构限制"的中间路线。作者在 intro 中明确说:"we are only interested in identifying the direct causes of one target variable (local causal structure), not the full DAG",并强调"we put essentially no assumptions on the variables other than the target variable"。

  • 子线索聚类:

  • 全局可识别性理论(LiNGaM、ANM、PNL):Shimizu et al. (2006)、Hoyer et al. (2008)、Peters et al. (2014)、Zhang and Hyvärinen (2009)。核心问题:什么条件下完整 DAG 可从观测分布唯一恢复?
  • 局部结构学习(马尔可夫毯、骨架发现):Yin et al. (2008)、Aliferis et al. (2010)、Wang et al. (2014)、Ling et al. (2020)、Gao and Aragam (2021)。核心问题:如何高效找到目标变量的邻居/马尔可夫毯?
  • 多环境/干预下的因果识别(ICP 及其扩展):Peters et al. (2016)、Heinze-Deml et al. (2018)、Mooij et al. (2020)。核心问题:如何利用环境不变性识别直接原因?
  • 本文的定位:将第 1 条线索的结构限制思想(ANM)与第 2 条线索的局部视角结合,提出"局部 ANM"框架——只对 \(f_Y\) 施加结构限制,不对其他变量做任何假设。

  • 这个方向在追问的核心问题:

  • 局部可识别性:在什么条件下,\(\text{pa}_Y\) 能从 \(P(X,Y)\) 中唯一确定?(本文回答:\(f_Y\) 属于"足够复杂"的函数类时)
  • 可检验性:给定有限样本,如何检验一个候选集合 \(S\) 是否为"F-可行"(F-plausible)?
  • 算法效率:能否避免搜索所有 \(2^p\) 个子集?
  • 与全局方法的关系:局部可识别性是否蕴含全局可识别性?反之如何?
  • 已知瓶颈:线性高斯模型下 \(\text{pa}_Y\) 本质上不可识别(协方差矩阵不足以确定方向);函数类 \(F\) 的选择是关键——太宽则几乎所有集合都可行,太窄则假设不现实。

  • ⚠️ 作者的 framing(这是作者的说法):作者将缺口 frame 成"全局可识别性假设过强,局部视角可以放松"。具体来说,作者声称:(i) 现有 ANM 理论要求所有变量满足结构限制,而本文只要求 \(Y\) 满足;(ii) ICP 需要多环境,本文只需要单环境;(iii) 本文的"局部可识别性"是全新的理论贡献。被淡化的竞争路线包括:基于条件独立检验的局部方法(如 PC 算法的局部版本)——作者承认这些方法能识别骨架,但认为它们"cannot orient the edges";多环境方法——作者承认 ICP 在环境足够丰富时可识别,但强调"we do not require the existence of an environmental variable"。值得研究者去查的问题:作者没有讨论测量误差、选择偏差或隐变量(除 \(\text{pa}_Y\) 内部的隐变量外)对局部可识别性的影响;也没有与 DAG 上的马尔可夫等价类理论(如 Chickering, 2002 的 GES 算法)做系统比较——局部可识别性是否等价于"目标节点的马尔可夫毯在等价类中不变"?这是一个未被作者正面回答的问题。

  • 张力:未见明显对立引用。但存在一个微妙的张力:Peters et al. (2014) 的 ANM 可识别性依赖于"函数非线性 + 噪声非高斯"的全局条件,而本文声称局部条件即可。作者通过"只对 \(f_Y\) 施加限制"绕过了全局条件,但代价是对 \(f_Y\) 的函数形式要求更强(需要"足够复杂")。这暗示可能存在一个 trade-off:全局假设 vs. 局部假设的强度互换。另一个张力:作者在 Theorem 1 中假设 \(X_{\text{pa}_Y}\) 分量独立,这与 Peters et al. (2014) 中允许 \(X_{\text{pa}_Y}\) 相关的设定不同——作者用"独立分量"换取了"无需对 \(f_Y\) 之外做假设"。

二、最核心、最简单的例子 / 数学问题

第一步:符号、模型、可观测数据交代清楚

  • 符号:
  • \(Y\):目标变量(随机变量,可观测)。
  • \(X = (X_1,\dots,X_p)^\top\):候选原因变量(随机向量,可观测)。
  • \(\text{pa}_Y \subseteq \{1,\dots,p\}\):\(Y\) 的直接原因集合(目标 estimand,要估计的对象)。
  • \(S \subseteq \{1,\dots,p\}\):任意非空候选集合。
  • \(X_S\):下标在 \(S\) 中的变量子向量。
  • \(F\):函数类,\(f_Y \in F\) 是 \(Y\) 的结构方程。
  • \(\varepsilon_Y\):\(Y\) 的噪声变量,\(\varepsilon_Y \sim U(0,1)\),且 \(\varepsilon_Y \perp\!\!\!\perp X_{\text{pa}_Y}\)。
  • \(F\)-plausible:定义 1 中的核心概念——集合 \(S\) 是 \(F\)-可行的,若存在 \(f \in F\) 使得 \(f^{\leftarrow}(X_S, Y) \perp\!\!\!\perp X_S\) 且 \(f^{\leftarrow}(X_S, Y) \sim U(0,1)\)。
  • \(S_F(Y)\):所有 \(F\)-可行集合的交集,即 \(F\)-可识别的直接原因集合。
  • \(I_m\):可逆且极小的函数类(Appendix A.1 定义)。
  • \(H^I_{0,S}, H^S_{0,S}, H^D_{0,S}\):三个子假设(独立性、显著性、分布)。

  • 模型:假设 \(Y\) 由结构方程 \(Y = f_Y(X_{\text{pa}_Y}, \varepsilon_Y)\) 生成,其中 \(f_Y \in F \subseteq I_m\)(可逆且极小),\(\varepsilon_Y \sim U(0,1)\),\(\varepsilon_Y \perp\!\!\!\perp X_{\text{pa}_Y}\)。关键:对 \(X_{\text{pa}_Y}\) 之外的变量 \(X_{\text{pa}_Y^c}\) 不做任何假设——它们可以是 \(Y\) 的后代、与 \(Y\) 无关、甚至相互依赖。可观测数据为 \(n\) 个 i.i.d. 样本 \((y_i, x_i)_{i=1}^n \sim P(X,Y)\)。

第二步:最小内核

核心问题:给定 \(P(X,Y)\),能否确定 \(\text{pa}_Y\)?

最小例子(\(p=2\),\(Y\) 有一个直接原因): 设真实模型为 \(Y = f_Y(X_1, \varepsilon_Y)\),即 \(\text{pa}_Y = \{1\}\),\(X_2\) 是 \(Y\) 的后代(\(X_2 = g(Y, \eta)\))或与 \(Y\) 无关。我们想知道:能否从 \(P(X_1, X_2, Y)\) 中排除 \(S = \{2\}\) 作为 \(Y\) 的直接原因?

直觉:如果 \(S = \{2\}\) 是 \(F\)-可行的,那么存在 \(f \in F\) 使得 \(f^{\leftarrow}(X_2, Y) \perp\!\!\!\perp X_2\)。但真实生成过程中,\(Y\) 是由 \(X_1\) 决定的,\(X_2\) 是 \(Y\) 的效应。若 \(f_Y\) 是"足够复杂"的函数(例如非线性高斯),则 \(Y\) 与 \(X_2\) 之间的关系不能被一个可逆的 \(F\)-函数分解为"\(X_2\) 独立于噪声"的形式。因此 \(S = \{2\}\) 不是 \(F\)-可行的,从而 \(S_F(Y) = \{1\} = \text{pa}_Y\)。

数学上干了什么:Theorem 1 给出了这个直觉的严格版本。它说:若 \(X_{\text{pa}_Y}\) 分量独立,\(f_Y\) 是单射的,且 \(f_Y\) 不能分解为 \(f_Y(x, e) = h_1(x_S) + h_2(x_{\text{pa}_Y \setminus S}) + q^{-1}(e)\) 的形式(对任何 \(S \subsetneq \text{pa}_Y\)),那么任何真子集 \(S \subsetneq \text{pa}_Y\) 都不是 \(F\)-可行的。证明的关键步骤是反证法:假设 \(S\) 是 \(F\)-可行的,则存在 \(f \in F\) 使得 \(f^{\leftarrow}(X_S, Y) \perp\!\!\!\perp X_S\)。利用 \(Y = f_Y(X_{\text{pa}_Y}, \varepsilon_Y)\) 和 \(f_Y\) 的可逆性,可以推出 \(f_Y\) 必须具有可加分解的形式,这与"\(f_Y\) 足够复杂"的假设矛盾。这里的核心技巧是:将"独立性"这一概率条件转化为"函数可分解性"这一代数条件,然后用函数类的"不可分解性"来排除候选集合。为什么成立:因为 \(f_Y\) 是单射的,所以 \(Y\) 中包含了 \(\varepsilon_Y\) 的全部信息;如果 \(S\) 是可行的,那么 \(Y\) 中关于 \(X_S\) 的信息必须被"剥离"出来,这迫使 \(f_Y\) 具有可加结构。

这个例子的意义:它展示了本文的核心思想——用函数类的结构限制替代全局图假设。在 \(p=2\) 的例子中,不需要知道 \(X_1\) 和 \(X_2\) 之间的关系,只需要 \(f_Y\) 足够复杂,就能识别 \(\text{pa}_Y\)。

三、这篇论文做了什么

三句话: 1. 研究了什么问题:在单一观测环境下,仅对目标变量 \(Y\) 的生成过程施加结构限制(\(f_Y \in F\)),识别 \(Y\) 的直接原因集合 \(\text{pa}_Y\),而不对系统中其他变量做任何假设。 2. 核心工具/方法:提出了"\(F\)-可识别性"理论框架(定义 1),证明了在函数类 \(F\) 足够复杂时 \(S_F(Y) = \text{pa}_Y\)(Theorem 1),并基于此开发了两种有限样本算法——ISD(假设检验法)和基于评分的变体。 3. 主要结论:在非线性高斯加性噪声模型下,局部直接原因可仅从单一观测分布中识别;ISD 算法在基准和真实数据上优于现有方法,且能提供覆盖保证(输出集合以高概率包含于 \(\text{pa}_Y\))。

关键设定与假设: - 核心假设:\(Y = f_Y(X_{\text{pa}_Y}, \varepsilon_Y)\),\(f_Y \in F \subseteq I_m\)(可逆且极小),\(\varepsilon_Y \sim U(0,1)\),\(\varepsilon_Y \perp\!\!\!\perp X_{\text{pa}_Y}\)。这是对 \(Y\) 生成过程的假设,不要求 \(X_{\text{pa}_Y}\) 之间独立(Theorem 1 的独立版本是特例)。 - 局部因果充分性(local causal sufficiency):\(Y\) 没有未观测的直接原因。这是比全局因果充分性弱得多的假设——只要求 \(Y\) 的父节点都被观测到,不要求其他变量之间无隐变量。 - 函数类 \(F\) 的选择:\(F\) 可以是 \(F_A\)(加性噪声)、\(F_{LS}\)(位置-尺度)、\(F_F\)(参数分布族)。\(F\) 越小,可识别性越强,但假设越不现实。 - 相比已有文献:相比全局 ANM(Peters et al., 2014),本文只对 \(f_Y\) 施加限制,不对 \(X\) 的生成过程做任何假设;相比 ICP(Peters et al., 2016),本文不需要环境变量或干预,只需要单一观测分布。这是两个主要放松。

主要结果: - Theorem 1(核心理论结果):设 \(X_{\text{pa}_Y}\) 有独立分量,\(f_Y\) 是单射的。若 \(f_Y\) 不能分解为 \(f_Y(x, e) = h_1(x_S) + h_2(x_{\text{pa}_Y \setminus S}) + q^{-1}(e)\) 的形式(对任何 \(S \subsetneq \text{pa}_Y\)),则 \(S_F(Y) = \text{pa}_Y\)。直觉:\(F\)-可行性要求存在 \(f \in F\) 使得 \(f^{\leftarrow}(X_S, Y) \perp\!\!\!\perp X_S\)。若 \(S\) 是 \(Y\) 的父集的真子集,则 \(Y\) 中包含了 \(X_{\text{pa}_Y \setminus S}\) 的信息,这些信息无法被 \(f^{\leftarrow}\) 剥离,除非 \(f_Y\) 具有可加分解。必要条件:\(f_Y\) 必须是单射的(否则 \(Y\) 丢失信息),且 \(X_{\text{pa}_Y}\) 分量独立(否则 \(X_S\) 与 \(X_{\text{pa}_Y \setminus S}\) 的相关性可能被误认为独立性)。 - Theorem 2(有限样本保证):若 ISD 算法使用水平 \(\alpha\) 的检验,则 \(P(\hat{S}_F(Y) \subseteq \text{pa}_Y) \ge 1 - 3\alpha\)。证明路线:将 \(F\)-可行性分解为三个子假设(独立性、显著性、分布),分别控制第一类错误,然后用 union bound。关键:这个保证是"保守"的——算法可能漏掉一些真实父节点,但不会包含非父节点。 - Proposition 1(排除子节点):在可识别的 ANM 下,包含 \(Y\) 的子节点的集合不是 \(F\)-可行的。证明思路:利用 ANM 的可识别性,\(Y \to X_{\text{child}}\) 方向不满足加性噪声假设,因此 \(f^{\leftarrow}(X_{\text{child}}, Y)\) 不可能独立于 \(X_{\text{child}}\)。 - Proposition 2(评分一致性):在 \(F_A\) 下,若所有非父集合都不可行,则评分算法一致地估计 \(\text{pa}_Y\)。证明:直接引用 Mooij et al. (2016) 的 HSIC 一致性结果。

证明路线与技术技巧: - 整体路线:Theorem 1 的证明分三步:(1) 假设 \(S\) 是 \(F\)-可行的,则存在 \(f \in F\) 使得 \(f^{\leftarrow}(X_S, Y) \perp\!\!\!\perp X_S\);(2) 利用 \(Y = f_Y(X_{\text{pa}_Y}, \varepsilon_Y)\) 和 \(f_Y\) 的可逆性,将独立性条件转化为 \(f_Y\) 的函数方程;(3) 用函数类的"不可分解性"假设导出矛盾。关键步骤是第 (2) 步:\(f^{\leftarrow}(X_S, f_Y(X_{\text{pa}_Y}, \varepsilon_Y))\) 必须独立于 \(X_S\),这意味着 \(f^{\leftarrow}\) 必须"抵消" \(f_Y\) 中依赖 \(X_S\) 的部分,这迫使 \(f_Y\) 具有可加结构。 - 关键跳跃点:最吃功夫的是 Lemma C.2(Appendix C),它证明了在独立分量假设下,若 \(h(X_S) + f(X_{\text{pa}_Y}) \perp\!\!\!\perp X_S\),则 \(f\) 必须具有可加分解。这个引理的证明用了条件特征函数的技巧:对 \(X_S\) 取条件后,特征函数必须分解为乘积形式,从而推出 \(f\) 的可加性。难点在于处理 \(f\) 的非线性——作者用"条件分布相同"来替代"独立性",然后用特征函数的唯一性定理。 - 技术技巧点名: - 条件特征函数(Lemma C.2):将独立性转化为特征函数的乘积分解,这是处理非线性函数的关键工具。 - 概率积分变换(Lemma C.3):将"分布相等"转化为"函数相等",用于处理 \(f\) 的可逆性。 - union bound(Theorem 2):将三个子假设的第一类错误合并。 - HSIC 一致性(Proposition 2):引用 Mooij et al. (2016) 的核方法结果。

真实例子与应用: - 模拟研究(Appendix B.1):验证 Theorem 1 的预测——当 \(f_Y\) 是"可分解"的(如 \(f_Y = h_1(X_1) + h_2(X_2) + \varepsilon\))时,算法无法区分 \(\{1,2\}\) 和 \(\{1\}\);当 \(f_Y\) 不可分解时,算法正确识别 \(\text{pa}_Y\)。这个例子直接验证了理论预测。 - 基准数据集(Appendix B.2):三个基准,分别对应 \(F_A\)、\(F_{LS}\)、\(F_F\) 假设。结果显示 ISD 算法在"正确原因发现率"上优于 RESIT、CAM-UV 等方法,且"无假阳性率"更高。注意:作者没有报告计算时间,而 ISD 需要搜索所有 \(2^p\) 个子集,这在 \(p\) 较大时可能不可行。 - 真实数据:生育率数据(来自 World Bank)。\(Y\) = 生育率,\(X\) = GDP、教育支出、婴儿死亡率、大洲。结果显示 \(X_3\)(婴儿死亡率)是唯一被识别的直接原因,与 Heinze-Deml et al. (2018) 的 ICP 结果一致。这个例子说明:即使没有多环境数据,单环境 + 结构限制也能得到与 ICP 一致的结论。

🔎 结论是否比证明窄: - Theorem 1 的"独立分量"假设:作者在 intro 中声称"几乎不对 \(X\) 做假设",但 Theorem 1 的独立版本要求 \(X_{\text{pa}_Y}\) 分量独立。在一般版本(Theorem 1 第二点)中,这个假设被放宽为 \(H_{X_{\text{pa}_Y}}(S)\) 条件,但作者没有给出这个条件的直观解释或验证方法。这是一个"证明窄于 claim"的地方——intro 的"几乎无假设"在定理中变成了"对 \(X_{\text{pa}_Y}\) 的分布有隐含假设"。 - Proposition 1 的适用范围:只适用于"可识别的 ANM",即要求 \(f_Y\) 非线性且噪声非高斯。对于线性高斯模型,Proposition 1 不成立,作者在 Lemma 1 中单独处理了线性情形,但结论是 \(|S_F(Y)| \le 1\),即最多只能识别一个直接原因。这意味着线性高斯情形下,本文方法几乎失效。 - Theorem 2 的"保守性":算法保证输出集合是 \(\text{pa}_Y\) 的子集,但可能漏掉真实父节点。作者没有给出"完备性"(即 \(\hat{S}_F(Y) = \text{pa}_Y\))的条件。这是一个"证明窄于 claim"的地方——intro 暗示算法能"识别"直接原因,但 Theorem 2 只保证"不包含错误原因"。 - 评分算法的理论保证:Proposition 2 只证明了"若所有非父集合都不可行,则评分一致",但没有证明"父集合的评分严格高于非父集合"。这是一个"证明窄于 claim"的地方——算法可能无法区分 \(\text{pa}_Y\) 和包含 \(\text{pa}_Y\) 的超集。

四、开放问题

  1. "独立分量"假设的放松:Theorem 1 要求 \(X_{\text{pa}_Y}\) 分量独立(或满足 \(H_{X_{\text{pa}_Y}}(S)\) 条件)。能否在 \(X_{\text{pa}_Y}\) 相关的情形下得到类似的可识别性结果?作者在 Appendix A.6 中给出了部分推广,但一般情形仍开放。扎根点:Theorem 1 的陈述和证明(Appendix D)。
  2. 线性高斯情形的处理:Lemma 1 表明线性高斯模型下 \(|S_F(Y)| \le 1\),即方法几乎失效。能否通过额外的假设(如等方差、图结构限制)改进?扎根点:Lemma 1 及其证明。
  3. 完备性保证:Theorem 2 只保证 \(\hat{S}_F(Y) \subseteq \text{pa}_Y\),但没有保证 \(\hat{S}_F(Y) = \text{pa}_Y\)。在什么条件下算法能完全恢复 \(\text{pa}_Y\)?扎根点:Theorem 2 的陈述和证明。
  4. 计算复杂度:ISD 算法需要搜索所有 \(2^p\) 个子集,在 \(p\) 较大时不可行。能否设计更高效的搜索策略(如分支定界、贪心搜索)?扎根点:Section 3 的算法描述。
  5. 与隐变量理论的衔接:本文假设局部因果充分性(\(Y\) 无未观测父节点)。如果存在隐变量,\(S_F(Y)\) 会如何变化?能否将本文框架与隐变量模型(如 SEM with latent confounders)结合?扎根点:Section 1 的讨论和 Lemma 3。
  6. 函数类 \(F\) 的选择:本文给出了 \(F_A\)、\(F_{LS}\)、\(F_F\) 三类函数类,但如何在实际中验证 \(f_Y \in F\) 是否成立?扎根点:Section 3.3 的讨论。

提醒:要确认上述问题是否是真 gap,建议去读以下近期论文的 intro(各约 5 篇):(a) 局部因果发现方向(如 "Local Causal Discovery" 相关论文);(b) 非线性 SEM 可识别性方向(如 Hoyer et al. 2008 的后续工作);(c) 隐变量因果推断方向(如 proximal causal inference 的近期进展)。如果这些论文的 intro 都指向同一个问题,那就是共识性 gap;如果互相矛盾,则可能是机会。


Maintained by 陈星宇 · Homepage · Source on GitHub

评论