Partial Invariance for Classification under Structural Causal Models¶
作者: Austin Goddard, Yu Xiang
主题: 因果推断
相关性: 7/10
链接: https://arxiv.org/abs/2611.02254
一、领域脉络与小综述¶
这个方向是什么¶
本文所处的子方向是因果不变性学习(causal invariance learning),其根本科学问题是:当训练环境与测试环境之间存在分布偏移(distribution shift)时,如何利用多环境数据训练出一个在未见过的测试环境上仍然表现良好的预测模型。该方向的核心假设是:因果机制(即给定父节点的条件下,子节点的条件分布)在环境间保持不变,而"相关但不因果"的关系则可能随环境变化。当前该方向的成熟度处于快速发展期——从线性模型下的理论刻画(ICP, 2016)到非线性/深度模型下的经验方法(IRM, 2019),再到本文试图填补的"目标变量本身被干预"这一空白。
发展脉络¶
- 奠基工作:Peters, Bühlmann & Meinshausen (2016) 的 Invariant Causal Prediction (ICP) 首次将"因果不变性"转化为可操作的统计准则——寻找在所有环境中条件分布 \(P(Y^e|X^e_S)\) 保持不变的变量子集 \(S\),并证明该子集包含真实因果父集。其核心假设是目标变量 \(Y\) 本身不被干预,即 \(P(Y^e|\text{pa}(Y^e))\) 跨环境不变。这一假设在后续工作中被反复沿用,成为该领域的"默认设定"。
- 主要进展(线性/非线性扩展):Du & Xiang (2022) 提出 Invariant Matching Property (IMP),将 ICP 推广到目标变量 \(Y\) 被干预的情形,但仅限于线性 SCM。其核心思想是:当 \(Y\) 被干预时,\(P(Y^e|X^e_S)\) 不再跨环境不变,但可以通过引入一个额外的"匹配变量"来恢复某种不变性。Chen & Bühlimann (2021) 的 Domain Adaptation under Structural Causal Models 则系统性地处理了混合因果-反因果设定,提出 Conditional Invariant Residual Matching (CIRM),但同样依赖线性假设。
- 当前 frontier(深度/非线性):Arjovsky et al. (2019) 的 Invariant Risk Minimization (IRM) 将不变性思想引入深度表示学习,但其理论保证仅在特定线性化设定下成立。Heinze-Deml & Meinshausen (2017) 提出 Conditional Invariance Penalty,通过惩罚条件分布的跨环境差异来学习不变表示,但缺乏对"目标变量被干预"情形的处理。Goddard, Du & Xiang (2023) 的会议论文(ICASSP 2024)首次将 IMP 推广到非线性二分类,但仅处理了 \(L=2\) 且 \(|C|=1\) 的特例。
- 本文的位置:本文是上述工作的非线性、多分类推广。它首次在一般非线性 SCM 下,针对离散多分类目标变量,提出了环境标签分离(EY-separation)这一部分不变性形式,并给出了有限样本风险界。其核心贡献在于:(1) 将 IMP 从线性推广到非线性;(2) 将二分类推广到多分类;(3) 提供了可操作的算法(dIMP-Classifier)和理论保证。
子线索聚类¶
- 不变性准则的统计刻画(ICP, IMP, EY-separation):这条线索关注"什么形式的不变性是可识别的、可检验的"。ICP 要求全条件分布不变,IMP 要求线性匹配,本文的 EY-separation 则要求分解为环境不变和标签不变两个部分。这条线索的核心张力在于:不变性越强,可识别性越好,但现实数据越难满足。
- 不变性学习的算法实现(IRM, CIRM, dIMP-Classifier):这条线索关注"如何从有限数据中估计不变性"。IRM 通过对抗训练学习不变表示,CIRM 通过残差匹配,本文通过联合最小化测试风险估计和跨环境不变性惩罚。这条线索的瓶颈在于计算复杂度和超参数选择。
- 分布鲁棒优化(DRO, Wasserstein DRO):这条线索从优化角度处理分布偏移,不显式建模因果结构,而是最小化最坏情况下的风险。Duchi & Namkoong (2018) 和 Sinha et al. (2018) 是代表。这条线索与不变性学习互补,但缺乏因果可解释性。
这个方向在追问的核心问题¶
- 可识别性:在什么条件下,不变性准则能唯一识别出因果结构或最优预测器?ICP 在 faithfulness 假设下可识别因果父集,但本文的 EY-separation 只给出了充分条件(Proposition 2),必要条件是否成立是开放的。
- 泛化保证:训练环境上的不变性如何转化为测试环境上的风险上界?本文的 Theorem 1 给出了一个上界,但该上界依赖于"测试环境与训练环境共享 \(V(x)\)"这一假设,当测试环境对 \(Y\) 的干预方式不同于训练环境时,该上界是否仍然成立?
- 部分不变性的代价:当完全不变性不成立时,部分不变性(如 EY-separation)能带来多少收益?本文的实验显示 dIMP-Classifier 优于完全不变性方法(ICP, IRM),但这种优势在什么条件下会消失?
⚠️ 作者的 framing¶
作者将缺口 frame 为:现有不变性方法(ICP, IRM, CIRM)要么要求 \(P(Y^e|X^e_S)\) 完全不变(在目标变量被干预时失效),要么仅适用于线性模型(IMP)。因此,本文提出 EY-separation 作为"显然的下一步"——它允许 \(P(Y^e|X^e_S)\) 随环境变化,但要求这种变化可以通过一个环境依赖的"标签不变"成分来参数化。作者淡化了以下竞争路线:(1) 分布鲁棒优化(DRO)——作者仅在 related work 中一笔带过,未讨论 DRO 在目标变量被干预时的表现;(2) 非线性 ICP 的核方法扩展(Heinze-Deml et al. 2018)——作者未引用;(3) 基于深度生成模型的因果表示学习(Schölkopf et al. 2021)——作者未引用。
值得研究者去查的问题:作者声称"所有现有框架都假设变换不随环境变化"(见 related work 中关于 IRM 的讨论),但 IRM 的原始论文 (Arjovsky et al. 2019) 实际上允许特征提取器 \(\phi\) 随环境变化吗? 如果 IRM 的设定比作者描述的更灵活,那么本文的 novelty 需要重新评估。
张力¶
- 未见明显对立引用:被引文献之间没有直接矛盾。但存在一个隐含张力:ICP 强调"因果父集是唯一最优的不变预测集",而本文的 EY-separation 允许使用非因果变量(如 \(X_5\))来辅助预测。这两种观点在"什么是最优预测器"上有根本分歧——ICP 认为只用因果父集,本文认为在目标被干预时,需要额外的"匹配变量"。这一张力在文中未明确讨论。
二、最核心、最简单的例子 / 数学问题¶
第一步:符号、模型、可观测数据¶
符号清单(按出现顺序):
| 符号 | 含义 | 类型 |
|---|---|---|
| \(E\) | 环境集合,\(E = E_{\text{train}} \cup \{e_{\text{test}}\}\) | 指标集 |
| \(X^e = (X^e_1, \ldots, X^e_m)\) | 环境 \(e\) 中的特征向量 | 随机变量(可观测) |
| \(Y^e\) | 环境 \(e\) 中的标签,取值于 \([1:L] = \{1,\ldots,L\}\) | 随机变量(可观测,训练环境) |
| \(S \subseteq [1:m]\) | 特征子集索引 | 参数(待选) |
| \(X^e_S\) | 由 \(S\) 索引的特征子向量 | 随机变量 |
| \(h: \mathcal{X}_S \to [1:L]\) | 分类器 | 参数(待估计) |
| \(R^e_S(h)\) | 环境 \(e\) 中分类器 \(h\) 的风险,\(R^e_S(h) = P(h(X^e_S) \neq Y^e)\) | 目标函数 |
| \(R^t_S(h)\) | 测试环境中的风险 | 目标函数 |
| \(h_{\text{oracle}}\) | 测试环境中的最优分类器,\(h_{\text{oracle}} = \arg\min_{h \in \mathcal{H}} R^t_S(h)\) | 基准 |
| \(\psi^e: \mathcal{X}_S \to \mathcal{W}\) | 环境依赖的"标签不变"特征映射 | 参数(随环境变化) |
| \(\rho_y: \mathcal{X}_S \times \mathcal{W} \to [0,1]\) | 环境不变的标签概率函数 | 参数(不随环境变化) |
| \(C \subseteq [1:m] \setminus S\) | 用于构造 \(\psi^e\) 的特征子集 | 参数(待选) |
| \(V^e_{C,S}(x)\) | \(L \times L\) 矩阵,\((c,y)\) 元素为 $E[X^e_c | X^e_S = x, Y^e = y]$ |
| \(\Lambda_{C,S}\) | 不变性惩罚项 | 超参数 |
| \(\lambda\) | 惩罚系数 | 超参数 |
模型(数据生成机制):
- SCM 设定:每个环境 \(e\) 有一个有向无环图(DAG),节点为 \(\{Y^e, X^e_1, \ldots, X^e_m\}\)。结构方程为:
- \(Y^e \leftarrow f^e_Y(\text{pa}(Y^e), \epsilon^e_Y)\)
- \(X^e_i \leftarrow f^e_i(\text{pa}(X^e_i), \epsilon^e_i)\)
其中 \(\epsilon\) 为独立噪声。关键:结构方程 \(f^e_i\) 和噪声分布 \(F^e_i\) 可以随环境变化(即允许任意干预),但图结构(谁是谁的父节点)不随环境变化。
- EY-separation 假设(Definition 1):存在 \(S \subseteq [1:m]\)、环境依赖的 \(\psi^e: \mathcal{X}_S \to \mathcal{W}\)、环境不变的 \(\rho_y: \mathcal{X}_S \times \mathcal{W} \to [0,1]\),使得对所有 \(x \in \mathcal{X}_S\),\(y \in [1:L]\),\(e \in E\):
\[P(Y^e = y | X^e_S = x) = \rho_y(x, \psi^e(x))\]
即:标签条件分布可以分解为"环境不变的部分 \(\rho_y\)"和"环境依赖的部分 \(\psi^e\)",且 \(\psi^e\) 不依赖于 \(y\)。
- 可观测数据:
- 训练环境 \(e \in E_{\text{train}}\):观测到 \((X^e, Y^e)\) 的 \(n_e\) 个独立同分布样本。
- 测试环境 \(e_{\text{test}}\):仅观测到 \(X^t\)(无标签),目标是预测 \(Y^t\)。
关键区分: - 可观测:\(X^e\)(所有环境)、\(Y^e\)(仅训练环境)。 - 不可观测:\(\psi^e\)(需估计)、\(\rho_y\)(需估计)、潜在结果 \(Y^t\)(测试环境标签)、干预机制(哪些节点被干预、如何干预)。
第二步:最小内核¶
核心问题:当目标变量 \(Y\) 本身被干预(即 \(P(Y^e|X^e_S)\) 随环境变化)时,如何利用多环境训练数据估计测试环境中的 \(P(Y^t|X^t_S)\)?
最小例子(对应原文 Section 2 的 motivating example,但剥离所有一般性设定):
设 \(L=2\)(二分类),\(Y^e \in \{1,2\}\)。SCM 如下: - \(X^e_1\) 是 \(Y^e\) 的父节点(即 \(Y^e\) 的因),满足 \(X^e_1 \leftarrow g^e_1(Y^e) + \epsilon^e_1\),其中 \(g^e_1\) 可随环境变化。 - \(X^e_2\) 是 \(Y^e\) 的子节点(即 \(Y^e\) 的果),满足 \(X^e_2 \leftarrow g_{y}(X^e_1) + \epsilon^e_2\),其中 \(g_y\) 不随环境变化(即 \(X^e_2\) 的生成机制是环境不变的)。 - 其他变量(如 \(X^e_0, X^e_3, X^e_4, X^e_5\))可有可无,但 \(X^e_5\) 与 \(X^e_2\) 条件独立于 \(Y^e\) 给定 \(X^e_1\)。
关键观察:由于 \(X^e_2\) 的生成机制 \(g_y\) 不随环境变化,我们有:
核心推导(对应原文式 (11)-(15)):
-
在测试环境中,由全概率公式:
\[E[X^t_2 | X^t_1 = x_1] = \sum_{y=1}^{2} g_y(x_1) \cdot P(Y^t = y | X^t_1 = x_1)\] -
写成矩阵形式:
\[\begin{pmatrix} E[X^t_2 | X^t_1 = x_1] \\ 1 \end{pmatrix} = \underbrace{\begin{pmatrix} g_1(x_1) & g_2(x_1) \\ 1 & 1 \end{pmatrix}}_{V(x_1)} \cdot \underbrace{\begin{pmatrix} P(Y^t = 1 | X^t_1 = x_1) \\ P(Y^t = 2 | X^t_1 = x_1) \end{pmatrix}}_{U^t(x_1)}\] -
若 \(V(x_1)\) 可逆(即 \(g_1(x_1) \neq g_2(x_1)\)),则:
\[U^t(x_1) = V(x_1)^{-1} \cdot \begin{pmatrix} E[X^t_2 | X^t_1 = x_1] \\ 1 \end{pmatrix}\] -
关键:\(V(x_1)\) 不依赖环境(因为 \(g_y\) 不变),可以从训练数据估计;\(E[X^t_2 | X^t_1 = x_1]\) 可以从测试环境的无标签特征估计。因此,\(U^t(x_1) = P(Y^t | X^t_1 = x_1)\) 可以被识别!
-
EY-separation 形式:令 \(\psi^e(x_1) = E[X^e_2 | X^e_1 = x_1]\)(环境依赖),\(\rho_y(x_1, w) = (V(x_1)^{-1})_y \cdot (w, 1)^\top\)(环境不变),则:
\[P(Y^e = y | X^e_1 = x_1) = \rho_y(x_1, \psi^e(x_1))\]
为什么这个例子是"最小内核": - 它展示了 EY-separation 的核心机制:利用环境不变的子节点生成机制(\(g_y\))作为"锚点",将环境依赖的标签概率分解为可估计的两部分。 - 它揭示了关键条件:需要至少 \(L-1\) 个环境不变的子节点(或 \(L-1\) 个独立的矩条件)来保证 \(V(x)\) 可逆。 - 它说明了为什么"目标变量被干预"是难点:如果 \(Y\) 不被干预,ICP 直接适用;如果 \(Y\) 被干预但 \(X^e_2\) 的生成机制也随环境变化,则 \(V(x)\) 无法从训练数据估计,问题不可识别。
一般化(对应 Proposition 2):在一般非线性 SCM 中,条件 1(\(f^e_c \equiv f_c\) 且 \(\epsilon^e_c \sim F_c\),即子节点生成机制环境不变)和条件 2(\(X^e_S \subseteq \text{nd}(Y^e)\) 且包含所有子节点的父节点)保证了 EY-separation 成立。证明的关键步骤是式 (41):
三、这篇论文做了什么¶
三句话¶
- 研究了什么问题:在目标变量 \(Y\) 本身可能被干预(即 \(P(Y^e|X^e_S)\) 随环境变化)的多环境分类问题中,如何利用部分不变性(EY-separation)在无标签测试数据上估计 \(P(Y^t|X^t_S)\),从而构造最优分类器。
- 核心工具/方法:提出环境标签分离(EY-separation)概念,将 \(P(Y^e|X^e_S)\) 分解为环境不变的 \(\rho_y\) 和环境依赖的 \(\psi^e\);基于此开发 dIMP-Classifier 算法,联合最小化测试风险估计与跨环境不变性惩罚。
- 主要结论:在 SCM 框架下给出了 EY-separation 的充分条件(Proposition 2),证明了 dIMP-Classifier 的有限样本风险界(Theorem 1),并在模拟和真实数据(光隧道因果腔)上验证了方法优于 ICP、IRM、SR 等基线。
关键设定与假设¶
设定: - 多环境分类:训练环境 \(E_{\text{train}}\) 有标签,测试环境 \(e_{\text{test}}\) 仅有无标签特征 \(X^t\)。 - SCM 框架:每个环境对应一个 DAG,结构方程和噪声分布可随环境变化,但图结构不变。 - 目标变量 \(Y^e\) 为离散多分类(\(L \geq 2\))。
关键假设(Proposition 2 的条件): 1. 子节点生成机制环境不变:对每个 \(c \in C\),\(f^e_c(\cdot, \cdot) \equiv f_c(\cdot, \cdot)\) 且 \(\epsilon^e_c \sim F_c\)(噪声分布不随环境变化)。这是 EY-separation 的核心假设,保证了 \(E[X^e_c | \text{pa}(X^e_c)]\) 环境不变。 2. \(X^e_S \subseteq \text{nd}(Y^e)\):选择的预测特征 \(S\) 必须是 \(Y\) 的非后代。这保证了 \(X^e_S\) 的分布变化不会通过 \(Y\) 的干预间接影响 \(E[X^e_c | X^e_S, Y^e]\) 的环境不变性。 3. \(X^e_S\) 包含所有子节点的父节点(除 \(Y\) 外):即 \(\text{pa}(X^e_C) \setminus Y^e \subseteq X^e_S\)。这保证了条件期望 \(E[X^e_c | X^e_S, Y^e]\) 能完全控制 \(X^e_c\) 的父节点信息。 4. \(V(x)\) 可逆(Assumption 1):对任意 \(x \in \mathcal{X}_S\),矩阵 \(V(x)\) 可逆。这保证了从矩条件唯一解出 \(U^e(x)\)。
相比已有工作的变化: - 相比 ICP:放宽了"\(Y\) 不被干预"的假设,允许 \(P(Y^e|X^e_S)\) 随环境变化。 - 相比 IMP(线性):推广到非线性 SCM 和多分类。 - 相比 IRM:提供了显式构造(而非隐式学习)的不变性形式,且允许 \(\psi^e\) 随环境变化。
主要结果¶
Proposition 2(充分条件):在条件 1-3 下,\(\rho^e_{y,C,S}\) 不依赖于环境 \(e\),即 EY-separation 成立。证明的关键是式 (41) 的条件期望化简,利用父节点集合不变性和生成机制不变性。
Theorem 1(有限样本风险界):在 Assumption 1 和 Lipschitz 连续性假设下,dIMP-Classifier 的测试风险满足:
证明路线(Appendix A.3): 1. 分解:将测试风险分解为最优风险 + 五个误差项(式 53-59)。 2. 项 A(最优性差距):利用 EY-separation 的等式 \(R^t_S(h) = \tilde{R}^t_S(h; \rho, \psi^t)\),将测试风险转化为 EY-separation 风险。 3. 项 B(采样误差):利用 Rademacher 复杂度(式 62-63),将经验 EY-separation 风险与总体风险的差距控制在 \(4R_{n_t}(\mathcal{L}^t_{EY}) + 2B\sqrt{\log(2/\delta)/(2n_t)}\)。 4. 项 C(估计误差):利用 Lipschitz 连续性,将 \(\hat{\rho}\) 与 \(\rho\)、\(\hat{\psi}^t\) 与 \(\psi^t\) 的估计误差转化为风险差。 5. 项 D(选择最优性):利用 \((\hat{C},\hat{S})\) 最小化惩罚风险,将 \(\hat{R}^t_{\hat{S}}(\hat{h}_{\hat{C},\hat{S}}) + \Lambda_{\hat{C},\hat{S}}\) 与 \(\hat{R}^t_{S^*}(\hat{h}_{C^*,S^*}) + \Lambda_{C^*,S^*}\) 的差控制在 \(\Lambda_{C^*,S^*}\)。 6. 项 E(不变性):利用 EY-separation 的等式,将 \(\tilde{R}^t_{S^*}(h_{C^*,S^*}; \rho^*, \psi^{t,*})\) 与 \(R^t_{S^*}(h_{C^*,S^*})\) 的差控制在 \(\max_{x,y} |\rho^*_y(x, \psi^{t,*}(x)) - P(Y^t = y|X^t_{S^*} = x)|\)。
技术技巧: - 矩方程反演:将标签概率的识别转化为线性方程组 \(V(x) \cdot U(x) = \psi(x)\) 的求解,利用 \(V(x)\) 的可逆性。 - Rademacher 复杂度:用于控制经验风险的泛化误差,得到 \(O(1/\sqrt{n_t})\) 的样本复杂度。 - 惩罚风险最小化:将不变性约束(\(\Lambda_{C,S}\))作为惩罚项,避免显式搜索所有满足不变性的 \((C,S)\) 对。
真实例子与应用¶
光隧道因果腔(Causal Chamber): - 数据:物理光学系统,RGB LED 光源通过两个线性偏振器,三个光电二极管测量光强。目标变量 \(G\)(绿色光强)被离散化为三个水平(低/中/高)。 - 环境划分:训练环境为"绿色光强均匀分布"(观测环境),测试环境为"绿色光强被限制在低/中/高范围"(干预环境)。干预作用于目标变量 \(G\) 本身。 - 方法应用:dIMP-Classifier 使用训练环境数据估计 \(V(x)\)(环境不变的子节点生成机制),使用测试环境无标签特征估计 \(\psi^t(x)\)(环境依赖的矩条件),然后通过矩阵反演得到 \(P(Y^t|X^t_S)\)。 - 结果:dIMP-Classifier(NN 实现)在所有测试环境选择下均优于标准 NN、LR、ICP、SR 等基线。具体来说,在"绿色低"测试环境下,dIMP-Classifier 达到约 95% 准确率,而标准 NN 仅约 45%,SR 约 50%。 - 该例子说明什么:验证了 EY-separation 在目标变量被干预时的有效性,且展示了算法在物理系统上的实用性。
🔎 结论是否比证明窄¶
- Theorem 1 的证明假设了 Lipschitz 连续性,但结论中声称"测试风险由不变性偏差、估计误差和样本复杂度刻画",未明确说明 Lipschitz 常数 \(\eta\) 对界的定量影响。实际上,\(\eta\) 出现在估计误差项中,但作者未讨论 \(\eta\) 如何随 \(S\) 的选择变化。
- Proposition 2 的充分条件并非必要:作者在 Remark 4 中承认"证明会类似地成立如果条件 2 被替换为 \(X^e_S \subseteq \text{nd}(X^e_c)\)",但未给出必要条件。这意味着存在不满足 Proposition 2 条件但 EY-separation 仍成立的情形,作者未刻画。
- 实验仅覆盖了 \(L=3\) 且 \(|C|=1\) 的情形,而 Theorem 1 声称对一般 \(L\) 成立。作者未在更高 \(L\) 或更多子节点情形下验证。
- 算法复杂度:Algorithm 1 需要遍历所有可能的 \((C,S)\) 对,其复杂度为 \(O(2^m)\)。作者在 Section 4.1 提到"可以随机搜索",但未提供理论保证。
四、开放问题¶
-
必要条件的刻画:Proposition 2 给出了 EY-separation 的充分条件,但必要条件是什么? 是否存在不满足条件 1-3 但 EY-separation 仍成立的非平凡情形?(扎根于 Remark 4 和 Proposition 2 的表述)
-
近似不变性的代价:当条件 1(子节点生成机制环境不变)轻微违反时,Theorem 1 的界如何退化?能否给出一个连续性的刻画——即不变性偏差 \(\max_{x,y} \|(V^e)^{-1} - (V^t)^{-1}\|\) 如何随干预强度变化?(扎根于 Theorem 1 的 invariance deviation 项)
-
算法复杂度的改进:Algorithm 1 的穷举搜索在 \(m\) 较大时不可行。能否利用因果结构学习或稀疏性假设,设计多项式时间的选择算法?(扎根于 Section 4.1 的"随机搜索"建议)
-
与分布鲁棒优化的联系:当测试环境的干预方式完全未知时,EY-separation 与 DRO 的关系是什么?DRO 的最坏情况风险是否可以被 EY-separation 的界所覆盖?(扎根于 related work 中对 DRO 的讨论)
-
高维情形的推广:当 \(m\) 远大于样本量时,\(V(x)\) 的估计和求逆是否可行?能否利用稀疏性假设(如 \(C\) 中只有少数变量)设计高维一致的估计器?(扎根于 Theorem 1 的估计误差项)
提示:要确认上述问题是否为真 gap,建议阅读以下近期文献的引言部分(各约 5 篇):(a) 不变性学习方向——ICLR/NeurIPS 2023-2025 的 invariance 相关论文;(b) 分布鲁棒优化方向——Duchi & Namkoong 的后续工作;(c) 因果表示学习方向——Schölkopf et al. 2021 的后续。若这些文献的引言都指向同一问题,则为共识性 gap;若互相矛盾,则为机会。
Maintained by 陈星宇 · Homepage · Source on GitHub