Learning When the Concept Shifts: Confounding, Invariance, and Dimension Reduction¶
作者: Kulunu Dharmakeerthi, YoonHaeng Hur, Tengyuan Liang
来源: Journal of the American Statistical Association
主题: 因果推断
相关性: 8/10
链接: https://doi.org/10.1080/01621459.2026.2656457
一、领域脉络与小综述¶
这个方向是什么¶
本文所处的子方向是因果不变性学习(causal invariance learning)与分布外泛化(out-of-distribution generalization)。其根本科学问题是:当训练环境(源域)与部署环境(目标域)之间存在由未观测混淆驱动的分布偏移时,如何利用因果结构中的不变性来构造对目标域预测可靠的模型。该方向的成熟度处于"理论框架已初步建立、但可验证的模型化设定与可证明的算法保证仍稀缺"的阶段——大量工作停留在启发式算法或仅适用于特定深度网络架构,而本文试图在一个简洁的线性结构因果模型(SCM)下给出端到端的可证明保证。
发展脉络¶
作者在引言中勾勒的领域地图大致如下:
-
奠基工作——不变性原理:以 Peters et al. (2016) [24] 的 Invariant Causal Prediction (ICP) 为代表,该工作首次系统性地提出"跨环境不变的预测关系即因果关系的候选"这一思想,并给出了相应的统计检验方法。这是整个"不变性"研究路线的基石。Heinze-Deml et al. (2018) [15] 与 Pfister et al. (2019) [26] 分别将 ICP 推广到非线性模型与序列数据,扩展了其适用范围。这一支线的核心假设是能够观测到多个环境,且环境间的干预足够多样。
-
主要进展——从识别到表征学习:Rojas-Carulla et al. (2018) [27] 将不变性思想引入迁移学习,提出利用因果变量子集进行跨域预测。与此同时,机器学习领域出现了以 Invariant Risk Minimization (IRM, Arjovsky et al. 2019 [3]) 为代表的方法,将不变性原理转化为一个同时优化预测损失与"跨环境风险梯度对齐"约束的优化问题。这一支线将 ICP 的统计检验问题转化为连续优化问题,但代价是非凸性与缺乏可证明的收敛保证。Rothenhäusler et al. (2021) [28] 的 Anchor Regression 则从另一个角度切入:在已知工具变量(anchor)的前提下,通过正则化在预测性与稳健性之间显式地做权衡。作者明确指出,Anchor Regression 与本文最接近,但关键区别在于它要求工具变量已知,而本文不要求。
-
当前 frontier——未观测混淆下的表征学习:本文的定位是上述两条支线的交汇点。作者在引言中强调,现有工作要么假设环境标签可用(ICP 类),要么假设工具变量已知(Anchor Regression 类),要么缺乏理论保证(IRM 类)。本文的贡献在于:在未观测混淆驱动的分布偏移下,仅利用源域有标签数据 + 目标域无标签数据,通过一个可证明的 Stiefel 流形优化问题同时实现维度约简与不变性。
子线索聚类¶
被引文献大致落在三条子线索上:
-
不变因果预测(ICP)及其扩展:Peters et al. [24], Heinze-Deml et al. [15], Pfister et al. [26], Rojas-Carulla et al. [27]。这条线索的核心是统计检验——检验某个特征子集是否满足跨环境不变性。优点是识别清晰,缺点是要求多环境数据且检验过程计算代价高。
-
表征学习与域适应:Ben-David et al. [4, 5], Tzeng et al. [35], Long et al. [19], Ganin et al. [13], Shen et al. [30]。这条线索的核心是学习一个使源/目标分布差异最小化的表征,通常通过对抗训练或 MMD 正则化实现。优点是灵活,缺点是缺乏对"什么该被保持"的因果解释,且理论保证薄弱。
-
因果正则化与稳健回归:Rothenhäusler et al. [28], Shimodaira [31], Liang [18], Lei et al. [17]。这条线索的核心是在已知部分因果结构(如工具变量)的前提下,通过正则化实现稳健预测。优点是理论清晰,缺点是依赖结构知识。
这个方向在追问的核心问题¶
- 不变性如何被定义与识别? 在何种数据生成机制下,"跨环境不变"等价于"因果"?ICP 给出了一个答案(多环境 + 干预多样性),本文给出了另一个答案(线性 SCM + 未观测混淆的低维结构)。
- 不变性与预测性的权衡如何量化? 完全不变的表征可能牺牲源域预测精度,完全预测性的表征可能在目标域失效。如何用可调参数显式地控制这一权衡?本文的 (η, υ) 正则化框架是对此的一个直接回答。
- 非凸优化的不动点是否有保证? IRM 类方法的痛点在于非凸目标缺乏理论保证。本文试图在 Stiefel 流形上回答"几乎所有局部最优解都对齐不变子空间"这一更强的命题。
⚠️ 作者的 framing¶
作者将缺口 frame 为:"在未观测混淆驱动的分布偏移下,现有方法要么需要已知工具变量(Anchor Regression),要么需要多环境标签(ICP),要么缺乏理论保证(IRM)。本文证明,在线性 SCM 下,仅凭源域有标签 + 目标域无标签数据,通过一个可证明的 Stiefel 流形优化即可同时实现维度约简与不变性。" 这是一个典型的"填补空白"式 framing——它把本文定位为三条支线的交汇点,同时淡化了线性设定的局限性(作者在结论部分承认非线性扩展是未来工作)。
值得研究者去查的问题:作者在引言中未提及的、但明显相关的文献包括:(a) 基于独立机制原理(Independent Causal Mechanisms) 的因果表征学习(如 Schölkopf et al. 2012 [29] 的后续工作);(b) 分布鲁棒优化(DRO) 文献,特别是那些不假设线性 SCM 的 minimax 方法;(c) 近期关于因果不变性在非线性模型中的不可识别性的负面结果。这些文献的存在与否、以及作者为何不引,值得去核实。
张力¶
未见明显对立引用。但存在一个微妙的张力:ICP 类方法([24, 15, 26])强调不变性需要多环境数据来检验,而本文声称在单源 + 单目标设定下也能学到不变子空间。这两者并不矛盾(本文的识别依赖于线性 SCM 的结构假设而非多环境),但作者在引言中未明确讨论这一区别,读者需自行注意。
二、最核心、最简单的例子 / 数学问题¶
第一步:符号、模型、可观测数据¶
符号清单(按"参数/估计量 vs 随机变量 vs 维度指标"分类):
| 记号 | 类型 | 含义 |
|---|---|---|
| \(d\) | 维度指标 | 观测协变量 \(X\) 的维度 |
| \(k, r\) | 维度指标 | 潜在不变变量 \(Z\) 的维度、潜在混淆变量 \(E\) 的维度(\(k + r \le d\)) |
| \(\ell\) | 维度指标 | 学习到的子空间维度(\(\ell \le d\),算法需要用户指定) |
| \(X \in \mathbb{R}^d\) | 随机变量(可观测) | 协变量 |
| \(Y \in \mathbb{R}\) | 随机变量(可观测) | 响应 |
| \(Z \in \mathbb{R}^k\) | 随机变量(不可观测) | 潜在不变变量(外生、跨环境稳定) |
| \(E \in \mathbb{R}^r\) | 随机变量(不可观测) | 潜在混淆变量(外生、环境间分布偏移) |
| \(U \in \mathbb{R}\) | 随机变量(不可观测) | 响应噪声(外生、跨环境稳定) |
| \(W \in \mathbb{R}^d\) | 随机变量(不可观测) | 协变量噪声(外生、跨环境稳定) |
| \(\beta^\star \in \mathbb{R}^d\) | 参数(真实但未知) | 真实回归系数 |
| \(\gamma \in \mathbb{R}^r\) | 参数(真实但未知) | 混淆变量 \(E\) 对 \(Y\) 的直接效应 |
| \(\Theta \in \mathbb{R}^{d \times k}\) | 参数(真实但未知) | \(Z\) 到 \(X\) 的载荷矩阵 |
| \(\Delta \in \mathbb{R}^{d \times r}\) | 参数(真实但未知) | \(E\) 到 \(X\) 的载荷矩阵 |
| \(V \in \mathbb{R}^{d \times \ell}\) | 估计量(待优化) | 学习到的子空间基(Stiefel 流形上的变量) |
| \(\alpha \in \mathbb{R}^{\ell}\) | 估计量(待优化) | 子空间上的回归系数 |
| \(\beta = V\alpha\) | 估计量(复合) | 最终线性预测器 |
| \(\Sigma_E := \mathbb{E}_E[XX^\top]\) | 二阶矩(环境依赖) | 环境 \(E\) 下的协方差矩阵 |
| \(D := \Sigma_T - \Sigma_S\) | 二阶矩之差 | 目标与源协方差之差(Assumption 2 下正定) |
| \(\Lambda_E := \mathbb{E}_E[EE^\top]\) | 二阶矩(环境依赖) | 混淆变量在环境 \(E\) 下的协方差 |
| \(R_E(\beta)\) | 风险泛函 | 环境 \(E\) 下的平方损失 \(\mathbb{E}_E[(Y - \langle X, \beta\rangle)^2]\) |
模型(数据生成机制)——Definition 1 的线性 SCM:
其中 \(Z, E, U, W\) 相互独立,\(Z\) 跨环境分布不变,\(E\) 的分布从源域 \(\rho_S\) 偏移到目标域 \(\rho_T\),\(U, W\) 均值为零且跨环境不变。关键结构:\(E\) 同时影响 \(X\)(通过 \(\Delta\))和 \(Y\)(通过 \(\gamma\)),因此 \(E\) 是 \(X \to Y\) 关系中的未观测混淆变量。\(Z\) 是"干净"的预测信号,其到 \(X\) 的映射 \(\Theta\) 跨环境不变。
可观测数据: - 源域:\(\{(x_i, y_i)\}_{i=1}^n \sim P_S(X, Y)\)(有标签) - 目标域:\(\{\tilde{x}_i\}_{i=1}^m \sim P_T(X)\)(仅无标签协变量)
要估计的对象:一个线性预测器 \(\beta = V\alpha\),其中 \(V \in \text{St}(d, \ell)\) 是低维子空间(\(\ell < d\)),使得 \(\beta\) 在目标域风险 \(R_T(\beta)\) 上表现良好。
第二步:最小内核¶
剥掉所有一般性设定后,本文的核心数学问题是:
在一个线性 SCM 中,未观测混淆变量 \(E\) 的分布偏移会同时改变协变量分布 \(P(X)\) 和条件分布 \(P(Y|X)\)(即"概念"本身在漂移)。如何仅用源域有标签数据 + 目标域无标签协变量数据,找到一个低维子空间 \(V\),使得限制在该子空间上的预测器 \(\beta = V\alpha\) 对目标域风险 \(R_T(\beta)\) 有可证明的保证?
最简例子(\(d=2, k=1, r=1, \ell=1\)):
- 设 \(Z \sim N(0, 1)\),\(E \sim N(0, \sigma_E^2)\)(源域 \(\sigma_S^2 = 1\),目标域 \(\sigma_T^2 = 4\)),\(U, W \sim N(0, 1)\)。
- 取 \(\Theta = (1, 0)^\top\),\(\Delta = (0, 1)^\top\),\(\beta^\star = (1, 0)^\top\),\(\gamma = 1\)。
- 则 \(X_1 = Z + W_1\),\(X_2 = E + W_2\),\(Y = X_1 + E + U\)。
问题:源域中,\(X_1\) 和 \(X_2\) 都与 \(Y\) 相关(因为 \(X_2\) 携带 \(E\) 的信息)。但 \(X_2\) 的系数在目标域会漂移——因为 \(E\) 的方差从 1 变为 4,\(X_2\) 与 \(Y\) 的偏相关会改变。而 \(X_1\) 的系数(即 \(\beta^\star_1 = 1\))跨环境不变。
最小内核的数学表述:
-
概念漂移:源域最优预测器 \(\beta_S = \beta^\star + (\Sigma_S)^{-1}\Delta \Lambda_S \gamma\),目标域最优预测器 \(\beta_T = \beta^\star + (\Sigma_T)^{-1}\Delta \Lambda_T \gamma\)。当 \(\Lambda_S \ne \Lambda_T\) 时,\(\beta_S \ne \beta_T\)(Proposition 1 的二维特例)。
-
不变子空间:\(\Theta\) 的列空间 \(\text{span}(\Theta)\) 是"不变子空间"——限制在其上的预测器 \(\beta = \Theta\Theta^\top\beta^\star\) 跨环境最优(Proposition 2 的二维特例:\(\Theta = (1,0)^\top\),不变子空间是 \(X_1\) 轴)。
-
核心困难:\(\Theta\) 不可观测,且 \(Z\) 与 \(E\) 都影响 \(X\)。如何仅从 \(P_S(X,Y)\) 和 \(P_T(X)\) 中识别出 \(\Theta\) 的方向?本文的答案是:通过一个在 Stiefel 流形上的非凸优化问题,同时最小化源域风险(可预测性)和子空间上的协方差偏移(稳定性)。
-
关键定理的退化形式(Theorem 1 在 \(\ell=1\) 时):若 \(V\) 是目标函数 (3.4) 的一阶稳定点,且正则化参数 \(\eta\) 足够大,则 \(V\) 与 \(\Theta\) 的夹角以 \(\eta^{-1/3}\) 的速率趋于零。即:充分大的稳定性正则化迫使几乎所有局部最优解都对齐不变子空间。
为什么这个例子是"最小内核":它展示了本文的全部三个核心要素——(i) 未观测混淆导致概念漂移(\(\beta_S \ne \beta_T\));(ii) 存在一个不变子空间(\(\text{span}(\Theta)\))可以抵抗漂移;(iii) 通过稳定性正则化可以在不观测 \(Z\) 的情况下逼近该子空间。所有更一般的设定(\(k, r > 1\),\(\ell > 1\),非高斯)都只是这个二维例子的"加壳"。
三、这篇论文做了什么¶
三句话¶
- 研究了什么问题:在未观测混淆驱动的分布偏移下(线性 SCM),如何仅用源域有标签数据 + 目标域无标签协变量数据,学习一个低维线性子空间及其上的预测器,使得目标域风险可控。
- 核心工具/方法:提出一个在 Stiefel 流形上的非凸正则化风险最小化问题 (3.4),联合优化子空间 \(V\) 和子空间上的岭回归器 \(\alpha\),其中稳定性正则项 \(\eta \|V^\top(\Sigma_T - \Sigma_S)V\|_F^2\) 惩罚子空间上的协方差偏移;用投影梯度下降求解。
- 主要结论:(i) 在充分大的稳定性正则化下,几乎所有局部最优解都对齐不变子空间 \(\Theta\)(Theorem 1);(ii) 由此导出目标域与源域风险之间的近似最优差距(Theorem 2);(iii) 给出有限样本误差界(Theorem 3),并配以三个真实数据实验验证。
关键设定与假设¶
- Assumption 1(外生性与矩条件):\(Z, E, U, W\) 相互独立且均值为零,\(W\) 的协方差为 \(\tau^2 I_d\)(各向同性噪声)。统计含义:这保证了 \(X\) 的协方差矩阵可分解为 \(\Sigma_E = \Theta\mathbb{E}[ZZ^\top]\Theta^\top + \Delta\Lambda_E\Delta^\top + \tau^2 I_d\),其中只有 \(\Delta\Lambda_E\Delta^\top\) 项随环境变化。相比已有文献:ICP 类方法要求多环境数据,本文仅需两个环境(源/目标),但以线性 SCM 为代价。
- Assumption 2(目标比源更"丰富"):\(D := \Sigma_T - \Sigma_S \succ 0\)(正定)。统计含义:目标域的协方差矩阵在 Loewner 序下严格大于源域,即目标域中混淆变量的方差更大(\(\Lambda_T \succ \Lambda_S\))。这是 Theorem 1 证明中下界估计的关键——它保证了 \(\Delta^\top D \Delta\) 的最小特征值有正下界。相比已有文献:Anchor Regression [28] 要求工具变量已知,本文不要求,但以"目标域协方差严格占优"为代价。
- 可识别性条件(隐含在 Theorem 1 中):\(\lambda_{\min}(\Delta^\top D \Delta) > 0\),即混淆变量 \(E\) 对 \(X\) 的影响方向 \(\Delta\) 必须落在协方差偏移的方向上。若 \(\Delta^\top D \Delta = 0\)(例如 \(E\) 的分布不偏移),则不变子空间不可识别。
主要结果¶
Theorem 1(不变子空间对齐):设 \(V\) 是 (3.6) 的一阶稳定点,\(V \in \mathcal{S}_\Delta(\delta)\)(即 \(V\) 与内生方向 \(\Delta\) 的夹角有正下界),则
- 直觉:稳定性正则化参数 \(\eta\) 越大,任何一阶稳定点与内生方向 \(\Delta\) 的夹角越小(即越正交)。注意这里对齐的是"与 \(\Delta\) 正交",而非"与 \(\Theta\) 对齐"——但由于 \([\Theta, \Delta] \in \text{St}(d, k+r)\) 且 \(k+r=d\),与 \(\Delta\) 正交即与 \(\Theta\) 对齐。
- 必要条件:\(\eta\) 必须远大于 \(\nu^{-2}\) 和信号强度的倒数。若 \(\nu\) 太小(岭正则化过强),则 \(\alpha\) 被压向零,目标函数主要由稳定性项主导,对齐仍然成立但预测性能下降。
- 技术难点:目标函数 (3.4) 非凸,且 \(\alpha_V\) 是 \(V\) 的隐函数。证明的关键在于利用 Envelope Theorem 计算 \(\Phi_{\nu,\eta}\) 的梯度,然后通过一阶稳定条件导出 \(\|V^\top\Delta\|_{op}\) 的上界。这里的技巧是:不直接分析 \(\Phi_{\nu,\eta}\) 的全局几何,而是对任意稳定点 \(V\),利用一阶条件 \(\text{grad}\,\Phi_{\nu,\eta}(V) = 0\) 和 Assumption 2 的正定性,构造一个关于 \(\|V^\top\Delta\|_{op}\) 的不等式。
Theorem 2(风险稳定性界):对任意 \(\epsilon > 0\),
- 直觉:目标与源风险之差被分解为两项。第一项是不可避免的 oracle 代价——即使使用完美不变子空间 \(\Theta\),由于 \(\beta^\star\) 在 \(\Delta\) 方向上有分量,目标域风险仍比源域高。第二项是由于子空间对齐误差导致的额外代价,随 \(\eta\) 增大以 \(\eta^{-2/3}\) 速率衰减。
- 与 Theorem 1 的关系:Theorem 1 给出 \(\|V^\top\Delta\|_{op} = O((\nu\eta^2)^{-1/6})\),代入 Proposition 4 的恒等式 \(R_T(\beta) - R_S(\beta) = \langle\beta - (\beta^\star + \Delta\gamma), D(\beta - (\beta^\star + \Delta\gamma))\rangle\) 即得 Theorem 2。注意:这里的指数 \(2/3\) 来自 \(6 \times (1/3)\),即 \(\|V^\top\Delta\|_{op}^2\) 的界。
Theorem 3(有限样本误差):设 \(\hat{V}\) 是经验目标函数 \(\hat{\Phi}_{\nu,\eta}\) 的极小值点,则
- 证明路线:先证明 \(\Phi_{\nu,\eta}\) 在 Stiefel 流形上是 Lipschitz 的(利用 \(\|V\|_{op} \le 1\) 和有界性假设),然后用 McDiarmid 不等式控制经验过程的均匀偏差。第一项来自经验风险的集中不等式,第二项来自协方差矩阵估计的偏差(用矩阵 Bernstein 不等式)。
- 技术技巧:这里用到了均匀偏差 + 覆盖数的标准技巧,但作者将其与 Stiefel 流形的几何(\(\dim \text{St}(d,\ell) = d\ell - \ell(\ell+1)/2\))结合,得到了关于 \(\ell\) 的线性依赖。
证明路线与技术技巧总结¶
- 整体路线:从 Proposition 4 的恒等式出发,将目标域风险分解为源域风险 + 一个依赖于"预测器与内生方向 \(\Delta\) 的夹角"的偏移项。然后通过 Theorem 1 证明稳定点与 \(\Delta\) 近似正交,代入即得 Theorem 2。
- 关键跳跃点:Theorem 1 的证明。难点在于 \(\alpha_V\) 是 \(V\) 的隐函数,梯度计算涉及 \(\partial\alpha_V/\partial V\)。作者用 Envelope Theorem 回避了显式计算,但需要验证目标函数在 \(\alpha\) 上取极小值的充分性(即 \(\alpha_V\) 确实是内层极小值点)。这里用到了岭回归的强凸性。
- 技术技巧点名:
- Envelope Theorem:用于计算 \(\Phi_{\nu,\eta}\) 的梯度,避免显式求 \(\partial\alpha_V/\partial V\)。
- Stiefel 流形上的投影梯度:Algorithm 1 中的梯度投影到切空间,再用极分解作为 retraction。
- 矩阵 Bernstein 不等式:用于 Theorem 3 中协方差矩阵估计的集中界。
- McDiarmid 不等式:用于经验过程的均匀偏差控制。
真实例子与应用¶
例子 1:Tabellini (2010) 欧洲区域经济数据(Section 5.1) - 数据:欧洲 65 个区域的历史制度、识字率、入学率、文化、城市化水平与经济产出。 - 设定:源域 = 农村区域(城市化 < 2%),目标域 = 城市区域(城市化 > 10%),目标域仅有无标签协变量。 - 发现:随着稳定性参数 \(\eta\) 增大,学习到的子空间逐渐将权重从"城市化"(内生变量)转移到"制度"(不变变量),目标域风险先降后升,呈现 U 型曲线。这与 Theorem 2 的预测一致:\(\eta\) 太小则对齐误差大,\(\eta\) 太大则牺牲可预测性。 - 说明:作者明确表示不假设"制度"是已知工具变量,而是让算法自动发现其稳定性。
例子 2-4:Forest Fires / Bike Sharing / Wine Quality(Section 5.2) - 设定:源域与目标域按时间或类别划分(如季节、酒色),目标域无标签。 - 结果:在三个数据集上,存在一个 \(\eta\) 的中间区间使得目标域风险低于源域风险最小化器 \(\beta_S\);且按作者提出的数据驱动超参数选择准则(PCA 定 \(\ell\),平衡三项选择 \(\eta, \nu\))得到的 \(\eta\) 落在该区间内。 - 局限:这些数据集的真实 SCM 未知,无法验证"不变子空间"是否真的对应因果结构;作者仅声称"与工具变量视角的定性预期一致"。
🔎 结论是否比证明窄¶
- Theorem 1 的陈述 vs 证明:定理陈述为"几乎所有局部最优解",但证明中要求 \(V \in \mathcal{S}_\Delta(\delta)\)(即 \(V\) 与 \(\Delta\) 的夹角有正下界)。这个条件在证明中用于排除 \(V\) 与 \(\Delta\) 完全对齐的退化情形,但定理陈述中未明确说明这一排除条件的必要性。读者需注意:若 \(V\) 恰好与 \(\Delta\) 高度对齐(即 \(V\) 本身就在内生方向上),定理的结论不成立。
- Theorem 2 的"近乎理想":第一项 \(\langle\beta^\star + \Delta\gamma, D(\beta^\star + \Delta\gamma)\rangle\) 是 oracle 代价,但作者未证明这是最小可能的 oracle 代价——即未证明不存在其他子空间 \(V'\) 使得 \(R_T(V'\alpha') - R_S(V'\alpha')\) 更小。因此"近乎理想"的措辞略强于证明。
- Theorem 3 的常数:\(C_{M,\Sigma_T,\Sigma_S}\) 的具体形式在附录中给出,但主文中未讨论其量级。对于高维情形(\(d \gg n\)),该常数可能很大,有限样本界的实用性存疑。
- 无实验的因果验证:作者在三个真实数据实验中未验证 SCM 假设(如 \(Z\) 与 \(E\) 的独立性、\(W\) 的各向同性),因此"不变子空间 = 因果子空间"的结论在实证中未被检验。
四、开放问题¶
-
非线性推广(扎根于 Conclusion 的 future work):本文的线性 SCM 设定能否推广到非线性生成模型?作者在结论中承认"extending to nonlinear models is a natural next step",但未给出任何具体猜想。非线性下"不变子空间"的概念本身需要重新定义——是流形而非线性子空间。
-
超参数选择的系统性理论(扎根于 Section 5.2 的 heuristic):作者给出的数据驱动超参数选择准则(PCA 定 \(\ell\),平衡三项选 \(\eta, \nu\))是启发式的,缺乏理论保证。是否存在一个可证明的准则,使得选出的 \((\eta, \nu)\) 在某种意义下最优?
-
多目标域的可识别性(扎根于 Assumption 2 的讨论):本文假设目标域协方差严格占优(\(D \succ 0\))。若存在多个目标域,且它们的协方差偏移方向不同,是否可以利用多个目标域来放松这一假设?这类似于 ICP 中"多环境"的作用,但本文未探索。
-
\(\ell\) 的选择与不变子空间的维数(扎根于 Theorem 1 的条件 2):本文假设 \(\ell\) 是用户指定的,且 \(V \in \mathcal{S}_\Delta(\delta)\) 排除了退化情形。当 \(\ell > k\)(子空间维数大于不变变量维数)时,对齐结论是否仍然成立?是否存在数据驱动的方法来估计 \(k\)?
-
有限样本下的一阶稳定点 vs 全局最优(扎根于 Theorem 3 的证明):Theorem 3 只给出了经验目标函数的极小值点与总体目标函数的差距,但未讨论算法(投影梯度下降)实际找到的稳定点是否接近这个极小值。非凸优化的 landscape 是否 benign(如满足 Polyak-Łojasiewicz 条件)?
提示:要确认上述哪条是真正的 gap,建议去读近 5 年 ICML/NeurIPS/COLT 上关于 invariant risk minimization 与 causally motivated domain adaptation 的论文引言——如果多条工作都指向同一个问题,那大概率是共识性 gap;如果各说各话,则可能是机会所在。
Maintained by 陈星宇 · Homepage · Source on GitHub