跳转至

Data-Driven Learning of Directed Acyclic Graphs in Gaussian Linear Structural Equation Models with Latent Variables

作者: Siliang Zhang, Yunxiao Chen, Irini Moustaki
主题: 因果推断
相关性: 7/10
链接: https://arxiv.org/abs/2610.27873


一、领域脉络与小综述

这个方向是什么

本文研究的核心问题是:在含潜变量的高斯线性结构方程模型(SEM)中,如何从观测数据中学习潜变量之间的有向无环图(DAG)结构。具体而言,测量模型(因子载荷结构)是预先给定的、可识别的,但潜变量之间的因果结构(路径图)是未知的,需要从数据中推断。这是一个介于确认性SEM(结构完全预先指定)与探索性因果发现(完全无先验)之间的"半探索性"设定。该方向的成熟度处于发展阶段:已有工作分别处理了完全观测变量的DAG学习(如NO-TEARS)和含潜变量的无向图建模(如网络心理测量学),但将可识别的测量模型与未知的潜变量DAG结构学习结合起来的系统性框架尚不完善。

发展脉络

  1. 奠基工作:完全观测变量的DAG学习。Zheng et al. (2018) 的 NO-TEARS 工作开创性地将DAG学习转化为连续优化问题,通过光滑的无环性约束 h(B) = tr{exp(B∘B)} - m = 0 避免了组合搜索。这一工作为后续所有基于连续优化的DAG学习方法奠定了基础。本文的 screening 阶段直接继承了这一技术路线。

  2. 主要进展:含潜变量的结构学习。Silva et al. (2006) 的 MIMBuild 算法是早期处理含潜变量线性模型结构学习的代表,但其依赖纯测量模型(无交叉载荷、无相关误差)的假设较为严格。在心理测量学领域,Epskamp et al. (2017) 等将潜变量模型与网络模型结合,但主要处理无向条件依赖结构(GGM),而非有向因果结构。van Bork et al. (2019) 进一步讨论了潜变量模型与网络模型的统计等价性问题,指出两类模型可能编码不同的条件独立关系——这为本文区分"有向潜结构"与"无向潜结构"提供了理论动机。

  3. 当前前沿:因果表示学习与离散潜变量。Zhang, Wang, & Gu (2026) 的 DCRL 工作处理离散潜变量的因果结构学习,采用生成式框架;Zhang, Chen, & Moustaki (2026) 的 DAG-CLIP 则针对分类指标提出基于复合似然的 screening-and-pruning 框架。本文是 DAG-CLIP 的姊妹篇,将同样的策略从分类指标推广到高斯连续指标,并使用精确的边际似然而非复合似然。

  4. 本文的位置:本文填补的缺口是——在高斯线性SEM框架下,当测量模型已知且可识别(允许交叉载荷和相关误差)时,如何一致地恢复潜变量DAG的马尔可夫等价类(MEC)。与 DAG-CLIP 相比,本文使用精确高斯似然而非复合似然;与 NO-TEARS 相比,本文处理的是潜变量而非观测变量;与 MIMBuild 相比,本文允许更一般的测量模型结构。

子线索聚类

  • 线索A:连续优化DAG学习(Zheng et al., 2018; Bello et al., 2022; Yuan et al., 2018)。这一簇关注如何将DAG学习的组合问题转化为连续优化问题,核心工具是光滑无环性约束和各类非凸惩罚。本文的 screening 阶段属于此线索。
  • 线索B:潜变量模型与网络模型的桥接(Epskamp et al., 2017; van Bork et al., 2019; Waldorp & Marsman, 2020; Marsman et al., 2018, 2022, 2025)。这一簇关注心理测量学中潜变量模型与(无向)网络模型的等价性、可检验性及其在实证数据中的应用。本文的动机和实证应用(ESS数据)与此线索紧密相关。
  • 线索C:含潜变量的因果发现(Silva et al., 2006; Dong et al., 2026; Zhang, Chen, & Moustaki, 2026)。这一簇直接处理潜变量存在时的DAG/因果结构学习,是本文最直接的前沿。DAG-CLIP 是本文最直接的竞争/互补工作。
  • 线索D:高维惩罚似然与变量选择(Shen et al., 2012, 2013)。这一簇提供了本文使用的截断ℓ1惩罚的理论基础,该惩罚在 selection consistency 方面优于普通ℓ1。

这个方向在追问的核心问题

  1. 可识别性边界:在含潜变量的SEM中,观测分布究竟能识别潜结构的哪些信息?本文的答案是:在测量模型可识别且 faithfulness 条件下,潜DAG仅可识别到其MEC(定理1)。
  2. 计算可行性:如何在潜变量存在时(需要积分)实现可扩展的DAG学习?本文的答案是两阶段策略:连续优化 screening + BIC 引导的等价类空间剪枝。
  3. 统计效率:如何避免两步法(先估计潜变量得分,再学习图结构)的信息损失?本文的答案是直接使用观测数据的边际似然,联合估计测量与结构参数。
  4. 鲁棒性:当测量模型存在交叉载荷或相关误差时,结构学习是否仍然一致?本文的答案是肯定的(在可识别条件下),这是对纯测量模型假设的重要放松。

⚠️ 作者的 framing

作者将本文定位为"半探索性SEM"框架:测量模型是确认性的(已知载荷模式),结构模型是探索性的(未知DAG)。作者强调,这一设定介于传统的确认性SEM(结构完全预先指定)与纯探索性因果发现(无任何先验)之间,更贴近实际研究中"测量工具已验证、理论关系待探索"的场景。作者还特别指出,他们的方法允许交叉载荷和相关测量误差,这比 Silva et al. (2006) 的纯测量模型假设更一般。作者将 DAG-CLIP(分类指标)和本文(高斯指标)视为同一 screening-and-pruning 策略在不同数据类型下的实现,暗示这是一个可推广的通用框架。

张力

未见明显对立引用。但存在一个值得注意的张力:无向网络模型(GGM)与有向DAG模型在潜变量情形下的关系。van Bork et al. (2019) 和 Waldorp & Marsman (2020) 的工作表明,潜变量模型与网络模型在某些条件下统计等价,而本文强调有向结构(DAG)编码了无向图无法表达的信息(如碰撞器结构)。这两类文献对"潜变量间关系应如何建模"存在不同视角,但本文并未直接回应这一张力,而是默认有向DAG是更丰富的建模框架。


二、最核心、最简单的例子 / 数学问题

第一步:符号、模型、可观测数据

符号清单:

符号 含义 类型
\(Y \in \mathbb{R}^p\) 观测指标向量 可观测随机变量
\(\eta \in \mathbb{R}^m\) 潜变量向量 不可观测随机变量
\(\Lambda \in \mathbb{R}^{p \times m}\) 因子载荷矩阵 参数(部分已知模式)
\(\Psi\) 测量误差协方差矩阵 参数(可非对角)
\(B = (\beta_{ij})_{m \times m}\) 路径系数矩阵,\(\beta_{ij}\) 表示 \(\eta_i \to \eta_j\) 参数(稀疏,需学习)
\(\Omega = \text{diag}(\omega_1, \ldots, \omega_m)\) 结构扰动方差 参数(对角)
\(\Phi = \text{Cov}(\eta)\) 潜变量协方差矩阵 由 \((B, \Omega)\) 导出
\(Q \in \{0,1\}^{p \times m}\) 载荷模式矩阵(已知) 先验信息
\(Z \in \{0,1\}^{m \times m}\) 结构约束矩阵(已知) 先验信息
\(G = (V, E)\) 潜变量DAG 目标估计量
\(\mathcal{M}(G)\) \(G\) 的马尔可夫等价类 可识别目标
\(S_n\) 样本协方差矩阵 数据摘要
\(\ell_n(\theta)\) 负对数似然(边际) 目标函数
\(J_\tau(x)\) 截断ℓ1惩罚 正则化工具

模型(两层次结构):

  1. 测量模型:\(Y = \Lambda\eta + \varepsilon\),\(\varepsilon \sim N(0, \Psi)\),\(\varepsilon \perp \eta\)。这里 \(\Lambda\) 的零模式由 \(Q\) 固定,非零元素自由;\(\Psi\) 可非对角(允许相关误差)。\(\eta \sim N(0, \Phi)\),\(\Phi\) 正定。

  2. 结构模型:\(\eta = B^\top\eta + \zeta\),\(\zeta \sim N(0, \Omega)\),\(\Omega\) 对角。\(B\) 的零模式由 \(Z\) 约束,非零元素自由,且 \(G(B)\) 必须是无环的。由此导出:

    \[\Phi(B, \Omega) = (I - B^\top)^{-1}\Omega(I - B)^{-1}\]

可观测数据:\(y_1, \ldots, y_n \overset{\text{i.i.d.}}{\sim} N(0, \Sigma(\theta))\),其中 \(\Sigma(\theta) = \Lambda\Phi(B,\Omega)\Lambda^\top + \Psi\)。注意:研究者只能看到 \(Y\) 的分布,\(\eta\) 本身不可观测。所有关于潜结构的信息都必须通过 \(\Sigma(\theta)\) 间接传递。

关键区分: - 可观测:\(Y\) 的分布(由 \(\Sigma\) 完全刻画) - 想要但观测不到:\(\eta\) 本身、\(B\)(潜变量间的因果结构)、\(\Lambda\) 的非零元素、\(\Psi\) 的非对角元素

第二步:最小内核——三变量链的等价类

设定:\(m = 3\) 个潜变量,\(p = 9\) 个指标(每个潜变量3个指标),测量模型为纯简单结构(每个指标只测一个潜变量,无交叉载荷,\(\Psi\) 对角)。此时测量模型由三指标规则可识别(Bollen, 1989, Chapter 7),即 \(\Lambda\) 和 \(\Phi\) 可从 \(\Sigma\) 唯一恢复。

核心问题:给定 \(\Phi\)(已从数据中识别),能否唯一确定潜变量间的DAG结构?

关键观察:考虑三个潜变量 \(\eta_1, \eta_2, \eta_3\),其协方差矩阵为:

\[\Phi = \begin{pmatrix} 1 & 0.6 & 0.3 \\ 0.6 & 1 & 0.5 \\ 0.3 & 0.5 & 1 \end{pmatrix}\]

这个 \(\Phi\) 可以由三个不同的DAG生成(图1):

  1. 链 \(\eta_1 \to \eta_2 \to \eta_3\):\(\beta_{12} = 0.6\),\(\beta_{23} = 0.5\),\(\omega = (1, 0.64, 0.75)\)
  2. 反向链 \(\eta_1 \leftarrow \eta_2 \leftarrow \eta_3\):\(\beta_{21} = 0.6\),\(\beta_{32} = 0.5\),\(\omega = (0.64, 0.75, 1)\)
  3. 叉子 \(\eta_1 \leftarrow \eta_2 \to \eta_3\):\(\beta_{21} = 0.6\),\(\beta_{23} = 0.5\),\(\omega = (0.64, 1, 0.75)\)

为什么它们不可区分? 因为 \(\Phi_{13} = \Phi_{12}\Phi_{23} = 0.6 \times 0.5 = 0.3\),即 \(\eta_1\) 和 \(\eta_3\) 在给定 \(\eta_2\) 条件下独立。这三个DAG都蕴含且仅蕴含这一个条件独立关系:\(\eta_1 \perp \eta_3 \mid \eta_2\)。在 faithfulness 假设下(即观测分布中所有的条件独立关系都由图结构蕴含),这三个DAG生成完全相同的观测分布。

这个例子的意义:它展示了本文定理1的核心内容——潜DAG仅可识别到其马尔可夫等价类。观测数据可以告诉我们哪些变量之间有边(adjacency),以及哪些边是" compelled"(所有等价类成员共享的方向),但无法区分等价类内部的方向差异。例如,在上述三变量例子中,\(\eta_1 - \eta_2\) 和 \(\eta_2 - \eta_3\) 的邻接关系是确定的,但所有方向都是可逆的(reversible),因为等价类包含链、反向链和叉子三种DAG。

为什么这很重要? 因为它界定了统计推断的极限:任何基于观测数据的方法(无论多么复杂)最多只能恢复MEC,而非唯一的DAG。本文的DAGGLE方法正是以MEC为估计目标,而不是试图恢复唯一的DAG——这一定位使得其理论保证(定理2的一致性)是可达成的。

最小内核的数学本质:本文要解决的数学问题是——在参数空间 \(\Theta_Z\)(满足测量约束、结构约束和无环性)上最小化边际似然,并证明:(a) 该问题的全局最优解对应的MEC等于真实MEC(可识别性);(b) 两阶段算法能以概率趋于1找到该最优解(一致性)。其核心困难在于:(i) 无环性约束的非凸性;(ii) 潜变量需要积分(边际似然无闭式解时的计算挑战);(iii) 等价类空间上的搜索需要特殊的邻域结构。

三、这篇论文做了什么

三句话

  1. 研究了什么问题:在测量模型已知(允许交叉载荷和相关误差)的高斯线性SEM中,如何从观测数据中一致地学习潜变量间的DAG结构,并刻画其可识别性边界。
  2. 核心工具/方法:提出DAGGLE,一个两阶段方法——第一阶段通过带截断ℓ1惩罚的连续优化(结合光滑无环性约束)筛选候选边;第二阶段在马尔可夫等价类空间上进行BIC引导的后向剪枝。
  3. 主要结论:在温和条件下,潜DAG可识别到其马尔可夫等价类(定理1);DAGGLE能以概率趋于1恢复真实MEC(定理2);模拟和ESS数据应用验证了方法的有效性。

关键设定与假设

设定(在第二节最小记号基础上补全):

  • 测量模型:\(Y = \Lambda\eta + \varepsilon\),\(\varepsilon \sim N(0, \Psi)\)。\(\Lambda\) 的零模式由 \(Q\) 固定,\(\Psi\) 可非对角。归一化:\(\text{diag}(\Phi) = 1_m\),每个 \(\Lambda\) 列至少一个正元素固定(解决尺度/符号不确定性)。
  • 结构模型:\(\eta = B^\top\eta + \zeta\),\(\zeta \sim N(0, \Omega)\),\(\Omega\) 对角正定。\(B\) 的零模式由 \(Z\) 约束,\(G(B)\) 无环。
  • 可观测数据:\(y_1, \ldots, y_n \overset{\text{i.i.d.}}{\sim} N(0, \Sigma(\theta))\),\(\Sigma(\theta) = \Lambda\Phi(B,\Omega)\Lambda^\top + \Psi\)。

关键假设:

  • 假设1(测量模型可识别):\(\Lambda^*\)、\(\Phi^*\)、\(\Psi^*\) 可从 \(\Sigma^*\) 唯一恢复(在 \(Q\) 和归一化约束下)。这排除了旋转不确定性,是后续所有结果的前提。
  • 假设2(faithfulness):潜变量分布 \(N(0, \Phi^*)\) 对 \(G^*\) 是 faithful 的,即所有条件独立关系都由图结构蕴含。这是从 \(\Phi\) 到图结构的桥梁。
  • 假设3(搜索条件):后向剪枝的邻域结构满足一定的正则性(具体见附录S1.4),确保贪心搜索不会陷入局部最优。
  • 假设4(正则性):似然函数的正则性条件(可微性、信息矩阵正定等),用于建立一致性。

相比已有工作的变化: - 相比 NO-TEARS(Zheng et al., 2018):处理潜变量而非观测变量,使用边际似然而非观测似然。 - 相比 DAG-CLIP(Zhang, Chen, & Moustaki, 2026):使用精确高斯边际似然而非复合似然,允许交叉载荷和相关误差。 - 相比 MIMBuild(Silva et al., 2006):允许更一般的测量模型(交叉载荷、相关误差),且基于精确似然而非约束方法。

主要结果

定理1(可识别性):在假设1-3下,潜DAG \(G^*\) 可识别到其马尔可夫等价类 \(\mathcal{M}(G^*) \cap \mathcal{D}_m(Z)\)。即:任何与 \(G^*\) 生成相同观测分布的DAG \(G'\) 必然属于 \(\mathcal{M}(G^*) \cap \mathcal{D}_m(Z)\)。

  • 直觉:测量模型可识别意味着 \(\Phi^*\) 可从 \(\Sigma^*\) 唯一恢复;faithfulness 意味着 \(\Phi^*\) 中的条件独立关系完全由图结构决定;因此,观测分布等价 \(\Rightarrow\) \(\Phi\) 相同 \(\Rightarrow\) 条件独立关系相同 \(\Rightarrow\) 图属于同一MEC。
  • 技术难点:需要处理 \(\Phi\) 到 \(B\) 的多对一映射。给定 \(\Phi\),存在多个 \((B, \Omega)\) 对满足 \(\Phi = (I-B^\top)^{-1}\Omega(I-B)^{-1}\)。定理1的关键是证明这些不同的 \((B, \Omega)\) 对应的图都属于同一MEC。
  • 必要条件:测量模型可识别(假设1)和 faithfulness(假设2)缺一不可。若测量模型不可识别,则 \(\Phi\) 本身不确定,图更无法识别;若 faithfulness 不成立,则观测分布可能蕴含图结构未暗示的条件独立关系,导致错误推断。

定理2(一致性):在假设1-4下,DAGGLE 输出的MEC \(\hat{\mathcal{C}}_n\) 满足 \(\mathbb{P}(\hat{\mathcal{C}}_n = \mathcal{M}(G^*) \cap \mathcal{D}_m(Z)) \to 1\) 当 \(n \to \infty\)。

  • 证明路线(据附录S1.3-S1.4):
  • Screening 一致性:证明带截断ℓ1惩罚的连续优化问题(7)的全局最优解对应的图包含真实图的所有边(sure screening 性质),且不包含"强"假边。这依赖于截断ℓ1惩罚的性质(Shen et al., 2012):对大于截断水平的系数不收缩,从而避免普通ℓ1的收缩偏差。
  • 剪枝一致性:证明从 screening 得到的图出发,BIC引导的后向剪枝能以概率趋于1找到真实MEC。关键在于:(i) BIC 对过度拟合的惩罚随 \(n\) 发散,确保不会保留冗余边;(ii) 邻域结构的设计确保从任何包含真实图的超图出发都能通过逐步删除到达真实MEC。
  • 结合:Screening 阶段以概率趋于1保留所有真实边,剪枝阶段以概率趋于1删除所有假边,两者结合得到一致性。

技术技巧点名: - 截断ℓ1惩罚(Shen et al., 2012, 2013):用于 screening 阶段,避免普通ℓ1对较大系数的收缩偏差,同时保持凸性(通过 DC 分解)。 - 光滑无环性约束(Zheng et al., 2018):h(B) = tr{exp(B∘B)} - m = 0,将组合约束转化为光滑等式约束,使连续优化可行。 - DC(Difference of Convex)算法:处理截断ℓ1惩罚的非凸性,通过线性化凹部分迭代求解凸子问题。 - BIC引导的等价类空间搜索:不同于直接在DAG空间上搜索,而是在MEC空间上定义邻域,利用GES的算子(Insert/Delete/Reverse)在等价类间移动。 - 精确边际似然:通过积分潜变量得到观测数据的边际似然,避免两步法(先估计因子得分再学习图)的信息损失。

真实例子与应用

模拟研究(Section 5):三种图族(随机图、星形图、树形图)× 两种维度(\(m=20, 40\))× 两种样本量(\(n=2000, 4000\))。每个设置100次重复。评价指标包括结构汉明距离(SHD)、骨架F1、有向边F1、精确恢复率(MEC)。

关键模拟结果: - DAGGLE 在所有12个设置中取得最低的平均SHD和最高的精确恢复率。 - 与 DAGGLE(0)(仅screening不剪枝)的对比显示,剪枝阶段在随机图和树形图上显著降低假阳性边,在星形图上两者接近(因为星形图的screening已经足够稀疏)。 - 与 FS-PC、FS-GES、LC-GES 的对比显示,plug-in方法因因子得分不保留潜变量条件独立关系而失效:FS-PC 的SHD随\(n\)增大而增大(与理论预测一致),FS-GES 选择稠密图(假阳性边数超过真实边数),LC-GES 虽是最优plug-in方法但精确恢复率仍远低于DAGGLE。

ESS应用(Section 6):英国子样本,\(n=1,805\),15个指标测量5个潜变量(Effectiveness, Procedural Fairness, Obligation to Obey, Moral Alignment, Cooperation)。在无先验排序约束下,DAGGLE恢复的图与程序正义理论一致:Effectiveness 和 Procedural Fairness 影响 Obligation to Obey 和 Moral Alignment,后者影响 Cooperation。与已发表的确认性SEM模型相比,DAGGLE的拟合更优(BIC更低),且额外发现了 Procedural Fairness 到 Cooperation 的直接路径。

🔎 结论是否比证明窄

  • 定理1的证明依赖于测量模型可识别的假设(假设1),但论文在 Remark 1 中仅给出三指标规则作为充分条件,未给出更一般的可识别条件刻画。这意味着定理1的适用范围可能比论文声称的窄——对于不满足三指标规则的测量模型(如两指标、存在交叉载荷但模式不完全已知),可识别性是否成立仍是开放的。
  • 定理2的一致性是在固定维度(\(m\) 固定,\(n \to \infty\))下证明的。论文在 Section 4.2 末尾提到"high-dimensional regimes where the number of constructs grows with sample size"作为未来工作,但未给出任何高维一致性的理论保证。因此,论文对高维情形的适用性没有理论支撑。
  • screening 阶段的全局最优性:论文承认数值解可能陷入局部最优(Section 3.2),但定理2的证明假设 screening 阶段找到了全局最优。这是一个 gap——论文没有讨论局部最优对最终结果的影响。
  • faithfulness 假设在潜变量情形下比观测变量情形更强,因为潜变量的不可观测性可能引入额外的条件独立关系。论文未讨论 faithfulness 违反时的鲁棒性。

四、开放问题

  1. 高维一致性(扎根于 Section 4.2 末句):当潜变量个数 \(m\) 随样本量 \(n\) 增长时,DAGGLE 的一致性是否仍然成立?需要什么样的条件(如稀疏性、测量模型的可识别性随维度如何变化)?这直接关系到方法在高维心理测量数据(如大规模调查、多维度评估)中的适用性。

  2. 测量模型可识别性的更一般刻画(扎根于 Remark 1):三指标规则是充分条件,但非必要条件。能否给出更一般的可识别条件(如允许部分交叉载荷、允许某些潜变量只有两个指标但借助结构信息识别)?这与您熟悉的半参数识别理论有直接联系——本质上是一个"给定 \(\Sigma\),何时能唯一恢复 \((\Lambda, \Phi, \Psi)\)"的代数问题。

  3. faithfulness 违反的鲁棒性(扎根于假设3):当潜变量分布不满足 faithfulness 时(如路径系数恰好使条件独立关系与图结构不一致),DAGGLE 的行为如何?能否给出类似"部分 faithfulness"的弱化条件?

  4. screening 阶段局部最优的影响(扎根于 Section 3.2):论文承认数值解可能非全局最优,但定理2假设了全局最优。能否刻画局部最优解与全局最优解之间的差距?或者设计更好的初始化策略?

  5. 非线性与异质性扩展(扎根于 Section 7 的讨论):论文假设高斯线性模型。扩展到非线性结构方程或非高斯分布时,可识别性结果如何变化?特别是,非高斯性可能帮助识别更多方向信息(类似于LiNGAM的思路),这是否能缩小MEC的大小?

  6. 计算复杂度与可扩展性(扎根于 Section 5 的模拟设置):论文的模拟最高为 \(m=40\),且每个设置需要8小时预算。对于 \(m > 100\) 的潜变量网络,screening 阶段的连续优化和剪枝阶段的邻域搜索是否仍然可行?能否利用稀疏性设计更高效的算法?


提示:若要确认上述哪些是真正的 gap 而非论文已解决或无关紧要的问题,建议检索近2-3年关于 latent variable DAG learning 的文献(如因果表示学习、潜变量因果发现方向),看是否有工作已经处理了高维一致性或非线性扩展。如果多个近期工作都指向同一问题,那很可能是共识性的开放问题;如果各工作给出的答案不一致,那可能是更有意思的张力点。


Maintained by 陈星宇 · Homepage · Source on GitHub

评论