Nonasymptotic causal structure learning in generalized linear DAGs with continuous optimization¶
作者: Chang Deng, Inbeom Lee, Bryon Aragam
主题: 因果推断
相关性: 8/10
链接: https://arxiv.org/abs/2611.11667
一、领域脉络与小综述¶
这个方向是什么¶
本文所处的子方向是基于连续优化的可微 DAG 结构学习(differentiable DAG structure learning)。其根本问题在于:从观测数据中恢复有向无环图(DAG)的因果结构,传统上是一个组合优化问题(搜索空间随节点数超指数增长,且已被证明是 NP-hard,见 Chickering 2002)。Zheng et al. (2018) 的 NOTEARS 开创性地将无环性约束转化为一个光滑的等式约束 h(B)=0,从而把结构学习转化为一个连续优化问题,使得标准梯度方法可以直接应用。这个子方向当前的状态是:计算上已经高度成熟(NOTEARS 及其变体在实践中有广泛应用),但统计理论上存在明显缺口——尤其是对于非线性模型(如广义线性模型),缺乏有限样本的非渐近保证。本文正是要填补这个缺口。
发展脉络¶
- 奠基工作:Zheng et al. (2018) 提出 NOTEARS,首次给出光滑且精确的无环性刻画 h(B)=tr(exp(B∘B))−p,将组合问题转化为连续优化。这是整个"可微 DAG 学习"领域的起点。
- 主要进展:后续工作沿着两条线推进。一是扩展模型类别:Zheng et al. (2020) 将 NOTEARS 推广到非参数模型,Lachapelle et al. (2019) 和 Yu et al. (2019) 引入神经网络(GraN-DAG 和 DAG-GNN),Brouillard et al. (2020) 处理干预数据,Pamfil et al. (2020) 处理时间序列,Bhattacharya et al. (2021) 处理未观测混杂。二是理论分析:Deng et al. (2023, 2024) 和 Deng & Aragam (2025) 开始研究这些连续优化问题的统计性质,但主要停留在种群层面(population level)的识别性。
- 当前 frontier:在非线性模型下,有限样本的非渐近理论仍然缺失。已有的有限样本理论(如 Shojaie & Michailidis 2010; van de Geer & Bühlmann 2013; Loh & Bühlmann 2014)都是针对非可微方法(如 Lasso 类惩罚 + 离散搜索),不适用于基于梯度的连续优化框架。本文的位置正是:为可微 DAG 学习方法在 GLM 设定下提供第一个有限样本保证。
子线索聚类¶
被引文献大致落在三条子线索上:
- 可微无环性约束与连续优化(Zheng et al. 2018; Yu et al. 2019; Bello et al. 2022; Nazaret et al. 2023; Ng et al. 2022; Deng et al. 2023):这条线关注如何设计好的无环性约束函数和优化算法。Bello et al. (2022) 的 DAGMA 用 log-determinant 刻画无环性,在实践中比 NOTEARS 的矩阵指数约束有更好的梯度行为。本文的算法正是基于 DAGMA。
- GLM/非线性 DAG 的统计识别与估计(Park & Raskutti 2015, 2017, 2018; Park & Park 2019a, 2019b; Gu et al. 2019; Wang et al. 2024):这条线研究在非线性设定下(泊松、逻辑、二次方差函数等)如何从观测分布中识别 DAG 结构,以及如何用惩罚似然方法估计。这些工作通常假设已知拓扑序或使用非可微的离散搜索。
- 高维稀疏估计的统一理论(Negahban et al. 2012; van de Geer & Bühlmann 2013; Fan & Tang 2013; Lv & Liu 2014):这条线提供了一般性的 M-估计器理论框架(限制强凸性、可分解正则化子等),本文的证明框架(经验过程 + 局部化)正是建立在这一传统之上。
这个方向在追问的核心问题¶
- 识别性:在非线性 GLM-DAG 中,观测分布能否唯一确定 DAG 结构(至少是马尔可夫等价类)?在什么条件下可以?
- 估计的一致性:连续优化问题的全局最优解是否统计一致?收敛速率是多少?
- 有限样本保证:在 n 和 p 都有限时,估计误差的显式上界是什么?需要什么条件(信号强度、图稀疏度、正则化参数选择)?
- 计算-统计的张力:连续松弛引入的近似误差是否会影响统计性质?非凸优化找到的局部最优解是否仍然有统计保证?
已知瓶颈:非线性模型的似然函数通常非凸,全局最优解难以保证;无环性约束的非凸性使得优化问题本身就很困难;GLM 的矩条件比线性高斯模型复杂得多,难以建立清晰的种群识别条件。
⚠️ 作者的 framing¶
作者把缺口 frame 成:"虽然可微 DAG 学习方法在实践中广泛使用,但缺乏有限样本统计保证,尤其是在非线性模型下。" 他们声称的贡献是:(1) 提出一个统一的连续优化框架(GLM-DAGMA),覆盖逻辑、泊松、高斯等 GLM;(2) 证明种群层面的识别性(Theorem 1);(3) 建立有限样本的非渐近界(Theorem 2),给出 O(√(p log p / n)) 量级的估计误差。注意:作者将他们的结果定位为"首次为非线性可微 DAG 学习提供有限样本理论",但这个声称的强度需要你自己去验证——特别是要检查他们的假设(A1)-(A2) 是否比已有文献更弱或更强,以及他们的"全局最优解"假设在计算上是否现实。
值得注意的回避:作者在 intro 中淡化了非凸优化的局部最优问题——他们的理论保证是针对"全局最优解"的,但实际算法(梯度下降)只能找到局部最优。这是一个重要的 gap,作者没有正面回应。另外,他们也没有讨论不可识别性(多个 DAG 生成同一分布)的充分条件,只是假设了某种分离条件(ggap > 0)。
张力¶
- 可微 vs. 非可微:可微方法(本文)和传统离散搜索方法(van de Geer & Bühlmann 2013)在理论上存在张力——前者计算高效但理论困难,后者理论成熟但计算受限。本文试图弥合这一差距,但代价是引入了更强的假设(如 ggap > 0 的种群分离)。
- 全局 vs. 局部最优:理论分析假设全局最优解,但实际算法只能保证局部最优。Deng et al. (2023) 已经指出 NOTEARS 类目标函数的非凸性会导致局部最优问题,本文没有完全解决这一点。
- 未见明显对立引用:被引文献之间没有直接矛盾,但 Park & Raskutti (2015, 2017) 的识别性结果与本文的识别性条件(Theorem 1)之间的精确关系值得你去查证——它们是否在相同条件下成立?还是本文的条件更弱/更强?
二、最核心、最简单的例子 / 数学问题¶
第一步:符号、模型、可观测数据¶
符号清单(逐个点名):
| 符号 | 含义 | 类型 |
|---|---|---|
| \(X \in \mathbb{R}^{n \times p}\) | 观测数据矩阵,n 个 i.i.d. 样本,p 个变量 | 可观测 |
| \(X_j \in \mathbb{R}^n\) | 第 j 个变量的观测向量 | 可观测 |
| \(B \in \mathbb{R}^{p \times p}\) | 加权邻接矩阵,\(B_{k,j} \neq 0 \Leftrightarrow X_k \to X_j\) | 参数(待估) |
| \(B_{\cdot j} \in \mathbb{R}^p\) | B 的第 j 列,即节点 j 的父节点权重向量 | 参数(待估) |
| \(B_0\) | 真实生成数据的参数 | 参数(真实值,不可观测) |
| \(\eta_j = X^\top B_{\cdot j}\) | 节点 j 的自然参数(线性预测子) | 潜变量(由 B 和 X 决定) |
| \(A(\cdot)\) | GLM 的累积量函数(cumulant function) | 已知(模型设定) |
| \(q(\cdot)\) | 基测度因子 | 已知(模型设定) |
| \(\ell_j(B_{\cdot j})\) | 节点 j 的种群负对数似然 | 不可观测(依赖分布) |
| \(\ell_{j,n}(B_{\cdot j}; x)\) | 节点 j 的经验负对数似然 | 可计算(由数据) |
| \(\rho_{\lambda,\delta}(\cdot)\) | 准-MCP 惩罚函数 | 已知(用户选择) |
| \(\hat{B}\) | 经验风险最小化估计量(式 15) | 可计算 |
| \(B^*\) | 种群风险最小化目标(式 16) | 不可观测(理论对象) |
| \(h(B) = \text{tr}(\exp(B \circ B)) - p\) | 无环性约束函数 | 已知 |
| \(\pi\) | 拓扑序(排列) | 潜变量(由 B 决定) |
| \(S^\pi_j = \{\pi(1), \ldots, \pi(j-1)\}\) | 拓扑序 π 下节点 π(j) 的候选父节点集 | 由 π 决定 |
| \(\Sigma_X\) | X 的协方差矩阵 | 不可观测(但可通过样本估计) |
| \(\tau\) | 等价类中的最小非零权重(式 23) | 不可观测(理论对象) |
| \(g_{gap}\) | 相容与不相容拓扑序之间的似然差距(式 29) | 不可观测(理论对象) |
| \(\kappa\) | Fisher 信息的最小特征值下界(A2) | 假设条件 |
| \(s_0 = \|B_0\|_0\) | 真实图的边数 | 不可观测(理论对象) |
模型(数据生成机制):
每个节点 \(X_j\) 的条件分布属于指数族,且只依赖于其父节点:
其中 \(B_{\cdot j}\) 的支撑集恰好是 \(PA(j)\)。联合分布因式分解为:
可观测 vs. 不可观测: - 可观测:\(X \in \mathbb{R}^{n \times p}\)(n 个 i.i.d. 样本) - 想要但观测不到:\(B_0\)(真实加权邻接矩阵)、\(G_0\)(真实 DAG)、拓扑序 \(\pi\) - 识别途径:通过惩罚似然 + 无环性约束,从 X 中估计 B
第二步:最小内核¶
剥掉所有一般性假设后,这篇论文在数学上干的事是:
在一个 p 节点、每条边权重至少为 τ 的 GLM-DAG 中,给定 n 个 i.i.d. 样本,证明"最小化带无环性约束的惩罚负对数似然"得到的估计量 \(\hat{B}\),其拓扑序以高概率落在真实 DAG 的马尔可夫等价类中,且估计误差 \(\|\hat{B} - B^*\|_F^2\) 以 \(O(p \log^s p / n)\) 的速率收敛。
最简例子:考虑 p=2 的最简单情形,两个二元变量 \(X_1 \to X_2\),逻辑回归模型:
其中 \(b \neq 0\) 是唯一的边权重。此时: - 可能的 DAG 只有两个:\(X_1 \to X_2\) 或 \(X_2 \to X_1\) - 真实模型是 \(X_1 \to X_2\),\(B_0 = \begin{pmatrix} 0 & b \\ 0 & 0 \end{pmatrix}\) - 观测数据:\((x_{1i}, x_{2i})_{i=1}^n\),每个样本独立
为什么这个例子能体现核心困难:
-
无环性约束的必要性:如果不加约束,最小化负对数似然可能得到 \(B = \begin{pmatrix} 0 & b \\ b' & 0 \end{pmatrix}\)(双向边),这不是 DAG。无环性约束 \(h(B)=0\) 排除了这种情况。
-
拓扑序的不可观测性:我们不知道 \(X_1\) 是 \(X_2\) 的父节点还是反过来。事实上,当 \(X_1, X_2\) 都是二元变量时,\(X_1 \to X_2\) 和 \(X_2 \to X_1\) 可能生成完全相同的联合分布(即马尔可夫等价)。这时,任何方法都无法区分这两个 DAG——这就是为什么本文的目标是"落在马尔可夫等价类中"而非"精确恢复真实 DAG"。
-
有限样本的困难:在 n 有限时,经验似然与种群似然有偏差。如果真实边权重 b 很小(接近 τ),那么经验似然可能更偏好"无边"的模型(即空图)。惩罚项 \(\rho_{\lambda,\delta}\) 的作用就是压制这种虚假的边。但惩罚太强又会把真实边也压掉——这就是偏差-方差权衡在结构学习中的体现。
-
非凸优化的困难:目标函数 \(L_n(B) = \ell_n(B) + \rho_{\lambda,\delta}(B)\) 在约束 \(h(B)=0\) 下是非凸的。即使种群层面有唯一最小值,有限样本下也可能有多个局部最小值。本文的理论假设"全局最优解",但实际算法只能找到局部最优。
在这个最简例子中,Theorem 2 说的是:当 \(n \gtrsim p \log^s p\)(即样本量足够大)时,以概率至少 \(1 - 2/(pn)\),估计量 \(\hat{B}\) 的拓扑序与真实 DAG 马尔可夫等价,且 \(\|\hat{B} - B^*\|_F^2 \lesssim p \log^s p / n\)。
证明的核心逻辑(在最小内核层面): - 第一步:证明种群层面,\(B^*\) 是唯一的最小边表示(Theorem 1),且任何不相容的拓扑序对应的最优解与 \(B^*\) 之间有至少 \(g_{gap}\) 的似然差距。 - 第二步:用经验过程界(Lemma 1)控制经验似然与种群似然在局部邻域内的一致偏差,偏差量级为 \(O(\sqrt{p \log^s p / n})\)。 - 第三步:用局部化论证(式 37),结合惩罚项的 \(\ell_1\)-Lipschitz 性质,证明任何"太远"的候选解都会被惩罚项排除,从而全局最优解必须落在 \(B^*\) 的邻域内。 - 第四步:在邻域内,用 Fisher 信息下界(A2 中的 κ)将似然差距转化为参数距离,得到最终的 Frobenius 范数误差界。
三、这篇论文做了什么¶
三句话¶
- 研究了什么问题:在广义线性 DAG 模型(GLM-DAG)下,用连续优化方法(可微无环性约束 + 准-MCP 惩罚)学习因果结构时,估计量的有限样本统计保证是什么?
- 核心工具/方法:将结构学习表述为带精确无环性约束 \(h(B)=0\) 的惩罚负对数似然最小化问题(式 33),使用准-MCP 惩罚(式 12)逼近 \(\ell_0\) 计数,并借助经验过程理论(Lemma 1)和局部化论证建立非渐近界。
- 主要结论:在温和的种群分离条件(A1)-(A2) 下,全局最优解的拓扑序以高概率落在真实 DAG 的马尔可夫等价类中,且归一化估计误差 \(\frac{1}{p}\|\hat{B} - B^*\|_F^2 \lesssim \log^s p / n\)(Theorem 2),其中 s=1(有界情形)或 s=3(指数尾情形)。
关键设定与假设¶
模型设定: - 每个节点的条件分布属于指数族,使用典范连接函数(canonical link):\(\eta_j = X^\top B_{\cdot j}\) - 联合分布因式分解为各节点条件分布的乘积(式 3) - 目标:恢复加权邻接矩阵 B 的支撑集(即图结构)
核心假设:
| 假设 | 内容 | 统计含义 |
|---|---|---|
| (A1)(a) | \(\|X\|_{\max} \leq C_{\max}\) 几乎必然 | 有界观测,简化尾概率控制 |
| (A1)(b) | \(X\) 和 \(A'(X^\top \tilde{B}_{\cdot j})\) 有指数尾 | 允许无界但尾概率可控,适用于泊松/高斯 |
| (A2) | Fisher 信息 \(I_{\pi,j} \succeq \kappa I\) 对所有拓扑序 π 成立 | 每个候选父集都有足够的可识别性;这是种群分离条件的核心 |
| 信号条件 | \(\tau \geq 2\delta_0\)(最小边权至少是惩罚阈值的 2 倍) | 真实边不会被惩罚项压掉 |
| 分离条件 | \(g_{gap} \geq g^* > 0\)(不相容拓扑序的似然差距有正下界) | 种群层面能区分相容与不相容的拓扑序 |
相比已有文献的变化: - 相比 van de Geer & Bühlmann (2013)(线性高斯,\(\ell_0\) 惩罚,离散搜索):本文扩展到 GLM,但使用可微约束和连续优化。 - 相比 Zheng et al. (2018)(NOTEARS,线性高斯,无有限样本理论):本文提供有限样本保证,但假设更强的种群分离条件。 - 相比 Park & Raskutti (2015, 2017)(泊松/二次方差函数的识别性):本文的识别性结果(Theorem 1)更一般(覆盖整个指数族),但需要更强的 Fisher 信息下界。
需要注意的假设强度: - (A2) 要求所有拓扑序(包括不相容的)对应的 Fisher 信息都有下界 κ。这在实践中很难验证,且可能对某些模型族不成立。 - \(g_{gap} > 0\) 的假设排除了"几乎不可区分"的边界情形,但这类情形在实际数据中可能很常见(例如弱边)。 - 作者假设全局最优解可达,但实际算法(梯度下降)只能保证局部最优。这是一个重要的理论-实践差距。
主要结果¶
Theorem 1(种群识别性): - 若 \(s_0 = 0\)(空图),则 \(M_{\infty,\lambda,\delta} = \{0\}\) 对所有 \(\lambda, \delta > 0\) 成立。 - 若 \(s_0 \geq 1\),则存在 \(\delta_0, \lambda_0\)(由 τ, κ, \(g_{gap}\), \(s_0\) 决定),使得对所有 \(0 < \delta \leq \delta_0\) 和 \(0 < \lambda \leq \lambda_0\),种群最小化问题的全局最优解恰好是 \(E_{\min}(P(B_0))\)——即最小边表示。
Theorem 2(有限样本保证): - 条件:(A1)-(A2),\(\tau \geq 2\delta_0\),\(g_{gap} \geq g^* > 0\),\(p^2 \lesssim \sqrt{n/\log^{2s-1} n}\)。 - 结论:以概率至少 \(1 - 2/(pn)\), - 拓扑序正确:\(\hat{\pi} \in T_{\min}(P(B_0))\) - 估计误差:\(\min_{B^* \in E_{\min}(P(B_0))} \frac{1}{p}\|\hat{B} - B^*\|_F^2 \lesssim \frac{p \log^s p}{n}\)
技术解读: - 误差界 \(\frac{p \log^s p}{n}\) 对应参数维度 \(p^2\) 中的 \(O(\sqrt{p \log^s p / n})\) 的 Frobenius 范数误差,这是高维稀疏估计的标准速率(与 Lasso 类方法一致)。 - 条件 \(p^2 \lesssim \sqrt{n/\log^{2s-1} n}\) 意味着允许 \(p\) 随 \(n\) 增长,但 \(p\) 不能超过 \(n^{1/4}\) 量级。这是高维但非超高维的设定。 - 概率界 \(1 - 2/(pn)\) 是非渐近的,对任意有限的 n 和 p 都成立。
证明路线与技术技巧¶
整体路线(4 步):
-
种群分析(Theorem 1):证明种群层面,最小边表示是唯一的最优解。关键是用 (A2) 的 Fisher 信息下界证明:任何不相容的拓扑序对应的最优解,其似然值至少比 \(B^*\) 差 \(g_{gap}\)。这一步建立了"种群分离"。
-
经验过程控制(Lemma 1):对每个拓扑序 π 和每个节点 j,控制经验过程
\[\epsilon_n(R) = \sup_{\|b - \tilde{b}^\pi_j\|_{\pi,j} \leq R} \left| \{\ell^\pi_{j,n}(b) - \ell^\pi_j(b)\} - \{\ell^\pi_{j,n}(\tilde{b}^\pi_j) - \ell^\pi_j(\tilde{b}^\pi_j)\} \right|\]这需要利用 GLM 的对数似然结构(指数族)和 (A1) 的尾概率条件。关键技术:对有界情形用 Bernstein 不等式,对指数尾情形用截断 + 大偏差不等式。 -
局部化论证(式 37):对每个候选拓扑序 π,考虑球 \(\|b - \tilde{b}^\pi_j\|_{\pi,j} = R\) 的边界。利用惩罚项的 \(\ell_1\)-Lipschitz 性质(准-MCP 在 \(|z| \geq \delta\) 时是常数),证明:如果 R 足够大,则边界上的经验目标函数值严格为正,从而全局最优解必须落在球内。这一步将"全局最优"转化为"局部最优"。
-
误差界推导:在球内,用 (A2) 的 Fisher 信息下界将似然差距 \(\ell^\pi_j(b) - \ell^\pi_j(\tilde{b}^\pi_j)\) 与 \(\|b - \tilde{b}^\pi_j\|^2_{\pi,j}\) 联系起来(强凸性),结合 Lemma 1 的偏差控制,解出 R 的显式上界。
关键技术技巧: - 准-MCP 惩罚的 \(\ell_1\)-Lipschitz 性质:这是局部化论证的关键。准-MCP 在 \(|z| \geq \delta\) 时斜率为 0,这使得惩罚项在远离原点时不再增长,从而不会过度压缩真实的大系数。 - Fisher 范数与欧氏范数的等价:通过 (A2) 的 κ 下界,将 Fisher 范数 \(\|\cdot\|_{\pi,j}\) 与欧氏范数 \(\|\cdot\|_2\) 联系起来,使得似然差距可以转化为参数距离。 - 对不相容拓扑序的均匀控制:关键难点在于需要对所有 \(p!\) 个拓扑序做均匀控制。作者的处理方式是利用 (A2) 对每个 π 都成立,从而将问题分解为 \(p\) 个节点-wise 的问题,每个节点只需控制 \(O(p)\) 个候选父集。
证明中的潜在弱点(值得你关注): - 全局最优解的假设:证明依赖于"全局最优解"的存在性,但实际算法只能找到局部最优。作者没有给出局部最优解的统计保证。 - 常数的不透明性:定理中的 \(\lesssim\) 隐藏了依赖于 κ, \(C_{\max}\), \(C_{reg}\) 等常数的具体值,这些常数可能很大。 - 条件 \(p^2 \lesssim \sqrt{n/\log^{2s-1} n}\) 比线性高斯情形的 \(p \lesssim \sqrt{n/\log n}\) 更严格,反映了非线性模型的额外困难。
真实例子与应用¶
模拟实验(论文 Section 5): - 数据生成:使用 ER 和 scale-free(SF)图,节点数 \(p \in \{10, 20, 30, 50\}\),边密度 \(k \in \{1, 2, 4\}\),样本量 \(n \in \{100, 500, 1000, 5000, 10000\}\)。 - 模型:逻辑回归(二值数据)、泊松回归(计数数据)、线性高斯(基准)。 - 评估指标:Structural Hamming Distance (SHD),即估计图与真实图之间的边差异数。 - 关键结果: - 样本量增加时,SHD 持续下降,与理论预测一致。 - 在逻辑和泊松模型上,GLM-DAGMA 的 SHD 显著优于空图基线(负对照),说明确实学到了结构。 - 与 PC 和 FGES 相比,GLM-DAGMA 在大多数设置下 SHD 更低或相当,且运行时间更短。 - 负对照实验(随机打乱数据)显示 SHD 接近随机水平,排除了"总是输出稠密图"的平凡解。
负对照(negative control):论文使用随机生成的 DAG 作为负对照,计算其 SHD 分布。GLM-DAGMA 的 SHD 显著低于负对照的 SHD 分布,说明性能不是偶然的。
这个例子想说明什么:验证理论预测的样本复杂度行为,并展示 GLM-DAGMA 在实践中的竞争力。但需要注意:模拟数据都是正确设定的(即数据确实来自 GLM-DAG),真实世界数据的表现可能不同。
🔎 结论是否比证明窄¶
是的,存在几处"证明窄于声称"的地方:
-
全局最优 vs. 局部最优:Theorem 2 的保证是针对"全局最优解"的,但算法只能找到局部最优。论文在实验部分没有系统评估"陷入局部最优"的频率。作者在 intro 中声称"标准梯度方法可以直接应用",但理论上并没有证明梯度方法能收敛到全局最优。
-
马尔可夫等价类 vs. 精确恢复:Theorem 2 的结论是"拓扑序落在最小边表示的马尔可夫等价类中",但实验部分用 SHD 直接比较估计图和真实图,没有区分"等价类正确但具体 DAG 不同"的情况。SHD 可能因为等价类内的方向差异而偏高,但这不是估计错误。
-
假设的可验证性:(A2) 要求所有拓扑序的 Fisher 信息都有下界 κ,这在实践中无法验证。作者没有讨论如何检查这些假设,也没有给出假设不满足时的行为。
-
常数的不透明性:定理中的 \(\lesssim\) 隐藏了常数,这些常数可能依赖于 \(p\) 的指数。作者没有给出常数的显式表达式,因此无法判断在什么具体的 \((n, p)\) 范围内保证是有效的。
-
无干预数据的限制:论文只处理观测数据,没有讨论干预数据(interventional data)或未观测混杂。在存在未观测混杂时,GLM-DAG 的识别性可能完全失效。
四、开放问题¶
以下开放问题均扎根于论文的具体语句或假设:
-
局部最优的统计保证(扎根于 Theorem 2 的"global minimizer"假设):论文只对全局最优解给出了保证,但实际算法只能找到局部最优。能否证明梯度下降(或交替方向法)找到的局部最优解也有类似的统计保证?这需要理解目标函数的几何结构(如是否满足某种"良好"的 landscape 性质)。
-
假设 (A2) 的验证与放宽(扎根于 A2 的"Fisher information lower bound"):(A2) 要求所有拓扑序的 Fisher 信息都有下界 κ,这在实践中无法验证。能否给出可验证的充分条件?或者,能否在更弱的条件下(如只对真实拓扑序附近成立)建立类似的保证?
-
超高维情形的扩展(扎根于条件 \(p^2 \lesssim \sqrt{n/\log^{2s-1} n}\)):论文的定理要求 \(p\) 不超过 \(n^{1/4}\) 量级。能否将结果扩展到 \(p\) 远大于 \(n\) 的情形?这可能需要更强的稀疏性假设或不同的技术工具(如更精细的浓度不等式)。
-
马尔可夫等价类的精细刻画(扎根于 Theorem 2 的"topological order"结论):论文只保证拓扑序落在马尔可夫等价类中,但没有刻画等价类内部的估计精度。能否给出等价类内不同 DAG 的置信集或后验概率?
-
未观测混杂的鲁棒性(扎根于 intro 中"observational data"的设定):论文假设没有未观测混杂。在存在未观测混杂时,GLM-DAG 的识别性如何变化?能否将本文的框架扩展到有隐变量的情形?
-
计算-统计的权衡(扎根于 Section 3 的算法描述):论文的理论分析假设全局最优解,但实际算法(梯度下降)的计算复杂度如何?是否存在计算上更高效的算法(如利用图结构的分块坐标下降)同时保持统计最优性?
-
模型误设定的影响(扎根于 A1-A2 的"正确设定"假设):论文假设数据确实来自 GLM-DAG。如果真实模型不是 GLM(例如存在交互项或非参数链接),估计量的行为如何?能否给出模型误设定下的鲁棒性保证?
关于"确认 gap"的提醒:要确认上述某条是否真的是领域内的开放问题,建议去读近 5 年(2021-2026)的 NeurIPS、ICML、AISTATS、UAI 以及 Annals of Statistics、JRSS-B 中关于可微 DAG 学习的论文的 intro 和 future work 部分。如果多条论文都指向同一个问题,那大概率是共识性的 gap;如果互相矛盾,那可能是一个有争议但值得做的方向。
Maintained by 陈星宇 · Homepage · Source on GitHub