跳转至

Bayesian DAG Structure Learning with Simultaneous Shrinkage Covariance Estimation under Scale-Mixture Error Distributions in the Proportional High-Dimensional Regime

作者: Samaneh Nazari, Mohammad Arashi, Abdolnasser Sadeghkhani
主题: 其他
相关性: 6/10
链接: https://arxiv.org/abs/2607.08428

一、领域脉络与小综述

这个方向是什么

这个子方向是高维贝叶斯有向无环图（DAG）结构学习与精度矩阵联合估计。其根本的统计问题是：给定 \(n\) 个 \(p\) 维观测，如何同时推断出变量间的有向无环图（即条件独立结构）以及对应的精度矩阵（即偏相关系数），并在 \(p\) 与 \(n\) 可比（\(p/n \to c \in (0,\infty)\)）的高维比例渐近 regime 下，保证估计的统计一致性。当前该方向的成熟度处于方法丰富但理论不完整的状态：贝叶斯方法在 DAG 空间上的 MCMC 采样已有大量工作，但大多数理论结果（后验收缩率、选择一致性）局限于 \(p = o(n)\) 或固定 \(p\) 的情形，且对误差分布的假设几乎全是高斯。

发展脉络（history）

  • 奠基工作：
  • Friedman & Koller (2003)：提出基于拓扑排序的 order-MCMC，将 DAG 空间上的搜索转化为排序空间上的搜索，是后续贝叶斯 DAG 学习的计算基础。
  • Geiger & Heckerman (2002)：证明了在完全高斯 DAG 模型下，满足全局参数独立性和完全模型等价性的唯一先验是 normal-Wishart 分布，为 DAG-Wishart 先验提供了理论根基。

  • Meinshausen & Bühlmann (2006)：从频率学派角度，证明了 Lasso 邻域选择在稀疏高维图模型中的一致性，但只处理无向图，且不涉及 DAG 的方向性。

  • 主要进展：

  • Altomare et al. (2013)：引入 DAG-Wishart 分布作为修正 Cholesky 因子的共轭先验，将贝叶斯 DAG 学习与精度矩阵估计统一在一个共轭框架下。但共轭性也意味着先验形式受限，缺乏自适应收缩能力。
  • Cao et al. (2019)：建立了 DAG-Wishart 先验的后验收缩率，但限制在 \(p = o(n)\) 和高斯误差下，未触及比例 regime。
  • Li et al. (2019) (graphical horseshoe)：将 horseshoe 先验推广到精度矩阵的条目上，实现了自适应收缩，但只处理无向图，不涉及 DAG 的方向性和无环约束。

  • Shojaie & Michailidis (2010)：在变量有自然排序的假设下，用惩罚似然方法（Lasso / adaptive Lasso）估计 DAG 的 Cholesky 因子，是频率学派中与本文最接近的路线，但缺乏贝叶斯不确定性量化。

  • 当前 frontier：

  • Kuipers & Moffa (2017)：提出 partition-MCMC，通过将 DAG 分组来改善 MCMC 的混合，是目前贝叶斯 DAG 采样的主流计算框架之一。
  • Bello et al. (2022) (DAGMA)：利用 M-矩阵和对数行列式无环性刻画，将 DAG 学习转化为连续优化问题，是深度学习方法中的代表，但缺乏理论上的假阳性控制。

  • Banerjee & Ghosal (2014)：首次在比例 regime 下建立了 graphical-lasso 先验的后验收缩率，但只针对无向图，且误差为高斯。

  • 本文的位置：本文声称填补了三个具体缺口（G1-G3），将 horseshoe 先验、比例 regime 下的后验收缩理论、以及重尾鲁棒性三者统一在 DAG 结构学习的框架下。它试图将“DAG-Wishart 的共轭性”和“graphical horseshoe 的自适应收缩”这两个此前分离的技术路线合并，并首次在比例 regime 下给出 DAG 的后验收缩率。

子线索聚类

这些被引文献大致落在三条子线索上：

  1. 贝叶斯 DAG 结构学习（计算与先验）：
  2. 代表工作：Friedman & Koller (2003), Kuipers & Moffa (2017), Castelletti et al. (2018), Altomare et al. (2013), Cao et al. (2019), Ben-David et al. (2011)。

  3. 核心关注：如何设计 MCMC 在 DAG 空间上有效采样，以及如何构造合理的先验（DAG-Wishart、客观贝叶斯因子等）。本文的批评：这些工作要么先验形式受限（共轭），要么理论结果局限于 \(p = o(n)\)。

  4. 高维精度矩阵的收缩先验：

  5. 代表工作：Wang (2012) (Bayesian graphical lasso), Li et al. (2019) (graphical horseshoe), Banerjee & Ghosal (2014)。

  6. 核心关注：在精度矩阵的条目上放置全局-局部收缩先验，实现自适应稀疏估计。本文的批评：这些工作只处理无向图，不涉及 DAG 的方向性和无环约束，且大多数理论结果在比例 regime 下不完整。

  7. 鲁棒图模型与重尾误差：

  8. 代表工作：Finegold & Drton (2011) (robust graphical modeling with t-distribution), Cui et al. (2016) (copula PC algorithm)。
  9. 核心关注：用 t 分布或 copula 替代高斯假设，使图模型对异常值鲁棒。本文的批评：这些工作没有与 DAG 结构学习结合，也没有在比例 regime 下提供理论保证。

这个方向在追问的核心问题

  1. 如何在高维比例 regime 下同时实现 DAG 结构学习和精度矩阵估计的后验一致性？ 当前主流方法（DAG-Wishart）的理论只覆盖 \(p = o(n)\)，而比例 regime 是实际应用（如 RNA-seq）的常态。已知瓶颈：比例 regime 下样本协方差矩阵不再是相合估计，需要依赖稀疏性假设和更精细的浓度不等式。
  2. 如何将全局-局部收缩先验（如 horseshoe）与 DAG 的无环约束自然结合？ 现有收缩先验要么放在精度矩阵条目上（无向），要么放在 Cholesky 因子上但需要已知排序。已知瓶颈：在未知排序下，Cholesky 因子的稀疏模式与 DAG 结构之间的对应关系是耦合的，先验需要同时处理排序和稀疏性。
  3. 如何在高维 DAG 学习中处理重尾误差和污染观测？ 大多数贝叶斯 DAG 方法假设高斯误差，而实际数据（RNA-seq、金融数据）经常是重尾的。已知瓶颈：鲁棒性通常以牺牲效率为代价，如何在保持收缩率的同时实现鲁棒性是一个开放问题。
  4. 如何设计计算可行的 MCMC 算法，使其每步迭代成本与平均入度（而非维度 p）成比例？ 现有贝叶斯 DAG 采样器的计算瓶颈通常是 \(O(np^2 + p^3)\)，在 p 较大时不可行。已知瓶颈：排序空间的 MCMC 混合时间随 p 增长而恶化，且精度矩阵的更新需要矩阵求逆。

⚠️ 作者的 framing

  • 作者把缺口 frame 成什么：作者将三个缺口（G1-G3）描述为“no prior simultaneously enforces DAG-Markov structure and induces continuous global–local shrinkage”、“no existing Bayesian DAG-learning machinery is shown to admit posterior contraction in the proportional regime”、“no computational algorithm traverses the joint space of orderings, sparsity patterns and latent scales”。这使得本文成为“显然的下一步”：将 horseshoe 先验放在 Cholesky 因子上 + 比例 regime 下的后验收缩理论 + 重尾鲁棒性 = R-DACH。
  • 哪些竞争路线被他淡化或回避了：
  • 频率学派的 DAG 学习方法（如 Shojaie & Michailidis 2010 的惩罚 Cholesky 因子方法）被简化为“penalised Cholesky factorisations”，但未讨论其在高维比例 regime 下的理论性质（实际上，频率学派方法在比例 regime 下的相合性也是开放问题）。作者回避了频率学派方法在计算上可能更简单（无需 MCMC）这一事实。
  • 深度学习方法（DAGMA, Lopez et al. 2018） 被放在“未来方向”中，声称“the comparison is conceptually delicate because the deep methods do not target the same parameter and offer no theoretical control of false-positive rates”。这实际上回避了深度学习方法在计算可扩展性上的巨大优势（可处理 p 在数千甚至数万的情形）。
  • 基于 copula 的半参数方法（Liu et al. 2009, Cui et al. 2016）被提及但未深入讨论，作者声称“its interaction with the scale-mixture component requires care”，但未说明为什么自己的 scale-mixture 方法比 copula 方法更优。
  • 什么明显该被引 / 该存在、却没出现在 intro 里？：
  • 高维贝叶斯变量选择中的理论工作（如 Castillo, Schmidt-Hieber, van der Vaart 2015 关于贝叶斯线性回归后验收缩率的 work）没有被引用。本文的后验收缩率证明（Theorem 3.4）本质上依赖于 Ghosal & van der Vaart (2007) 的一般框架，但该框架在高维非线性模型中的应用通常需要更精细的检验构造，而本文的证明似乎直接套用了该框架，没有讨论 DAG 模型特有的检验构造困难。
  • 关于高维比例 regime 下随机矩阵理论的经典工作（如 Bai & Silverstein 2010）被引用，但只用于 Lemma 3.1 中的 Wishart 浓度不等式。实际上，比例 regime 下样本协方差矩阵的谱分布行为（Marchenko-Pastur 定律）对理解精度矩阵估计的困难至关重要，但本文没有利用这些结果来刻画估计的极限行为。

张力

未见明显对立引用。被引工作之间没有在相同条件下得出相反结论的情况。主要的张力存在于不同方法路线之间（贝叶斯 vs 频率学派 vs 深度学习），但作者通过将本文定位为“统一框架”来回避直接冲突。

二、最核心、最简单的例子 / 数学问题

第一步：把符号、模型、可观测数据交代清楚

  • 符号：
  • \(n\): 样本量。
  • \(p\): 变量维度。
  • \(Y \in \mathbb{R}^{n \times p}\): 数据矩阵，第 \(i\) 行为 \(y_i^\top\)。
  • \(G = (V, E)\): 有向无环图，\(V = \{1, \dots, p\}\)，\(E\) 为边集。
  • \(\sigma \in S_p\): 拓扑排序（permutation of \(\{1, \dots, p\}\)）。
  • \(A \in \{0,1\}^{p \times p}\): 在排序 \(\sigma\) 下的严格下三角邻接矩阵。
  • \(\text{pa}(j) \subset \{1, \dots, j-1\}\): 节点 \(j\) 的父节点集。
  • \(d_j = |\text{pa}(j)|\): 节点 \(j\) 的入度。
  • \(\bar{d} = p^{-1} \sum_{j=1}^p d_j\): 平均入度。
  • \(\Omega = \Sigma^{-1} \in \mathbb{R}^{p \times p}\): 精度矩阵（要估的参数）。
  • \(L \in \mathbb{R}^{p \times p}\): 单位下三角修正 Cholesky 因子（要估的参数），满足 \(\Omega = L^\top D^{-1} L\)。
  • \(D = \text{diag}(d_1, \dots, d_p)\): 对角矩阵（要估的参数），\(d_j > 0\)。
  • \(L_{jk}\) (\(k < j\)): \(L\) 的严格下三角元素，非零当且仅当存在边 \(k \to j\)。
  • \(\omega_i > 0\): 第 \(i\) 个观测的潜在尺度参数（潜在变量），用于实现重尾误差。
  • \(\lambda_{jk} > 0\): 局部收缩参数（潜在变量），控制单个 \(L_{jk}\) 的收缩程度。
  • \(\tau > 0\): 全局收缩参数（潜在变量），控制整体稀疏性。
  • \(\eta_{jk}, \xi\): 辅助变量（潜在变量），用于实现 half-Cauchy 先验的逆伽马表示。
  • \(s_0 = |E_0|\): 真实 DAG 的边数（未知但固定的量）。
  • \(\rho_{\min}\): 最小非零偏相关系数（未知但固定的量）。

  • \(c \in (0, \infty)\): 比例 regime 的极限常数，\(p/n \to c\)。

  • 模型：

  • 数据生成机制：给定 DAG \(G\) 和排序 \(\sigma\)，观测 \(y_i\) 独立同分布，服从均值为零、精度矩阵为 \(\Omega\) 的分布。但误差不是高斯，而是正态的尺度混合：\(y_i \mid \omega_i, L, D \sim N_p(0, (\omega_i \Omega)^{-1})\)，其中 \(\omega_i \sim \pi_\omega(\cdot)\)。选择 \(\pi_\omega\) 为 Gamma(\(\nu/2, \nu/2\)) 得到多元 Student-t 分布（\(\nu\) 自由度）；选择指数分布得到 Laplace；选择 Beta(1/2, 1) 得到 slash 分布。
  • 统计模型：\(\Omega = L^\top D^{-1} L\)，其中 \(L\) 是单位下三角矩阵，\(D\) 是对角正定矩阵。已知：排序 \(\sigma\) 下，\(L\) 的严格下三角稀疏模式唯一对应 DAG 的边集。要估的对象：\(L, D, \sigma\)（以及潜在变量 \(\omega_i, \lambda_{jk}, \tau\)）。

  • 先验：\(L_{jk} \mid \lambda_{jk}, \tau \sim N(0, \lambda_{jk}^2 \tau^2)\)，\(\lambda_{jk} \sim C^+(0,1)\)，\(\tau \sim C^+(0,1)\)（horseshoe 先验）。\(d_j \sim \text{IG}(\alpha_d/2, \beta_d/2)\)。\(\sigma\) 服从 \(S_p\) 上的均匀先验。

  • 可观测数据：

  • 实际能观测到：\(Y \in \mathbb{R}^{n \times p}\)，即 \(n\) 个 \(p\) 维向量。
  • 想要但观测不到：
    1. 真实 DAG \(G_0\)（边集 \(E_0\)）和拓扑排序 \(\sigma_0\)。
    2. 真实 Cholesky 因子 \(L_0\) 和对角矩阵 \(D_0\)。
    3. 潜在尺度参数 \(\omega_i\)（每个观测的“污染程度”）。
    4. 收缩参数 \(\lambda_{jk}, \tau\)。
  • 识别依赖的假设：DAG 结构通过 Cholesky 因子的稀疏模式识别，这要求排序 \(\sigma\) 已知或可从后验中推断。但即使排序已知，DAG 也只能识别到 Markov 等价类（Theorem 3.5 只保证骨架一致性，不保证边的方向性）。

第二步：讲最小内核

最简特例：考虑 \(p = 2\)，\(n\) 较大，且变量有已知拓扑排序 \(\sigma = (1, 2)\)（即 \(1\) 是 \(2\) 的潜在父节点）。误差为高斯（即 \(\omega_i \equiv 1\)）。此时模型退化为一个简单的线性回归：

\[y_{i2} = -L_{21} y_{i1} + \epsilon_i, \quad \epsilon_i \sim N(0, d_2),\]

其中 \(L_{21}\) 是唯一的 Cholesky 参数（标量），\(d_2\) 是条件方差。DAG 结构学习退化为判断 \(L_{21}\) 是否为零（即 \(y_{i1}\) 是否对 \(y_{i2}\) 有直接因果影响）。

在这个特例下，本文的核心思路是什么？

  1. 先验：在 \(L_{21}\) 上放置 horseshoe 先验：\(L_{21} \mid \lambda, \tau \sim N(0, \lambda^2 \tau^2)\)，\(\lambda \sim C^+(0,1)\)，\(\tau \sim C^+(0,1)\)。这个先验在原点处有一个尖峰（spike），在远离原点处有重尾（slab），使得后验可以自适应地收缩 \(L_{21}\) 到零（如果数据支持）或允许其取较大值（如果数据支持）。

  2. 后验收缩：Theorem 3.4 声称，在比例 regime \(p/n \to c\) 下，后验对 \(L_{21}\) 的估计误差以速率 \(\sqrt{(\log p)/n}\) 收缩到零。在 \(p=2\) 时，\(\log p\) 是常数，所以速率是 \(1/\sqrt{n}\)，与标准参数速率一致。证明的关键是 Lemma 3.1（Wishart 浓度不等式）和 Lemma 3.2（horseshoe 先验的 prior mass bound）。

  3. 骨架一致性：Theorem 3.5 声称，如果 \(|L_{21}| \ge C \sqrt{(\log p)/n}\)（\(\beta\)-min 条件），则后验会以趋于 1 的概率正确判断 \(L_{21} \neq 0\)。在 \(p=2\) 时，这等价于要求真实效应大小至少为 \(C/\sqrt{n}\)，这是高维变量选择中不可避免的条件（Wainwright 2009）。

  4. 鲁棒性：如果误差是重尾的（如 t 分布），Theorem 3.6 声称收缩率最多只损失一个 \(\sqrt{\log \log n}\) 因子。在 \(p=2\) 时，这意味着即使数据有异常值，后验仍能以接近 \(1/\sqrt{n}\) 的速率估计 \(L_{21}\)。

这个特例揭示了本文的核心数学困难：在比例 regime 下，即使 \(p=2\)，样本协方差矩阵的谱范数浓度也需要精细的 Wishart 不等式（Lemma 3.1）。当 \(p\) 增长时，困难在于同时处理 \(p^2\) 个 Cholesky 参数（其中大多数为零）的稀疏性，以及排序 \(\sigma\) 的未知性。本文的关键想法是：将 horseshoe 先验放在 Cholesky 因子上，利用其 spike-and-slab 性质同时实现稀疏性和自适应收缩，并通过 Ghosal & van der Vaart (2007) 的一般后验收缩框架来建立速率。

三、这篇论文做了什么

三句话

  1. 研究了什么问题：在高维比例渐近 regime（\(p/n \to c \in (0,\infty)\)）下，如何联合进行有向无环图（DAG）结构学习和精度矩阵估计，并处理重尾误差和污染观测。
  2. 核心工具 / 方法：提出 R-DACH 模型，在修正 Cholesky 因子的严格下三角元素上放置 horseshoe 全局-局部收缩先验，并通过每个观测的逆伽马尺度混合实现鲁棒性；设计了一个部分折叠的块状 Gibbs 采样器。
  3. 主要结论：建立了后验收缩率 \(\epsilon_n = \sqrt{(s_0 \log p)/n}\)（在算子范数和 Frobenius 范数下），证明了 DAG 骨架选择一致性（在 \(\beta\)-min 条件下），并将这些结果推广到只有 \(2+\delta\) 阶矩的重尾误差（速率仅损失 \(\sqrt{\log \log n}\) 因子）。

关键设定与假设

在第二节最小记号的基础上，补全完整设定：

  • 假设 (A1)：\(p_n, n \to \infty\) 且 \(p_n/n \to c \in (0,\infty)\)。这是比例 regime，是本文区别于 Cao et al. (2019) 等工作的关键。
  • 假设 (A2)：真实精度矩阵 \(\Omega_{0,n}\) 的特征值一致有界：\(0 < \kappa \le \lambda_{\min}(\Omega_{0,n}) \le \lambda_{\max}(\Omega_{0,n}) \le \bar{\kappa} < \infty\)。这是标准假设，确保问题不是病态的。
  • 假设 (A3)：真实边数满足 \(s_{0,n} \log p_n = o(n)\)。这是稀疏性假设，确保可识别性。
  • 假设 (A4)：真实非零 Cholesky 参数有界：\(0 < L \le |L_{0,jk}| \le \bar{L} < \infty\)。这是技术性假设，用于 prior mass bound。
  • 假设 (A5)：尺度混合密度 \(\pi_\omega\) 满足 \(E_{\pi_\omega}[\omega^{-1}] < \infty\) 和 \(E_{\pi_\omega}[\omega] = 1\)。对于 Theorem 3.6，进一步要求 \(E_{\pi_\omega}[\omega^{-(1+\delta/2)}] < \infty\)。这些条件确保 Wishart 浓度不等式在积分后仍成立。
  • 假设 (A6)（\(\beta\)-min 条件）：\(\min_{(j,k) \in E_{0,n}} |L_{0,jk}| \ge C_0 \sqrt{(\log p_n)/n}\)。这是骨架选择一致性所必需的，也是高维变量选择中不可避免的（Wainwright 2009）。
  • 假设 (A7)：全局尺度先验 \(\tau \sim C^+(0, \tau_0)\) 且 \(\tau_0 = 1/(p \sqrt{n \log p})\)。这是高维 horseshoe 文献中的标准校准（van der Pas et al. 2014），确保先验在原点有足够的质量。

相比已有文献的放宽或强化： - 放宽：相比 Cao et al. (2019)（\(p = o(n)\)，高斯误差），本文放宽到比例 regime 和重尾误差。 - 强化：相比 Li et al. (2019)（graphical horseshoe，无向图），本文增加了 DAG 的无环约束和排序推断。 - 强化：相比 Finegold & Drton (2011)（鲁棒图模型，无理论保证），本文提供了后验收缩率。

主要结果

Theorem 3.4（联合后验收缩率）： - 陈述：在假设 (A1)-(A5) 和 (A7) 下，令 \(\epsilon_n = M \sqrt{(s_{0,n} \log p_n)/n}\)（\(M\) 足够大）。则后验概率 \(\Pi(\|L - L_{0,n}\|_F + \|\Omega - \Omega_{0,n}\|_{op} > \epsilon_n \mid Y) \to 0\)。 - 直觉：后验以速率 \(\sqrt{(s_0 \log p)/n}\) 收缩到真实参数，这个速率在稀疏性 \(s_0\) 下是近最优的（与 minimax 下界匹配，除了对数因子）。算子范数下的收缩率与 Frobenius 范数下的收缩率相同，这是因为 Cholesky 分解的 Lipschitz 性质（Corollary 3.8）。 - 必要条件：\(s_0 \log p = o(n)\)（假设 A3），即稀疏性必须足够强。 - 解决的技术难点：在比例 regime 下，样本协方差矩阵不再是相合估计，需要依赖稀疏性假设和 Wishart 浓度不等式（Lemma 3.1）。horseshoe 先验的 prior mass bound（Lemma 3.2）需要处理 spike-and-slab 结构。

Theorem 3.5（DAG 骨架选择一致性）： - 陈述：在假设 (A1)-(A7) 下，令 \(\hat{E}_n = \{(j,k): \Pi(L_{jk} \neq 0 \mid Y) > 1/2\}\)（通过 horseshoe 阈值规则）。则 \(\Pr(\hat{E}_n = E_{0,n}) \to 1\)。 - 直觉：后验以趋于 1 的概率正确识别所有真实边和所有非边。 - 必要条件：\(\beta\)-min 条件（假设 A6），即真实非零参数不能太小。 - 解决的技术难点：需要将 Theorem 3.4 的联合收缩率转化为每个单独参数的边际收缩率，并利用 horseshoe 先验的阈值性质。

Theorem 3.6（重尾鲁棒性）： - 陈述：在假设 (A1)-(A4)、(A5) 加强版和 (A7) 下，如果数据只有 \(2+\delta\) 阶矩，则 Theorem 3.4 的结论成立，但速率膨胀一个 \(\sqrt{\log \log n}\) 因子。 - 直觉：即使误差分布只有有限矩（而非次高斯），后验收缩率仍然保持，只是损失一个对数对数因子。这得益于尺度混合结构对异常值的自动降权。 - 必要条件：\(E_{\pi_\omega}[\omega^{-(1+\delta/2)}] < \infty\)，确保 Wishart 浓度不等式被 Fuk-Nagaev 型不等式替代后仍成立。 - 解决的技术难点：将 Lemma 3.1 中的 Wishart 浓度不等式替换为 Fuk-Nagaev 型不等式（适用于只有有限矩的随机矩阵），并跟踪 \(\log \log n\) 因子通过证明。

证明路线与技术技巧

整体路线（Theorem 3.4）：

  1. KL 先验质量：证明在真实参数的一个 \(\epsilon_n\)-邻域内，先验质量至少为 \(\exp(-c s_0 \log p)\)。这依赖于 Lemma 3.2（horseshoe 先验的 prior mass bound），该引理将先验质量分解为活跃坐标（slab 部分）和非活跃坐标（spike 部分）的乘积。
  2. 筛（Sieve）构造：构造一个筛 \(\mathcal{F}_n\)，包含所有支持大小不超过 \(K s_0\)、Frobenius 范数有界、特征值有界的参数。证明筛的补集的先验质量指数级小。
  3. 检验构造：在筛上，利用覆盖数和 Lemma 3.1（Wishart 浓度不等式）构造检验 \(\phi_n\)，使得第一类错误趋于 0，第二类错误指数级小。
  4. 应用 Ghosal & van der Vaart (2007)：将上述三个量代入一般后验收缩定理，得到 Hellinger 度量下的收缩率。再利用假设 (A2) 将 Hellinger 度量等价于算子范数。

关键跳跃点： - Lemma 3.1 的证明：条件于 \(\omega_i\)，\(\omega_i^{1/2} y_i\) 是独立高斯向量，协方差为 \(\Sigma_0\)。Wishart 浓度不等式（Vershynin 2018, Corollary 5.50）给出条件概率界。积分掉 \(\omega_i\) 时，需要假设 (A5) 确保积分后的界不变。这是整个证明的基石，因为后续所有检验构造都依赖于这个浓度不等式。 - Lemma 3.2 的证明：horseshoe 先验的 prior mass bound 需要分别处理活跃坐标（在 slab 区域）和非活跃坐标（在 spike 区域）。对于活跃坐标，利用 horseshoe 密度的下界 \(c |L_{jk}|^{-1} \log(1 + \tau_0^2 / L_{jk}^2)\) 在区间 \([L/2, 2\bar{L}]\) 上的积分。对于非活跃坐标，利用 half-Cauchy 局部尺度有 1/2 的概率小于 \(\tau_0\)，此时条件高斯分布集中在原点附近。 - 检验构造：在筛上，参数空间的覆盖数由 Frobenius 范数控制。结合 Lemma 3.1 的浓度不等式，可以构造出指数级小第二类错误的检验。这是 Ghosal & van der Vaart (2007) 框架的标准应用，但需要验证 DAG 模型的似然比检验性质。

技术技巧点名： - Wishart 浓度不等式（Vershynin 2018, Corollary 5.50）：用于 Lemma 3.1，控制样本协方差矩阵的谱范数偏差。 - horseshoe 先验的逆伽马表示（Makalic & Schmidt 2016）：用于 Lemma 3.2 和 Gibbs 采样器，将 half-Cauchy 先验转化为条件逆伽马分布，使得所有满条件分布有闭式解。 - Ghosal & van der Vaart (2007) 的后验收缩框架：用于 Theorem 3.4 的整体证明，将后验收缩率问题转化为先验质量、筛和检验三个量的控制。 - Fuk-Nagaev 型浓度不等式（Vershynin 2018）：用于 Theorem 3.6，替代 Wishart 浓度不等式，处理只有有限矩的随机矩阵。 - 部分折叠的块状 Gibbs 采样：用于计算，将排序、稀疏模式和连续参数的更新组织成三个块，其中排序更新通过 Metropolis-Hastings 步骤实现，利用边缘似然的闭式比。

真实例子与应用

  • 用的什么数据 / 场景：TCGA 乳腺癌（BRCA）RNA-seq 基因表达数据，维度 \((n, p) = (210, 150)\)，\(p/n \approx 0.71\)。数据经过预处理（TMM 归一化、voom 转换、ComBat 批次校正），保留 MAD 最高的 150 个基因。但注意：实际实验是在一个合成面板上进行的，该面板校准到真实 TCGA 数据的一阶和二阶矩，并从一个已知的 hub-and-spoke DAG 生成，误差为 contaminated t4 分布（5% 污染）。作者声称“the experiments reported below are run on a synthetic panel calibrated to the empirical first- and second-order moments of the TCGA BRCA matrix”，并提供了下载真实 TCGA 数据的代码。
  • 怎么把本文方法用上去：R-DACH 和 Gaussian-CH 都从 moralized PC-skeleton 估计初始化，运行 10,000 次 Gibbs 迭代（前 5,000 次作为 burn-in），边通过后验包含概率 > 1/2 声明。
  • 得到什么结果：
  • R-DACH 的 F1 得分为 0.73，Gaussian-CH 为 0.53。R-DACH 的假阳性数仅为 4（Gaussian-CH 为 88），假阳性率 0.0004 vs 0.0079。
  • 两种方法都正确识别了所有 5 个 master regulator hubs。
  • 在精度矩阵估计上，Gaussian-CH 的算子范数误差（5.25）和 Frobenius 范数误差（11.99）优于 R-DACH（10.84 和 23.87）。作者解释为 bias-variance trade-off：R-DACH 通过降权污染观测获得更稀疏的结构，但代价是更高的方差。
  • 这个例子想说明什么：R-DACH 在结构恢复（特别是假阳性控制）上显著优于 Gaussian-CH，尤其是在存在污染和重尾误差时。但精度矩阵估计的代价是方差增大。作者强调 R-DACH 是“a tool for structure recovery under heavy-tailed contamination, rather than as a pure minimum-norm precision estimator on clean data”。

🔎 结论是否比证明窄

  • Theorem 3.4 的证明依赖于假设 (A7)（\(\tau_0 = 1/(p \sqrt{n \log p})\)），这是一个非常具体的全局尺度校准。作者在 Section 2.1 中声称“The global parameter \(\tau\) controls the overall sparsity”，但在证明中却固定了 \(\tau\) 的先验尺度。这意味着后验收缩率对全局尺度的选择敏感，而实际应用中如何选择 \(\tau_0\) 是一个开放问题。作者在模拟中使用了这个校准，但没有讨论如果 \(\tau_0\) 选择不当会怎样。
  • Theorem 3.5 的骨架一致性只保证“skeleton”（即无向边集）的一致性，不保证边的方向性。作者在 Section 6.2 中明确承认“Identifiability of the DAG itself is unresolved: the model identifies the equivalence class of orderings consistent with the observed conditional-independence pattern, but recovery of the orientation of edges within a Markov equivalence class requires either interventional data or a substantive ordering assumption”。这意味着本文的“DAG 结构学习”实际上只学到 Markov 等价类，而不是真正的因果 DAG。
  • Theorem 3.6 的鲁棒性只保证速率不变（最多损失 \(\sqrt{\log \log n}\)），但不保证后验均值的有限样本偏差。作者在 Section 6.2 中承认“does not, in its present form, address the bias of the posterior mean in finite samples when the contamination fraction is large”。这意味着当污染比例较大时（如 > 20%），R-DACH 可能仍然有偏。
  • 模拟实验的规模有限：p 最大为 100，而实际 RNA-seq 数据中 p 通常在数千。作者在 Section 6.3 中承认“scaling of the sampler to genome-wide regression problems with p in the tens of thousands will require a fundamental algorithmic rethink”。这意味着本文的计算方法在 p 很大时可能不可行。

四、开放问题

  1. 全局尺度 \(\tau_0\) 的自适应选择：Theorem 3.4 的证明依赖于 \(\tau_0 = 1/(p \sqrt{n \log p})\) 的具体校准。如何让 \(\tau_0\) 自适应于未知的稀疏水平 \(s_0\) 和信噪比？这扎根于假设 (A7) 和 Lemma 3.2 的证明，其中 \(\tau_0\) 的选择直接影响 prior mass bound 的常数。

  2. DAG 方向性的可识别性：本文只证明了骨架一致性（Theorem 3.5），但 Markov 等价类内的边的方向无法从观测数据中识别。如何结合干预数据或额外的排序假设（如 Peters & Bühlmann 2014 的等方差假设）来恢复完整的因果 DAG？这扎根于 Section 6.2 的 limitation 和引用 [18]（Peters & Bühlmann 2012）。

  3. 大规模 p 下的计算可扩展性：本文的 Gibbs 采样器在 p 为数百时可行，但扩展到 p 为数千或数万时，排序空间的 MCMC 混合时间和每步迭代成本都会成为瓶颈。如何设计变分贝叶斯近似（Blei et al. 2017）或随机梯度 Langevin 动力学（Welling & Teh 2011）来保持后验收缩率？这扎根于 Section 6.3 的 future directions 和引用 [6]（Blei et al. 2016）。

  4. 混合数据类型的扩展：本文的 scale-mixture-of-normals 框架不适用于离散数据（如计数数据）或零膨胀数据。如何将 copula 变换（Liu et al. 2009）与 R-DACH 的 Cholesky 构造结合，同时保持尺度混合的鲁棒性解释？这扎根于 Section 6.3 的 future directions 和引用 [15]（Liu et al. 2009）。

Maintained by 陈星宇 · Homepage · Source on GitHub

评论