Estimation and inference in sparse multivariate regression and conditional Gaussian graphical models under an unbalanced distributed setting¶

作者: Ensiyeh Nezakati, Eugen Pircalabelu
来源: Electronic Journal of Statistics
主题: 高维统计 / 随机矩阵
相关性: 7/10
链接: https://doi.org/10.1214/23-ejs2193

一、领域脉络与小综述¶

这个方向是什么¶

本文研究的核心问题是：在“非均衡分布式”设定下，如何对高维稀疏多变量回归模型和条件高斯图模型进行有效的估计与统计推断。这里的“非均衡”指各台机器（或数据源）上的样本量、计算能力不同，且协变量、响应变量和机器数量都随总样本量增长。该方向的根本挑战在于：如何在保护数据隐私或受限于计算资源（无法合并数据）的前提下，设计出统计性质（如渐近正态性、效率）接近全数据（pooled）估计量的分布式算法。

发展脉络（history）¶

该方向的发展可大致分为三个阶段：

奠基工作：分布式统计推断的早期框架
- Zhang & Duchi (2013) 和 Zhang et al. (2013) 是分布式M-估计的早期奠基者。他们提出了“通信高效”的分布式估计框架，核心思想是每台机器计算本地梯度，然后通过平均梯度来更新全局参数。作者引用时指出，这些工作“为分布式统计推断奠定了基础”，但主要关注的是均衡数据划分（即每台机器样本量大致相等）下的低维或固定维数问题。
主要进展：高维分布式估计与推断
- Lee et al. (2017) 将分布式框架扩展到高维稀疏回归（Lasso）。他们提出了“debiased Lasso”的分布式版本：每台机器先计算本地debiased Lasso估计量，然后通过简单平均得到全局估计量。作者引用时指出，该工作“证明了在均衡划分下，平均估计量可以达到与全数据debiased Lasso相同的渐近效率”。这是该领域的一个关键进展，因为它首次将分布式推断与高维稀疏模型结合。
- Battey et al. (2018) 进一步研究了分布式假设检验问题，提出了“分割与征服”（divide and conquer）策略，用于高维广义线性模型。他们的方法同样依赖于均衡数据划分。
当前Frontier：非均衡设定与更复杂模型
- 上述工作几乎都假设数据是均衡划分的。然而，实际场景中数据往往是非均衡的（例如，不同医院的数据量差异巨大）。作者明确指出，在非均衡设定下，简单平均策略会导致估计量被“大机器”主导，而“小机器”的噪声会被放大，从而损失效率。本文正是针对这一缺口，将分布式推断从均衡设定推进到非均衡设定，并将模型从单变量响应（如Lasso）扩展到多变量响应和条件高斯图模型。

子线索聚类¶

这些被引文献大致落在两条子线索上：

线索一：基于“平均”的分布式方法
- 代表工作：Zhang & Duchi (2013), Lee et al. (2017), Battey et al. (2018)。
- 核心思想：每台机器独立计算本地估计量（如debiased Lasso），然后通过简单平均或加权平均来聚合。优点是通信成本极低（仅需传输一次估计量），但统计效率高度依赖于数据划分的均衡性。在非均衡设定下，其效率会显著下降。
线索二：基于“伪似然”或“集成”的分布式方法
- 代表工作：本文（Nezakati & Pircalabelu, 2024）属于这一线索。
- 核心思想：不直接平均参数估计量，而是构造一个全局的“伪对数似然函数”，该函数是各机器本地似然函数的加权和（或某种组合）。然后通过优化这个全局伪似然函数来得到聚合估计量。这种方法能更有效地利用不同机器的信息，尤其是在非均衡设定下，可以通过权重设计来平衡各机器的贡献。

这个方向在追问的核心问题¶

如何定义和量化“非均衡”对分布式估计效率的影响？ 现有理论大多假设均衡划分，非均衡下的效率损失有多大？
在非均衡设定下，能否设计出统计性质（如渐近方差）与全数据估计量等价的分布式算法？ 这是本文试图回答的核心问题。
如何将分布式推断框架从单变量响应模型（如Lasso）扩展到多变量响应模型（如多变量回归）和图模型？ 这涉及到对矩阵参数（系数矩阵、精度矩阵）的分布式估计与推断。
通信成本与统计效率之间的权衡是什么？ 更复杂的聚合策略（如伪似然）通常需要更多通信，如何找到最优平衡点？

⚠️ 作者的 framing（必须明确标注成“这是作者的说法”）¶

作者把缺口 frame 成什么？ 作者将现有分布式高维推断工作的主要缺口定位为“对均衡数据划分的依赖”。他们声称，在非均衡设定下，现有基于平均的方法（如Lee et al. 2017）会失效，而他们提出的基于伪似然的聚合方法能够“恢复”全数据估计量的效率。这使得本文成为“显然的下一步”：从均衡到非均衡，从单变量到多变量。
哪些竞争路线被他淡化或回避了？ 作者在引言中主要对比了基于“平均”的方法（Lee et al. 2017），但没有深入讨论其他分布式范式，例如：
- 基于“交替方向乘子法（ADMM）”的分布式优化：ADMM是一种强大的分布式优化框架，可以处理非均衡数据，但通常需要多轮通信。作者在引言中仅用一句话提及“ADMM-based methods require multiple rounds of communication”，将其作为“通信成本高”的缺点而淡化，但并未详细比较其统计效率与本文方法的优劣。
- 基于“梯度平均”的迭代方法：如Zhang & Duchi (2013) 的后续工作，这些方法通过多轮通信来适应非均衡数据。作者同样未深入讨论。
什么明显该被引 / 该存在、却没出现在 intro 里？
- Jordan, Lee, & Yang (2019) “Communication-efficient distributed statistical inference”：这篇JASA论文是分布式统计推断领域的重要综述，系统总结了各种方法的通信-统计权衡。本文未引用它，是一个值得注意的缺失。
- 关于“条件高斯图模型”的分布式估计：作者声称本文是首个在分布式非均衡设定下研究条件高斯图模型的工作。但可能存在一些关于“分布式图模型估计”的早期工作（例如，在均衡设定下），作者没有提及，这需要研究者自己去核实。

张力¶

未见明显对立引用。所有被引工作都指向“分布式推断是解决大数据问题的有效途径”，只是在具体方法（平均 vs. 伪似然）和设定（均衡 vs. 非均衡）上存在差异。本文的贡献在于填补了非均衡设定下的空白，而非挑战现有结论。

二、最核心、最简单的例子 / 数学问题¶

第一步：把符号、模型、可观测数据交代清楚¶

符号：
- \( n \)：总样本量。
- \( K \)：机器（或数据源）的数量。
- \( n_k \)：第 \( k \) 台机器上的样本量。非均衡意味着 \( n_k \) 之间差异很大，且 \( n_k \) 和 \( K \) 都随 \( n \) 增长。
- \( p \)：协变量的数量。
- \( q \)：响应变量的数量。
- \( \mathbf{X} \in \mathbb{R}^{n \times p} \)：协变量矩阵（可观测）。
- \( \mathbf{Y} \in \mathbb{R}^{n \times q} \)：响应变量矩阵（可观测）。
- \( \mathbf{B}^* \in \mathbb{R}^{p \times q} \)：真实的系数矩阵（要估计的参数）。它是稀疏的（大部分元素为0）。
- \( \mathbf{\Omega}^* \in \mathbb{R}^{q \times q} \)：真实的精度矩阵（即协方差矩阵的逆，要估计的参数）。它也是稀疏的。
- \( \mathbf{E} \in \mathbb{R}^{n \times q} \)：误差矩阵，其行独立同分布，服从 \( N(0, \mathbf{\Sigma}) \)，其中 \( \mathbf{\Sigma} \) 是 \( q \times q \) 的协方差矩阵。
- \( \mathbf{\Theta}^* = (\mathbf{\Omega}^*)^{-1} \)：真实的协方差矩阵。
模型：
- 多变量线性回归模型：
  \[\mathbf{Y} = \mathbf{X} \mathbf{B}^* + \mathbf{E}\]
  其中，\( \mathbf{E} \) 的行是独立同分布的高斯向量，均值为0，协方差为 \( \mathbf{\Sigma} \)。这个模型的核心是：给定协变量 \( \mathbf{X} \)，响应变量 \( \mathbf{Y} \) 的条件分布是 \( N(\mathbf{X} \mathbf{B}^*, \mathbf{\Sigma}) \)。
- 条件高斯图模型：这个模型关注的是，在给定协变量 \( \mathbf{X} \) 的条件下，响应变量 \( \mathbf{Y} \) 各分量之间的条件独立关系。这些关系完全由精度矩阵 \( \mathbf{\Omega}^* \) 的非零模式决定：\( \mathbf{\Omega}^*_{ij} = 0 \) 当且仅当 \( Y_i \) 和 \( Y_j \) 在给定 \( \mathbf{X} \) 和所有其他 \( Y \) 的条件下是独立的。因此，估计 \( \mathbf{\Omega}^* \) 就是估计这个条件图的结构。
可观测数据：
- 研究者能观测到的是 \( \mathbf{X} \) 和 \( \mathbf{Y} \) 的样本。这些样本被非均衡地分布在 \( K \) 台机器上：第 \( k \) 台机器上有 \( n_k \) 个观测对 \( (\mathbf{X}_k, \mathbf{Y}_k) \)。
- 想要但观测不到的是：真实的系数矩阵 \( \mathbf{B}^* \) 和精度矩阵 \( \mathbf{\Omega}^* \)。此外，由于数据不能合并，研究者无法直接使用全数据 \( (\mathbf{X}, \mathbf{Y}) \) 来估计它们。

第二步：讲最小内核¶

本文的核心思路可以用一个最简特例来理解：单变量响应（\( q=1 \)）且只有两台机器（\( K=2 \)）的稀疏线性回归。

最简特例设定：
- 响应变量 \( y \in \mathbb{R} \)，协变量 \( \mathbf{x} \in \mathbb{R}^p \)。模型为 \( y = \mathbf{x}^T \boldsymbol{\beta}^* + \epsilon \)，其中 \( \boldsymbol{\beta}^* \) 是稀疏的 \( p \times 1 \) 系数向量。
- 两台机器，样本量分别为 \( n_1 \) 和 \( n_2 \)，且 \( n_1 \gg n_2 \)（非均衡）。
- 目标是：在不合并数据的情况下，得到一个估计量 \( \hat{\boldsymbol{\beta}} \)，其统计性质（如渐近方差）接近使用全数据 \( n = n_1 + n_2 \) 得到的全数据debiased Lasso估计量 \( \hat{\boldsymbol{\beta}}_{\text{pool}} \)。
现有方法的困境（简单平均）：
- 每台机器独立计算其debiased Lasso估计量：\( \hat{\boldsymbol{\beta}}_1^{\text{deb}} \) 和 \( \hat{\boldsymbol{\beta}}_2^{\text{deb}} \)。
- 简单平均估计量：\( \hat{\boldsymbol{\beta}}_{\text{avg}} = (n_1 \hat{\boldsymbol{\beta}}_1^{\text{deb}} + n_2 \hat{\boldsymbol{\beta}}_2^{\text{deb}}) / (n_1 + n_2) \)。
- 问题：\( \hat{\boldsymbol{\beta}}_2^{\text{deb}} \) 是基于小样本 \( n_2 \) 估计的，其方差很大（\( \approx 1/n_2 \)）。即使给它一个很小的权重 \( n_2/(n_1+n_2) \)，它仍然会显著污染最终估计量 \( \hat{\boldsymbol{\beta}}_{\text{avg}} \) 的方差，使其远大于全数据估计量的方差（\( \approx 1/(n_1+n_2) \)）。
本文的核心想法（伪似然聚合）：
- 作者不直接平均系数向量，而是构造一个全局的伪对数似然函数。对于线性回归，这个伪似然函数可以理解为各机器“本地似然函数”的加权和。
- 关键点是，这个伪似然函数中的“权重”不是简单的样本量比例，而是与各机器本地协方差矩阵的逆（即本地精度矩阵）有关。
- 在单变量响应（\( q=1 \)）的特例下，这个伪似然函数退化为一个加权最小二乘问题：
  \[\hat{\boldsymbol{\beta}}_{\text{agg}} = \arg\min_{\boldsymbol{\beta}} \sum_{k=1}^2 \frac{n_k}{\hat{\sigma}_k^2} \cdot \frac{1}{n_k} \| \mathbf{y}_k - \mathbf{X}_k \boldsymbol{\beta} \|_2^2\]
  其中 \( \hat{\sigma}_k^2 \) 是第 \( k \) 台机器上误差方差的本地估计。
- 为什么这能解决问题？ 因为 \( \hat{\sigma}_k^2 \) 反映了第 \( k \) 台机器上数据的“信息质量”。小机器（\( n_2 \) 小）的 \( \hat{\sigma}_2^2 \) 估计不准且可能偏大，导致其权重 \( n_2 / \hat{\sigma}_2^2 \) 被自动压低。而大机器（\( n_1 \) 大）的 \( \hat{\sigma}_1^2 \) 估计准确且较小，其权重 \( n_1 / \hat{\sigma}_1^2 \) 会占主导。通过这种方式，聚合估计量 \( \hat{\boldsymbol{\beta}}_{\text{agg}} \) 的方差可以接近全数据估计量的方差，从而恢复了效率。
推广到多变量（\( q>1 \)）：
- 当 \( q>1 \) 时，误差协方差矩阵 \( \mathbf{\Sigma} \) 不再是标量，而是一个矩阵。此时，伪似然函数中的“权重”就变成了各机器本地估计的精度矩阵 \( \hat{\mathbf{\Omega}}_k \)（即 \( \hat{\mathbf{\Sigma}}_k^{-1} \)）。
- 伪似然函数变为：
  \[\ell_{\text{pseudo}}(\mathbf{B}, \mathbf{\Omega}) = \sum_{k=1}^K \frac{n_k}{2} \left[ \log \det(\mathbf{\Omega}) - \text{tr}\left( \mathbf{\Omega} \cdot \frac{1}{n_k} (\mathbf{Y}_k - \mathbf{X}_k \mathbf{B})^T (\mathbf{Y}_k - \mathbf{X}_k \mathbf{B}) \right) \right]\]
  这是一个关于系数矩阵 \( \mathbf{B} \) 和精度矩阵 \( \mathbf{\Omega} \) 的联合优化问题。作者通过交替优化（profile out）来得到 \( \hat{\mathbf{B}}_{\text{agg}} \) 和 \( \hat{\mathbf{\Omega}}_{\text{agg}} \)。

总结：本文的最小内核就是用各机器本地估计的精度矩阵作为权重，来构造一个加权伪似然函数，从而在非均衡分布式设定下实现接近全数据效率的估计。这个想法直观且优雅，将非均衡问题转化为了一个加权优化问题。

三、这篇论文做了什么¶

三句话¶

研究了什么问题：在非均衡分布式设定下，对高维稀疏多变量回归模型和条件高斯图模型进行估计与统计推断。
核心工具/方法：提出了一种两阶段方法：第一阶段，每台机器独立计算系数矩阵和精度矩阵的debiased Lasso估计量；第二阶段，基于一个全局的伪对数似然函数，将这些本地估计量聚合为最终的全局估计量。
主要结论：证明了所提出的聚合估计量（\( \hat{\mathbf{B}}_{\text{agg}} \) 和 \( \hat{\mathbf{\Omega}}_{\text{agg}} \)）在非均衡设定下具有渐近正态性，并且其渐近方差与使用全数据的非分布式debiased估计量相同，即达到了“oracle效率”。

关键设定与假设¶

在第二节最小记号的基础上，本文的完整设定和关键假设如下：

数据生成：\( \mathbf{Y}_k = \mathbf{X}_k \mathbf{B}^* + \mathbf{E}_k \)，其中 \( \mathbf{E}_k \) 的行独立同分布，服从 \( N(0, \mathbf{\Sigma}^*) \)。协变量 \( \mathbf{X}_k \) 的行独立同分布，服从 \( N(0, \mathbf{\Sigma}_x) \)。
稀疏性假设：
- 系数矩阵 \( \mathbf{B}^* \) 是行稀疏的（row-sparse），即只有 \( s \) 行非零。这是多变量回归中常见的假设，意味着只有少数协变量对响应变量有影响。
- 精度矩阵 \( \mathbf{\Omega}^* \) 是稀疏的，即非对角元中只有少数非零。这是图模型的标准假设。
非均衡设定：\( n_k \) 和 \( K \) 都随 \( n \) 增长，且 \( n_k \) 之间可以差异很大。具体地，假设 \( \min_k n_k \rightarrow \infty \) 且 \( \max_k n_k / \min_k n_k \) 可以有界或无界。
正则条件：包括对协方差矩阵的特征值、稀疏参数、以及各机器样本量增长速率的正则条件，以确保debiased Lasso的收敛性和伪似然函数的可识别性。
与已有文献的对比：相比Lee et al. (2017) 的均衡设定，本文的假设允许 \( n_k \) 不相等，这是主要放宽。相比单变量响应模型，本文的模型假设 \( q \) 可以随 \( n \) 增长，这是主要强化。

主要结果¶

本文的理论结果主要包含两个定理：

定理 1：聚合系数矩阵估计量 \( \hat{\mathbf{B}}_{\text{agg}} \) 的渐近正态性
- 陈述：在正则条件下，对于任意一个 \( p \times q \) 的“方向矩阵” \( \mathbf{A} \)（其Frobenius范数为1），有：
  \[\sqrt{n} \cdot \text{vec}(\mathbf{A}^T (\hat{\mathbf{B}}_{\text{agg}} - \mathbf{B}^*)) \xrightarrow{d} N(0, \sigma^2_{\mathbf{A}})\]
  其中 \( \sigma^2_{\mathbf{A}} \) 与使用全数据得到的非分布式debiased Lasso估计量的渐近方差完全相同。
- 直觉：这个定理说明，尽管数据是非均衡分布的，但本文提出的聚合方法能够“恢复”全数据估计量的效率。其渐近方差不依赖于数据是如何划分的。
- 必要条件：需要每台机器上的本地debiased Lasso估计量是 \( \sqrt{n_k} \)-相合的，并且本地精度矩阵的估计量是相合的。这要求每台机器的样本量 \( n_k \) 不能太小（至少需要满足 \( n_k \gg s \log p \) 等条件）。
- 解决的技术难点：如何证明聚合估计量的方差与全数据估计量等价。关键在于伪似然函数的构造使得其“有效得分函数”（efficient score function）恰好等于全数据似然函数的得分函数，从而在渐近意义上消除了非均衡划分带来的信息损失。
定理 2：聚合精度矩阵估计量 \( \hat{\mathbf{\Omega}}_{\text{agg}} \) 的渐近正态性
- 陈述：类似地，对于精度矩阵的任意一个线性组合，\( \hat{\mathbf{\Omega}}_{\text{agg}} \) 也具有渐近正态性，且其渐近方差与全数据估计量相同。
- 直觉：这个定理将分布式推断的成功从回归系数扩展到了图模型的结构参数。它表明，即使在非均衡设定下，也能对条件独立关系进行有效的统计推断。
- 必要条件：除了定理1的条件外，还需要对精度矩阵的稀疏性和特征值有更强的假设。

证明路线与技术技巧（理论型）¶

整体路线：
1. 第一步：本地估计。每台机器 \( k \) 独立计算：
  - Debiased Lasso估计量 \( \hat{\mathbf{B}}_k^{\text{deb}} \)。
  - 基于残差的精度矩阵估计量 \( \hat{\mathbf{\Omega}}_k \)（例如，通过GLasso或节点回归）。
2. 第二步：构造伪似然。利用所有机器的本地估计量，构造一个全局的伪对数似然函数 \( \ell_{\text{pseudo}}(\mathbf{B}, \mathbf{\Omega}) \)。这个函数的形式是各机器本地似然函数的加权和，但权重由 \( \hat{\mathbf{\Omega}}_k \) 决定。
3. 第三步：Profile out 精度矩阵。对于固定的 \( \mathbf{B} \)，伪似然函数关于 \( \mathbf{\Omega} \) 是凹的，可以显式求解出 \( \hat{\mathbf{\Omega}}(\mathbf{B}) \)。将其代回，得到一个关于 \( \mathbf{B} \) 的profile伪似然函数 \( \ell_{\text{profile}}(\mathbf{B}) \)。
4. 第四步：一步更新。以某个初始估计（如简单平均的 \( \hat{\mathbf{B}}_{\text{avg}} \)）为起点，对 \( \ell_{\text{profile}}(\mathbf{B}) \) 执行一步牛顿-拉夫森更新，得到最终的聚合估计量 \( \hat{\mathbf{B}}_{\text{agg}} \)。这一步是关键的，因为它避免了直接优化高维非凸函数，同时保证了渐近性质。
5. 第五步：渐近分析。证明 \( \hat{\mathbf{B}}_{\text{agg}} \) 的渐近展开式，并证明其方差项与全数据debiased Lasso的方差项在概率上等价。这需要精细地控制来自各机器本地估计量的误差累积。
关键跳跃点：
- 跳跃点：如何证明一步更新后的估计量等价于全数据MLE？ 证明的核心在于，构造的伪似然函数的“有效得分函数”与全数据似然函数的得分函数之差是一个高阶小量。这要求本地估计量 \( \hat{\mathbf{B}}_k^{\text{deb}} \) 和 \( \hat{\mathbf{\Omega}}_k \) 的收敛速度足够快，并且非均衡的程度（\( \max n_k / \min n_k \)）不能增长得太快。作者通过引入一个关于 \( n_k \) 增长速率的正则条件来确保这一点。
技术技巧点名：
- Debiased Lasso：用于在每台机器上得到 \( \sqrt{n_k} \)-相合且渐近正态的本地估计量。这是整个框架的基础。
- 伪对数似然函数：本文的核心创新点。它不是一个真正的似然函数，而是一个精心设计的代理目标函数，其梯度在真实参数处与全数据似然函数的梯度相匹配。
- Profile似然：用于消去精度矩阵这个高维 nuisance参数，将问题简化为只关于系数矩阵的优化。
- 一步估计（One-step estimation）：一种经典的半参数技巧。从一个 \( \sqrt{n} \)-相合的初始估计出发，通过一步牛顿迭代来得到渐近有效的估计量。本文用它来避免直接优化复杂的profile伪似然函数。
- 经验过程理论（Empirical process theory）：用于控制随机项（如 \( \mathbf{E}_k \)）的均匀收敛性，这是证明渐近展开式成立的关键工具。

真实例子与应用¶

使用的数据/场景：作者使用了一个模拟研究和一个真实数据例子。
模拟研究：设计了多种非均衡场景（如一台机器数据量是其他机器的10倍、100倍），比较了本文提出的聚合估计量（AGG）与简单平均估计量（AVG）以及全数据非分布式估计量（POOL）的性能。评估指标包括估计误差（Frobenius范数）、变量选择准确率（F1-score）和推断覆盖概率。
真实数据例子：使用了股票市场数据，其中响应变量是若干支股票的日收益率，协变量是市场指数和一些宏观经济指标。数据被非均衡地划分为几个时间段（例如，一个时间段包含大部分数据，其他时间段数据很少）。目标是估计条件高斯图模型，以揭示不同股票收益率在给定市场条件下的条件依赖关系。
如何应用：将每个时间段的数据视为一台“机器”，然后应用本文的分布式框架进行估计和推断。
得到什么结果：
- 模拟结果：AGG估计量的表现非常接近POOL估计量，而AVG估计量的表现则显著更差，尤其是在非均衡程度高时。AGG的覆盖概率也接近名义水平，而AVG的覆盖概率则严重偏低。
- 真实数据结果：AGG估计出的条件图结构与POOL估计出的结构高度相似，而AVG估计出的结构则差异较大，且包含更多虚假的边。
这个例子想说明什么：实证结果有力地支持了理论结论：本文提出的伪似然聚合方法能够在非均衡分布式设定下，有效地恢复全数据估计的性能，无论是对于参数估计还是图结构学习。

🔎 结论是否比证明窄¶

作者在引言和结论中声称，他们的方法适用于“非均衡分布式设定”，并且“恢复了全数据估计量的效率”。然而，证明中可能隐含了对非均衡程度的限制。例如，定理的成立可能需要 \( \max_k n_k / \min_k n_k = o(n^\alpha) \) 对于某个 \( \alpha < 1 \) 成立。如果非均衡程度极端（例如，一台机器有 \( n-1 \) 个样本，另一台只有1个样本），那么小机器上的本地估计可能根本不收敛，整个框架会失效。作者在定理陈述中可能没有明确写出这个限制，或者将其隐藏在某个正则条件中。研究者需要仔细检查定理的假设条件，特别是关于 \( n_k \) 增长速率的条件，以确认其适用范围。

四、开放问题¶

更复杂的非均衡模式：本文假设非均衡主要体现在样本量 \( n_k \) 上。如果非均衡还体现在协变量分布（如不同机器的 \( \mathbf{X} \) 来自不同分布）或误差分布上，本文的方法是否仍然有效？这需要新的理论分析。扎根点：本文假设所有机器共享相同的 \( \mathbf{B}^* \) 和 \( \mathbf{\Omega}^* \)，且协变量分布相同。作者在结论中提到了“heterogeneous settings”作为未来工作。
通信效率的进一步优化：本文的伪似然聚合方法需要传输本地debiased估计量（\( \hat{\mathbf{B}}_k^{\text{deb}} \) 和 \( \hat{\mathbf{\Omega}}_k \)），这比简单平均的通信成本更高（因为需要传输矩阵而非向量）。能否设计出通信成本更低但同样能处理非均衡数据的方法？例如，能否通过多轮通信来逐步逼近最优权重？扎根点：作者在引言中对比了ADMM方法，但未深入探讨通信-统计权衡。
对非高斯或非线性模型的扩展：本文的核心工具是高斯伪似然。对于非高斯响应（如二值、计数数据）或非线性模型（如广义线性模型），如何构造类似的伪似然函数？这可能需要借助指数族分布或更一般的拟似然理论。扎根点：作者在结论中提到了“extensions to generalized linear models”作为未来方向。
分布式假设检验的进一步研究：本文主要关注点估计和渐近正态性。在此基础上，能否构建出有效的分布式假设检验（如检验某个系数是否为0）？在非均衡设定下，检验的势（power）是否会受到影响？扎根点：本文的定理1和2为构建Wald检验提供了基础，但作者没有深入讨论检验的性质。

Maintained by 陈星宇 · Homepage · Source on GitHub