Collaborative Inference for Sparse High-Dimensional Models with Non-Shared Data

讲者: Yifan Gu
会场: Hypothesis Testing and Privacy and Differential Privacy
报告题目: Collaborative Inference for Sparse High-Dimensional Models with Non-Shared Data
链接: arXiv
来源: JCSDS 2026 · 返回会议总览

---

一、领域脉络与小综述

这个方向是什么

这个子方向要解决的根本问题是：当数据分布在多个无法直接共享的节点（如医院、实验室、物联网设备）上时，如何对高维稀疏模型（p >> n）中的低维目标参数进行统计推断（特别是假设检验），同时兼顾通信效率和统计效率。 其核心张力在于：分布式计算（如分治、梯度聚合）可以降低通信成本，但会引入额外的估计偏差和方差，使得传统的基于全样本的推断理论（如得分检验、去偏Lasso）不再直接适用。当前该方向的成熟度处于快速发展但远未饱和的阶段：分布式估计已有较成熟的理论（如Negahban et al., 2012; Jordan et al., 2019），但分布式推断（尤其是高维假设检验）的理论基础仍相对薄弱，对数据源数量、样本平衡性、假设复杂度等有诸多严格限制。

发展脉络（history）

1. 奠基工作：高维稀疏估计的统一理论 (2009-2012)

   • Negahban et al. (2012)：提出了一个统一框架，通过“受限强凸性 (RSC)”和“可分解正则化”来刻画高维 M-估计量的收敛速率。这是后续所有高维推断工作的基础，但只关注估计，不涉及不确定性量化。
   • Bickel, Ritov & Tsybakov (2009)：证明了Lasso和Dantzig Selector在预测风险和ℓ_p估计损失上的相似行为，为ℓ_1惩罚方法的理论分析奠定了基础。
   • Zhang (2010)：提出了MC+（Minimax Concave Penalty），一种近乎无偏的变量选择方法，在不需要强不可表示条件的情况下实现了符号一致性。这为后续使用非凸惩罚进行推断提供了工具。

2. 主要进展：高维推断的突破 (2013-2017)

   • Javanmard & Montanari (2014)：提出了基于“去偏Lasso”的高维线性回归置信区间和p值构造方法，是第一个实用且理论完备的高维推断方法。但该方法依赖于设计矩阵的特殊结构（如列归一化）。
   • Ning & Liu (2017)：提出了“去相关得分函数 (decorrelated score function)”的通用框架，将高维推断从线性模型推广到一般的惩罚M-估计量，并证明了半参数有效性。这是当前高维推断领域最通用的理论框架之一。
   • Shi et al. (2019)：将线性假设检验推广到高维广义线性模型，提出了部分惩罚似然比、得分和Wald检验，并允许检验的参数个数随样本量发散。

3. 当前Frontier：分布式/协作推断 (2016-至今)

   • 分布式估计：
     • Jordan, Lee & Yang (2019)：提出了通信高效的代理似然（CSL）框架，通过梯度增强的代理损失实现低维和高维的分布式估计。但该方法的推断部分仅适用于固定维模型，难以扩展到高维。
     • Fan, Guo & Wang (2023)：提出了CEASE算法，通过迭代优化实现通信高效的准确统计估计，并证明了线性收敛率。其核心思想与本文的梯度增强损失一致。
     • Wang et al. (2017)：提出了高效的分布式稀疏学习算法，通过梯度增强损失和ℓ_1正则化，在常数轮通信内达到集中式方法的估计误差界。
   • 分布式推断：
     • Battey et al. (2018)：提出了基于分治（DC）策略的高维稀疏模型检验方法，通过对各子节点的去偏估计量进行平均来构造检验统计量。这是本文最直接的竞争方法，但其对数据源数量m有严格限制（m = o(√n)），且仅能处理单变量假设。
     • Chen & Peng (2021)：研究了分布式统计推断的一般理论，指出由于分布式过程得到的估计量的渐近展开复杂性，高维场景下的分布式推断研究仍然有限。

4. 本文的位置：本文试图填补“非共享数据下的高维线性假设检验”这一空白。它直接挑战了Battey et al. (2018) 对m的严格限制，并扩展了其假设类型（从单变量到一般线性假设）。其核心创新在于：将传统得分统计量的Kiefer-Bahadur表示分解，并用聚合的局部梯度信息来近似其关键成分，从而构造了一个协作得分检验（CST）。这与Jordan et al. (2019) 和 Fan et al. (2023) 的梯度增强损失在形式上一致，但本文从得分检验的视角给出了新的推导动机，并解决了高维 nuisance 参数带来的偏差问题。

子线索聚类

1. 分布式估计方法：关注如何通过通信高效的算法（如梯度聚合、代理损失）获得与集中式方法统计效率相当的估计量。代表工作：Jordan et al. (2019), Fan et al. (2023), Wang et al. (2017), Lee et al. (2017), Luo et al. (2022), Liu et al. (2025a)。
2. 高维推断方法：关注如何在高维（p >> n）场景下对低维参数进行有效的假设检验和置信区间构造。代表工作：Ning & Liu (2017), Javanmard & Montanari (2014), Shi et al. (2019)。
3. 分布式推断方法：结合上述两条线索，关注在分布式数据场景下进行高维推断。代表工作：Battey et al. (2018), Chen & Peng (2021)。本文（Gu et al., 2025）也属于此线索。

这个方向在追问的核心问题

1. 如何放松对数据源数量m的限制？ Battey et al. (2018) 要求 m = o(√n)，这在数据源很多（如物联网设备）时难以满足。能否将m的允许范围扩大到与n可比甚至更大？
2. 如何检验更复杂的假设？ 现有分布式推断方法（如Battey et al., 2018）主要针对单变量假设（H0: β_j = 0）。如何检验一般的线性假设（H0: Cθ = t），并允许目标参数维度d和约束数量r发散？
3. 如何处理非平衡样本？ 现有方法（如Battey et al., 2018）假设各节点样本量平衡。当某些节点样本量远小于其他节点时，如何保证推断的有效性？
4. 如何实现统计效率与通信效率的最优权衡？ 分布式推断需要在通信轮次、传输数据量和统计精度之间取得平衡。是否存在一个最优的权衡曲线？

⚠️ 作者的 framing

• 作者把缺口 frame 成什么？ 作者将现有工作的缺口定位为：① 分治（DC）方法对数据源数量m有严格限制（m = o(√n)），且假设数据是“可分”的，而非“非共享”的；② 现有分布式推断方法（如Jordan et al., 2019）仅适用于固定维模型，无法处理高维nuisance参数；③ 现有方法仅能处理单变量假设，无法处理一般的线性假设。作者将自己的工作定位为“显然的下一步”：通过构造一个协作得分检验（CST），同时解决上述三个问题。
• 哪些竞争路线被他淡化或回避了？
  • 去偏Lasso的分布式版本：作者在比较中主要与Battey et al. (2018)的DC方法对比，但DC方法本身就是基于去偏Lasso的。作者没有深入讨论其他可能的分布式去偏Lasso变体（如基于去偏Lasso的梯度聚合），而是直接转向了得分检验框架。这可能是为了凸显其方法在避免去偏步骤上的优势（“circumvents the need for debiasing”）。
  • 数据异质性：作者在引言和讨论中提到了“heterogeneous scenarios”作为未来方向，但在本文的主要设定中，假设所有数据源来自同一个分布（homogeneity）。这回避了数据异质性这一更困难但更实际的问题。
• 什么明显该被引 / 该存在、却没出现在 intro 里？
  • 更早的分布式推断理论工作：除了Chen & Peng (2021)，还有一些关于分布式U-统计量、分布式M-估计量渐近分布的理论工作（如Zhang & Duchi, 2013; Rosenblatt & Nadler, 2016等），这些工作可能为理解分布式得分检验的渐近行为提供更基础的视角。作者仅引用了Chen & Peng (2021)来论证“分布式推断的复杂性”，但未深入讨论这些更基础的理论。
  • 关于“统计-计算权衡”的文献：虽然本文不直接涉及，但分布式推断本身就是一个典型的“统计-计算-通信”权衡问题。引入信息论下界或通信复杂度下界（如Braverman et al., 2016）来证明CST在通信-精度权衡上的最优性，会是一个更强的理论贡献。作者没有提及这一点。

张力

未见明显对立引用。被引工作之间在技术路线上有差异（如DC vs. 梯度聚合），但并未出现“在相同条件下得出相反结论”的情况。它们的主要区别在于对m、样本平衡性、假设类型等条件的严格程度不同，这构成了一个连续的“技术谱系”，而非对立。

二、最核心、最简单的例子 / 数学问题

第一步：把符号、模型、可观测数据交代清楚

• 符号：

  • β = (θ^T, γ^T)^T ∈ ℝ^p：全模型参数。θ ∈ ℝ^d 是目标参数（我们关心的，要检验的）。γ ∈ ℝ^{p-d} 是高维 nuisance 参数（我们不关心，但必须处理，且假设是稀疏的）。
  • β*：真实的、未知的参数向量。
  • S = {j: γ*_j ≠ 0}：nuisance参数的真实支撑集，稀疏度 s = |S|。
  • m：数据源（节点）的数量。
  • n_k：第k个节点的样本量。总样本量 N = Σ n_k。
  • D_k = {z_i}_{i∈I_k}：第k个节点的可观测数据。
  • ℓ(β; z)：单个样本的损失函数（凸、二阶可微）。
  • L(β) = E[ℓ(β; z)]：总体风险函数。β* 是其唯一最小化器。
  • L̂(β) = (1/N) Σ ℓ(β; z_i)：全局经验风险函数（不可观测，因为数据不共享）。
  • L̂_k(β) = (1/n_k) Σ_{i∈I_k} ℓ(β; z_i)：第k个节点的局部经验风险函数（可观测）。
  • ∇L̂(β)：全局经验梯度（不可直接观测，但可通过聚合局部梯度得到）。
  • ∇L̂_k(β)：局部经验梯度（可观测）。
  • J = ∇²L(β*)：总体Hessian矩阵。
  • C ∈ ℝ^{r×d}：约束矩阵，满行秩。用于定义线性假设 H0: Cθ = t。
  • h = Cθ* - t：局部备择参数。在H0下，h=0。
  • eL(β; β̂^(0))：协作代理损失函数（可构造），定义见下文。

• 模型：

  • 数据生成机制：每个节点的数据 D_k 独立同分布于同一个分布 P_z。这是一个同质性假设。
  • 统计模型：一个一般的凸损失函数 ℓ(β; z)，其总体风险 L(β) 在 β* 处有唯一最小值。γ* 是稀疏的（s << p）。
  • 已知/未知：ℓ(·) 的形式已知。β*、S、J 等未知。

• 可观测数据：

  • 可观测：每个节点 k 可以观测到自己的数据 D_k，并计算自己的局部损失 L̂_k(β) 和局部梯度 ∇L̂_k(β)。节点之间可以通信，但不能直接交换原始数据。
  • 想要但观测不到：全局经验损失 L̂(β) 和全局梯度 ∇L̂(β) 无法直接计算，因为需要聚合所有数据。真实参数 β* 和其支撑集 S 未知。

第二步：讲最小内核

最简特例：线性回归，单变量假设，两个数据源 (m=2)

• 设定：

  • 模型：y_i = x_i^T β* + ε_i，ε_i ~ N(0,1)。损失函数：ℓ(β; (y_i, x_i)) = (1/2)(y_i - x_i^T β)²。
  • 参数：β = (θ, γ^T)^T，其中 θ ∈ ℝ 是标量目标参数，γ ∈ ℝ^{p-1} 是高维稀疏 nuisance 参数。
  • 假设：H0: θ* = 0。此时 C = [1, 0, ..., 0]，t = 0。
  • 数据源：两个节点，样本量分别为 n_1 和 n_2，N = n_1 + n_2。节点1是master。

• 核心思路：

  1. 传统得分检验（全样本）：如果数据集中，我们会解一个带约束的优化问题：β̂_global = argmin_{θ=0} L̂(β)。然后检验统计量基于 ∇L̂(β̂_global)（得分）。其渐近分布是χ²(1)。
  2. 问题：我们无法计算 L̂(β)，因此无法得到 β̂_global 和 ∇L̂(β̂_global)。

  3. CST的解决方案：构造一个代理损失 eL(β)，使得：

     • (a) ∇eL(β*) ≈ ∇L̂(β*)（梯度在真值处近似相等）。
     • (b) ∇²eL(β*) ≈ J（Hessian在真值处近似相等）。
     • (c) 其带约束的极小化器 β̂ = argmin_{θ=0} eL(β) 足够接近 β*。 如果(a)-(c)成立，那么 ∇L̂(β̂) 将和 ∇L̂(β̂_global) 有相同的渐近分布（Kiefer-Bahadur表示）。

  4. 构造代理损失：作者提出的代理损失是： eL(β; β̂^(0)) = L̂_1(β) + ⟨∇L̂(β̂^(0)) - ∇L̂_1(β̂^(0)), β⟩ 其中 β̂^(0) 是一个初始估计（比如在master上单独用Lasso得到的）。

     • 直观理解：第一项是master的局部损失。第二项是一个“梯度校正项”，它确保在初始估计 β̂^(0) 处，代理损失的梯度等于全局梯度。如果 β̂^(0) 接近 β*，那么 ∇eL(β*) ≈ ∇L̂(β*)，条件(a)满足。
     • 通信：计算 ∇L̂(β̂^(0)) 需要所有节点计算自己的局部梯度 ∇L̂_k(β̂^(0)) 并发送给master。这只需要传输 O(mp) 个数字，而不是原始数据。

  5. 处理高维nuisance参数：直接对 eL(β) 做带约束的优化仍然很困难，因为 γ 是高维的。作者采用两阶段部分惩罚策略：

     • Stage I (无约束)：用ℓ_1惩罚优化 eL(β)，得到一个初始的稀疏估计 β̂^(I)。这一步是为了让估计量进入 β* 的邻域。
     • Stage II (带约束 + 重加权ℓ_1)：在约束 θ=0 下，用重加权ℓ_1惩罚（如SCAD、MCP）优化 eL(β)，得到最终估计 β̂。重加权惩罚是为了减少ℓ_1惩罚带来的偏差，使得 β̂ 的支撑集能正确恢复 S，并且估计量本身足够精确。

  6. 构造检验统计量：

     • Oracle检验 (OCST)：假设我们知道真实支撑集 S，那么问题退化为一个低维问题。我们可以构造一个基于 ∇L̂(β̂_ora) 的得分统计量 T_S^ora，其分布是χ²(1)。
     • CST统计量：用两阶段策略得到的支撑集估计 Ŝ 来替代 S，构造 T_S。作者证明，在适当条件下，T_S 和 T_S^ora 有相同的渐近分布（Oracle性质）。因此，我们可以用χ²(1)的临界值来拒绝H0。

• 这个最小内核说明了什么：整篇论文的核心数学困难在于：如何在无法观测全局损失的情况下，构造一个代理损失，使得基于该代理损失构造的得分检验统计量，与基于全局损失的传统得分检验统计量渐近等价。 这个最小内核展示了通过“梯度校正”和“两阶段惩罚”来克服这一困难的基本思路。一般情形（多节点、一般线性假设、发散维数）只是这个思路在更复杂设定下的“加壳”。

三、这篇论文做了什么

三句话

1. 研究了什么问题：在数据非共享、高维稀疏模型（p >> n）的设定下，如何对目标参数 θ 进行一般的线性假设检验（H0: Cθ = t），允许目标参数维度 d 和约束数量 r 发散，且对数据源数量 m 没有严格限制。
2. 核心工具/方法：提出了一个协作得分检验（CST）。其核心是构造一个基于梯度校正的代理损失函数，并采用两阶段部分惩罚策略（Stage I: ℓ_1惩罚；Stage II: 带约束的重加权ℓ_1惩罚）来同时控制代理误差和高维nuisance参数带来的偏差。
3. 主要结论：CST统计量具有Oracle性质，即其渐近分布与假设已知真实支撑集时的Oracle得分检验统计量相同，均为非中心χ²分布（在局部备择下）。该方法在统计效率上等同于传统的全样本得分检验，且比现有的分治（DC）检验方法更强大，对数据源数量 m 的限制更宽松。

关键设定与假设

• 设定：m 个数据源，每个有 n_k 个样本，总样本 N。参数 β = (θ^T, γ^T)^T，θ 是低维目标参数（d 可发散），γ 是高维稀疏 nuisance 参数（稀疏度 s）。检验 H0: Cθ = t，C ∈ ℝ^{r×d} 满行秩，r 可发散。
• 关键假设：
  • Assumption 1 (折叠凹惩罚)：惩罚函数（如SCAD, MCP）满足凹性、导数有界等性质。这是为了在Stage II实现近乎无偏的估计和支撑集恢复。
  • Assumption 2 (局部可识别性)：总体Hessian J 和得分协方差 K_0 的特征值有界。这是标准假设，确保模型在真值附近是良好识别的。
  • Assumption 3 (得分的集中性)：全局经验梯度在ℓ_∞和ℓ_2范数下以高概率有界。这是高维分析的标准假设，用于控制随机噪声。
  • Assumption 4 (同质性)：局部和全局经验Hessian与总体Hessian J 的差异在max范数和算子范数下有界。这是本文的关键假设之一，它要求master节点的样本量 n_1 足够大，以保证其局部Hessian能很好地近似总体Hessian。相比已有文献（如Fan et al., 2023），这个假设是类似的。
  • Assumptions 5 & 6 (RSC & 受限Lipschitz Hessian)：经验损失函数在ℓ_1锥和ℓ_2球上满足受限强凸性和受限Lipschitz Hessian。这是高维M-估计的标准条件，用于保证惩罚估计量的收敛性。
  • Assumption 7 (局部备择)：备择参数 h = Cθ* - t 的ℓ_2范数有界，且约束矩阵 C 正则。这限制了我们的考虑范围在局部备择假设，这是进行局部功效分析的标准做法。
  • Condition 1 & 2 (额外条件)：这些条件进一步限制了迭代次数、收缩因子、初始估计的锥性质、beta-min条件等，以确保两阶段算法的收敛性和Oracle性质的成立。其中，Condition 2 (iv) 是一个比“不可表示条件”更弱的条件，这是本文的一个理论亮点。

主要结果

• Theorem 1 (OCST的极限分布)：在Condition 1下，Oracle得分检验统计量 T_S^ora 的分布收敛到非中心χ²分布 χ²(r, N h^T V^{-1} h)。这为CST提供了理论基准。
• Theorem 2 (CST的Oracle性质)：在Condition 2下，CST统计量 T_S 与 T_S^ora 有相同的极限分布。这是本文的核心理论贡献，它证明了尽管我们不知道真实的支撑集 S，但通过两阶段策略得到的 T_S 在渐近意义下与知道 S 一样好。
• Corollary 1 (检验的有效性)：基于Theorem 2，直接给出了CST检验的渐近第一类错误控制和局部功效函数。功效函数与全样本得分检验一致，表明CST达到了全局统计效率。
• Corollary 2 & 3 (GLM特例)：将上述理论具体化到广义线性模型（GLM），给出了保证定理成立的具体样本量缩放条件（如 (s+d)³(log p + t_N) = o(n_1)），并指出迭代次数 K_I 和 K_II 分别与 log(N/n_1) 和 log log p 成正比，体现了通信效率。

证明路线与技术技巧

• 整体路线：

  1. Kiefer-Bahadur分解：首先对传统得分统计量 ∇L̂(β̂_global) 进行Kiefer-Bahadur分解，将其表示为 ∇L̂(β*) 和 h 的线性函数加上一个可忽略的余项。
  2. 代理损失近似：证明基于代理损失 eL 的约束估计量 β̂ 足够接近 β*，并且 ∇eL(β*) ≈ ∇L̂(β*)，∇²eL(β*) ≈ J。从而证明 ∇L̂(β̂) 与 ∇L̂(β̂_global) 有相同的Kiefer-Bahadur表示。
  3. 两阶段估计的收敛性：证明Stage I的ℓ_1惩罚估计量以几何级数收敛到最优误差 r*_I；Stage II的重加权ℓ_1惩罚估计量进一步收敛到更小的最优误差 r*_II，并且能正确恢复支撑集 S。
  4. Oracle性质：证明基于估计支撑集 Ŝ 构造的CST统计量 T_S 与基于真实支撑集 S 构造的OCST统计量 T_S^ora 之差是 o_p(1)。这需要证明 Ŝ 以概率趋近于1等于 S，并且方差估计量 V̂ 和 Ĵ_0 是一致的。
  5. 极限分布：结合上述步骤，利用中心极限定理和连续映射定理，得到 T_S 的极限分布。

• 关键跳跃点：

  • 控制代理误差 R_2 和 R_3：这是证明的核心难点。R_2 = ∇eL(β*) - ∇L̂(β*) 依赖于初始估计 β̂^(0) 的精度。R_3 = (∇²eL(β̃) - J)(β̂ - β*) 是Hessian近似误差和估计误差的乘积。作者通过两阶段迭代收缩策略，确保这两个误差项都是高阶小量。
  • 带约束的重加权ℓ_1惩罚优化：在约束 Cθ = t 下求解重加权ℓ_1惩罚问题，其理论分析比无约束情况更复杂。作者需要证明，在约束条件下，估计量仍然满足RSC条件，并且其收敛速率由 r*_II 给出。
  • Oracle性质的证明：证明 T_S 和 T_S^ora 的渐近等价性，需要精细地控制支撑集估计误差带来的影响。作者通过证明支撑集恢复的一致性（P(Ŝ = S) → 1）和方差估计的一致性，绕过了直接比较两个统计量的困难。

• 技术技巧点名：

  • Kiefer-Bahadur表示：用于将得分统计量分解为可处理的线性部分和余项。
  • 受限强凸性 (RSC) 和受限Lipschitz Hessian：高维M-估计的标准分析工具，用于证明惩罚估计量的收敛性。
  • ℓ_1锥 (ℓ_1 cone)：用于刻画稀疏估计量的方向，是RSC分析的核心概念。
  • 折叠凹惩罚 (Folded-concave penalty)：如SCAD、MCP，用于在Stage II实现近乎无偏的估计和支撑集恢复，是证明Oracle性质的关键。
  • 局部线性近似 (LLA)：虽然文中未明确提及，但重加权ℓ_1惩罚（如 q'_{λ_II}(|γ̂_j|)|γ_j|）正是LLA算法的核心步骤，用于求解非凸优化问题。
  • 几何级数收敛 (Geometric convergence)：用于分析两阶段迭代算法的收敛速率，证明只需对数级别的迭代次数即可达到最优误差。

真实例子与应用

• 数据：芝加哥出租车数据集（Chicago Open Data Portal），包含2023年12月第一周67,758次行程的170个特征（包括定量和分类变量）。将10家出租车公司视为10个数据源（m=10），master为样本量最大的公司（n_1=15,282）。
• 方法应用：用逻辑回归模型预测“是否支付小费”。目标参数是各协变量的系数。检验了多个单变量假设（如“信用卡支付=0”）和一个多变量假设（如“三个社区变量=0”）。
• 结果：
  • CST的p值普遍低于DC检验（Battey et al., 2018）的p值，表明CST更强大。例如，对于“DoW.Thurs = 0”，CST的p值为0.012（显著），而DC检验的p值为0.108（不显著）。
  • CST成功检验了多变量假设，而DC检验无法处理。
  • 发现了一些有意义的结论，如从奥黑尔机场（PCA.76）出发的行程更可能收到小费。
• 这个例子想说明什么：① CST在实际应用中比DC检验更强大，能发现DC检验无法发现的信号；② CST能处理DC检验无法处理的复杂假设（多变量）；③ CST在真实、非平衡、非共享数据场景下是可行且有效的。

🔎 结论是否比证明窄

• 窄结论：Theorem 2（Oracle性质）的证明依赖于Condition 2，其中包含一些较强的技术假设，如 f_II r*_I ≲ λ_II 和 R_loc > r*_I。这些条件在论文的GLM例子中通过 (s+d)³(log p + t_N) = o(n_1) 来保证。这意味着，虽然定理声称CST具有Oracle性质，但其成立需要master节点的样本量 n_1 相对于 (s+d)³ log p 足够大。如果 n_1 不够大，或者数据分布不满足这些技术假设，Oracle性质可能不成立。
• 泛化claim：作者在摘要和引言中声称CST“relaxes the stringent restrictions on the number of data sources”。从理论上看，确实如此（相比Battey et al., 2018的 m = o(√n)）。但在模拟中，当 m=50 时，CST的Type I error控制良好。然而，当 m 进一步增大到100或更多时，性能如何？论文在附录F中报告了 m=100 的结果，但正文未提及。这暗示当 m 非常大时，性能可能会下降，但作者没有明确讨论这个边界。
• 未证明的conjecture：作者在讨论部分提到，将CST扩展到异质性场景（heterogeneous scenarios）是“another intriguing and promising direction”。这是一个conjecture，论文本身并未提供任何理论或实证证据支持这一扩展的可行性。

四、开放问题（点到为止，扎根具体语句）

1. 扩展到异质性数据：本文假设所有数据源来自同一分布（同质性）。作者在讨论中承认“extending the current testing procedure to heterogeneous scenarios would be another intriguing and promising direction”（Section 5）。要解决的问题：当各数据源的 β*_k 不同（如个性化联邦学习）时，如何定义和检验一个“全局”或“平均”的假设？CST的梯度校正项是否仍然有效？
2. 处理非光滑损失：本文要求损失函数是凸且二阶可微的。作者指出“our collaborative framework does not cover quantile regression problems due to the non-smooth check loss”（Section 5）。要解决的问题：如何将CST的思想推广到分位数回归、支持向量机等非光滑损失函数？Tan et al. (2022) 的平滑方法是一个可能的入口。
3. 通信-精度的最优权衡：本文证明了CST在统计效率上达到了全样本水平，且通信轮次是对数级的。但这是否是最优的？要解决的问题：是否存在一个信息论下界，表明任何分布式检验方法在给定通信预算下都无法超越某个统计精度？CST是否达到了这个下界？这需要引入通信复杂度理论。
4. 方差估计的通信高效版本：本文在构造CST统计量时，需要估计 V 和 J_0。作者提到可以使用全样本估计（通信成本高）或局部平均估计（需要平衡样本）。要解决的问题：能否设计一个通信更高效的方差估计程序，同时保证其一致性？例如，是否可以只用master节点的数据来估计方差，并证明其仍然有效？

---

Maintained by 陈星宇 · Homepage · Source on GitHub

评论