High-Dimensional Assisted Learning for Vertically Distributed Data with Blockwise Missingness¶
作者: Yuwen Long, Shuyuan Wu, Yin Xia
主题: 高维统计 / 随机矩阵
相关性: 6/10
链接: https://arxiv.org/abs/2608.16337
一、领域脉络与小综述¶
-
这个方向是什么:本文研究的是纵向分布式数据(vertically distributed data)下的高维稀疏线性回归问题。其根本统计挑战在于:不同机构(用户)持有同一批个体的不同特征块(feature blocks),且个体重叠是部分且不规则的(blockwise missingness),同时响应变量也可能缺失。目标是在不合并原始数据、不依赖协调服务器的前提下,实现与集中式分析相当的估计精度和坐标级统计推断。该方向处于"联邦学习"与"高维统计推断"的交叉地带,当前成熟度属于方法快速涌现但理论尚在整合期——已有工作分别处理了"纵向联邦"或"块缺失数据",但将两者结合并给出完整推断理论的工作尚属少数。
-
发展脉络(history):
- 奠基工作:分布式高维推断的框架。Javanmard and Montanari (2014)、Zhang and Zhang (2014)、van de Geer et al. (2014) 建立了集中式高维回归的去偏推断理论(debiased Lasso / desparsified Lasso),为后续所有分布式推断提供了"目标"——即分布式算法应尽量复现集中式估计的统计性质。Battey et al. (2018) 和 Jordan et al. (2019) 将这一目标扩展到分布式设定,但主要针对行分区(horizontally partitioned)数据,即每个机构持有完整的特征但不同的个体。
- 主要进展:纵向联邦与辅助学习。Xian et al. (2020) 提出 Assisted Learning 框架,通过交换样本级线性预测(sample-level linear predictions)而非梯度或参数,实现多机构协作学习。Diao et al. (2022) 的 GAL 和 Zhang et al. (2026) 的 Additive-Effect Assisted Learning 进一步扩展了该框架。这些工作的共同点是通信高效(每轮通信量与维度 p 无关),但作者明确指出其"does not address block missingness"。
- 并行线索:块缺失数据的集中式方法。Yu et al. (2020) 的 DISCOM 是本文最直接的"集中式对标"——它针对块缺失数据提出可用样本(available-case)二次损失,并建立了估计误差界。Xue and Qu (2021)、Xue et al. (2025) 进一步将块缺失与半监督推断结合。但这些方法均假设数据可集中处理。
- 当前 frontier:如何在不集中数据的前提下,处理块缺失带来的非正定协方差矩阵、异质样本量(不同特征对的有效样本量不同)以及推断时需要的精度矩阵估计。本文的位置正是将 Assisted Learning 的通信框架与 DISCOM 的可用样本损失相结合,并首次给出坐标级推断理论。
-
本文的位置:作者在 intro 中明确将 gap 定义为"existing methods do not provide communication-efficient and decentralized high-dimensional coefficient estimation and inference with block-missing data",并声称 ALB 是填补这一 gap 的首个方法。
-
子线索聚类:
- 分布式/联邦优化与推断(Battey et al., 2018; Jordan et al., 2019; Fan et al., 2023a; Chen et al., 2022; Li et al., 2022; Tu et al., 2023):关注通信效率、去偏推断、聚合策略。共同假设是行分区或完整特征。
- 纵向联邦学习(VFL)(Hardy et al., 2017; Fang et al., 2021; Liu et al., 2022, 2024; Castiglia et al., 2022, 2023; Yin et al., 2026):关注特征分区下的预测或特征选择,但多数假设样本对齐完整,或仅关注预测精度而非推断。
- 块缺失数据的统计方法(Yu et al., 2020; Xue and Qu, 2021; Xue et al., 2025; Song et al., 2024):关注利用部分重叠样本提高效率,但假设集中式计算。
-
隐私保护联邦学习(Tang et al., 2025; Cai et al., 2021):关注差分隐私与通信效率的权衡,但通常不涉及高维推断。
-
这个方向在追问的核心问题:
- 估计问题:在块缺失 + 纵向分布下,如何构造一个可分解的、通信高效的目标函数,使其最优解逼近集中式可用样本估计量?
- 推断问题:如何在不集中数据的前提下,估计去偏所需的精度矩阵列,并构造方差估计量?特别是当完整样本(complete cases)很少甚至为零时,推断是否仍然可行?
- 通信-统计权衡:每轮通信的比特数、轮数如何影响估计精度?是否能在 O(n) 通信下达到集中式 minimax 率?
- 隐私-效用权衡:加入扰动后,估计和推断的统计效率损失如何刻画?能否在保证差分隐私的同时维持 √n 推断?
-
已知瓶颈:块缺失导致组装协方差矩阵非正定;不同特征对的样本量不同导致估计精度不均衡;精度矩阵估计需要跨用户通信,可能泄露敏感信息;完整样本缺失时,方差估计的收敛速度可能退化。
-
⚠️ 作者的 framing(这是作者的说法):作者把缺口 frame 成"没有方法能同时做到:不合并数据、不依赖协调服务器、处理块缺失、支持高维推断"。这一 framing 使得 ALB 成为"显然的下一步"。但作者淡化了以下几点:(1) DISCOM 本身已经是集中式标杆,ALB 的贡献更多是"分布式实现"而非"统计效率提升";(2) VFL 文献中已有处理部分重叠样本的方法(如 Kang et al., 2022; Sun et al., 2023),作者仅以"do not support inference"一笔带过;(3) 差分隐私部分被放在补充材料,且只给出"一次性扰动"的简单方案,未讨论迭代过程中的隐私累积问题。什么明显该被引 / 该存在、却没出现在 intro 里:作者没有引用 Duchi et al. (2013) 的局部差分隐私 minimax 下界,也没有引用 federated learning 中关于"用户级隐私 vs 样本级隐私"的讨论(如 McMahan et al., 2018),更没有引用 block-wise missing data 的经典缺失机制分类(如 Rubin 的 MCAR/MAR/MNAR)——作者只假设了 MCAR,但未讨论 MAR 或 MNAR 下方法是否失效。这些是值得研究者去查的潜在 gap。
-
张力:未见明显对立引用。但存在一个隐含张力:Assisted Learning 文献(Xian et al., 2020; Zhang et al., 2026)强调"少轮次、通信高效",而 DISCOM 的集中式理论依赖于精确的协方差估计;本文的收敛速度(Theorem 3.3)是线性收敛,但常数项依赖条件数 κ(Σ),在高相关设计下可能退化。这与"通信高效"的承诺之间存在张力——需要更多轮次才能达到高精度。
二、最核心、最简单的例子 / 数学问题¶
第一步:符号、模型、可观测数据¶
- 符号:
- 个体/样本:\(i \in \mathcal{I} = \{1, \dots, n\}\) 为所有个体的并集(union of IDs)。
- 用户/机构:\(B_0, \dots, B_K\),共 \(K+1\) 个用户。\(B_k\) 持有特征块 \(X_k \in \mathbb{R}^{n_k \times p_k}\),其中 \(n_k = |\mathcal{I}_k|\),\(\mathcal{I}_k \subseteq \mathcal{I}\) 是 \(B_k\) 能观测到的个体集合。
- 特征:总维度 \(p = \sum_{k=0}^K p_k\)。\(x_i = (x_i^{0\top}, \dots, x_i^{K\top})^\top \in \mathbb{R}^p\) 是第 \(i\) 个个体的完整特征向量(潜在,不可观测)。
- 响应:\(y_i \in \mathbb{R}\),在集合 \(\mathcal{I}_y \subseteq \mathcal{I}\) 上可观测。
- 重叠集合:\(\mathcal{I}_{kl} = \mathcal{I}_k \cap \mathcal{I}_l\),\(n_{kl} = |\mathcal{I}_{kl}|\);\(\mathcal{I}_k^y = \mathcal{I}_k \cap \mathcal{I}_y\),\(n_k^y = |\mathcal{I}_k^y|\)。
- 观测指示:\(r_i^k = \mathbf{1}\{i \in \mathcal{I}_k\}\),\(r_i^y = \mathbf{1}\{i \in \mathcal{I}_y\}\)。\(R = (R_1, \dots, R_n)\) 为缺失模式。
- 参数/估计目标:\(\beta^* = \arg\min_\beta \frac{1}{2} \mathbb{E}[(y - x^\top \beta)^2] = \Sigma^{-1} C\),其中 \(\Sigma = \mathbb{E}[xx^\top] \in \mathbb{R}^{p \times p}\),\(C = \mathbb{E}[yx] \in \mathbb{R}^p\)。这是总体层面的 estimand,不依赖于缺失模式。
- 可观测的矩估计:\(\tilde{\Sigma}_{kk} = \frac{1}{n_k} X_k^\top X_k\)(用户内部),\(\tilde{\Sigma}_{kl} = \frac{1}{n_{kl}} X_{k,l}^\top X_{l,k}\)(用户间,\(k \neq l\)),\(\tilde{C}_k = \frac{1}{n_k^y} X_k^\top y_k\)。注意:\(\tilde{\Sigma}\) 是由不同样本量估计出的块拼接而成,不一定半正定。
- 正则化后的协方差:\(\hat{\Sigma} = a_1 \tilde{\Sigma}_I + a_2 \tilde{\Sigma}_C + (1-a_1) \frac{c_{tr}}{p} I_p\),其中 \(\tilde{\Sigma}_I\) 是块对角(用户内),\(\tilde{\Sigma}_C\) 是离对角(用户间),\(a_1, a_2\) 是调节权重,\(c_{tr} = \sum_k \text{tr}(\tilde{\Sigma}_k)\)。
- 集中式目标:\(\check{\beta} = \arg\min_\beta \frac{1}{2} \beta^\top \hat{\Sigma} \beta - \tilde{C}^\top \beta + \lambda \|\beta\|_1\)。
- 精度矩阵列:\(\theta^*_j = \Sigma^{-1} e_j\),其中 \(e_j\) 是第 \(j\) 个标准基向量。其估计量 \(\hat{\theta}_j\) 通过求解 (7) 得到。
- 去偏估计量:\(\hat{b}_j = \hat{\beta}_j - \hat{\theta}_j^\top S_n(\hat{\beta})\),其中 \(S_n(\beta) = \tilde{\Sigma} \beta - \tilde{C}\) 是可用样本得分。
-
方差估计量:\(\hat{v}_{n,j} = \frac{1}{n-1} \sum_{i=1}^n (\hat{\theta}_j^\top \hat{\phi}_i - \overline{\hat{\theta}_j^\top \hat{\phi}})^2\),其中 \(\hat{\phi}_i\) 是样本层面的影响函数(influence function)估计。
-
模型:
- 数据生成:\((x_i, y_i, R_i)\) i.i.d.,\(y_i = x_i^\top \beta^* + \epsilon_i\),\(\epsilon_i\) 与 \(x_i\) 独立(或至少满足矩条件),\(x_i\) 为次高斯。
- 缺失机制:MCAR(Condition 2),即 \(R_i \perp (x_i, y_i)\)。这意味着每个矩估计(如 \(\tilde{\Sigma}_{kl}\))都是无偏的,但其样本量 \(n_{kl}\) 是随机的。
- 稀疏性:\(\beta^*\) 是 \(s\)-稀疏的(\(s = \|\beta^*\|_0\) 可能随 \(n\) 增长)。
-
可识别性:\(\Sigma\) 正定(Condition 3),且在稀疏锥上满足限制特征值条件(Condition 5)。
-
可观测数据:研究者实际能观测到的是:
- 每个用户 \(B_k\) 的本地特征块 \(X_k\)(\(n_k \times p_k\) 矩阵)。
- 每个用户 \(B_k\) 的本地响应子集 \(y_k\)(长度为 \(n_k^y\) 的向量,与 \(X_k\) 的行对齐)。
- 用户间共享的个体 ID 集合 \(\mathcal{I}_{kl}\)(用于对齐样本)。
- 不可观测:任何用户都无法看到完整的 \(x_i\) 或 \(y_i\)(除非该个体在该用户处完整观测)。
第二步:最小内核¶
核心命题(最小内核):假设 \(K=1\)(两个用户 \(B_0, B_1\)),\(p_0 = p_1 = 1\)(每个用户只有一个特征),\(n\) 个个体中,\(B_0\) 观测到 \(n_0\) 个,\(B_1\) 观测到 \(n_1\) 个,重叠部分为 \(n_{01}\) 个。响应 \(y\) 在 \(n_0^y\) 个个体上可观测(这些个体可能只与 \(B_0\) 重叠,也可能与 \(B_1\) 重叠)。
要估计什么:\(\beta^* = (\beta^*_0, \beta^*_1)^\top\),即两个特征的系数。
集中式(不可行)做法:需要计算 \(\tilde{\Sigma}_{01} = \frac{1}{n_{01}} \sum_{i \in \mathcal{I}_{01}} x_i^0 x_i^1\)。这需要 \(B_0\) 和 \(B_1\) 共享原始数据。
ALB 的做法: 1. 初始化:\(B_0\) 和 \(B_1\) 各自用本地数据计算 \(\tilde{\Sigma}_{00}, \tilde{\Sigma}_{11}, \tilde{C}_0, \tilde{C}_1\)。 2. 通信:\(B_1\) 计算其当前估计 \(\hat{\beta}_1^{(e)}\) 的线性预测 \(u_{1 \to 0}(\hat{\beta}_1^{(e)}) = X_{1,0} \hat{\beta}_1^{(e)} \in \mathbb{R}^{n_{01}}\),发送给 \(B_0\)。注意这是一个 \(n_{01}\) 维向量,与 \(p\) 无关。 3. 本地更新:\(B_0\) 收到 \(u_{1 \to 0}\) 后,将其视为一个"伪特征",与自己的特征 \(X_0\) 拼接,求解一个二维的 Lasso 子问题(目标函数 (5)),得到 \(\hat{\beta}_0^{(e+1)}\)。 4. 反向通信:\(B_0\) 发送 \(u_{0 \to 1}(\hat{\beta}_0^{(e+1)}) = X_{0,1} \hat{\beta}_0^{(e+1)}\) 给 \(B_1\),\(B_1\) 类似更新 \(\hat{\beta}_1^{(e+1)}\)。 5. 迭代:重复直到收敛。
为什么能work:关键在于交叉项 \(\beta_0^\top \tilde{\Sigma}_{01} \beta_1\) 可以重写为 \(\beta_0^\top \left( \frac{1}{n_{01}} X_{0,1}^\top (X_{1,0} \beta_1) \right)\)。\(B_0\) 只需要 \(X_{0,1}^\top\)(自己的数据)和 \(X_{1,0} \beta_1\)(对方发来的预测向量),就能计算梯度中涉及 \(\beta_1\) 的部分。这样,每个用户只需要发送样本级线性预测,而非原始数据或协方差矩阵。
数学上证明了什么: 1. 估计误差(Proposition 3.2 + Theorem 3.3):\(\|\hat{\beta}^{(e)} - \beta^*\|_2 = O_p\left(\|\beta^*\|_1 \sqrt{\frac{s \log p}{N_n}} + q_1^e \cdot \text{initial error}\right)\),其中 \(N_n\) 是最小有效样本量,\(q_1 < 1\) 是线性收敛率。第一项是统计误差(与集中式 Lasso 同阶),第二项是优化误差(随迭代指数衰减)。 2. 推断(Theorem 3.5):对任意坐标 \(j\),\(\frac{\sqrt{n}(\hat{b}_j - \beta^*_j)}{\sqrt{\hat{v}_{n,j}}} \xrightarrow{d} N(0,1)\),即使 \(n_{complete} = 0\)(没有完整样本),只要每个矩都有足够的有效样本量。 3. 通信代价:每轮通信 \(O(n)\) 标量,与 \(p\) 无关。
最小内核的直觉:ALB 的本质是将集中式坐标下降法分解为分布式块坐标下降法,并利用"线性预测"作为通信接口。其理论贡献在于证明:(a) 这种分解不损失统计效率(达到集中式 minimax 率);(b) 即使协方差矩阵是拼接的(非正定),通过正则化参数 \(a_1, a_2\) 的调节,仍能保证算法的收敛性和推断的有效性。
三、这篇论文做了什么¶
三句话: 1. 研究了什么问题:在纵向分布式数据且存在块缺失(blockwise missingness)的高维稀疏线性回归中,如何在不合并原始数据、不依赖协调服务器的前提下,实现与集中式相当的估计精度和坐标级统计推断。 2. 核心工具/方法:提出了 ALB(Assisted Learning with Block-Missing Data)算法,通过循环块坐标下降最小化正则化的可用样本二次损失,通信内容仅为样本级线性预测(\(O(n)\) 标量/轮);推断部分采用去偏 Lasso 框架,分布式估计精度矩阵列,并构造考虑重叠样本依赖的方差估计量。 3. 主要结论:ALB 迭代几何收敛到集中式解;估计误差可分解为统计误差(\(O_p(\|\beta^*\|_1 \sqrt{s \log p / N_n})\))与优化误差(指数衰减)之和;在稀疏性和重叠条件下,即使无完整样本,学生化估计量仍以 \(\sqrt{n}\) 速率渐近标准正态;一次性扰动版本在噪声有界时保持相同的收敛阶。
关键设定与假设: - 数据:\(K+1\) 个用户,特征块不相交,个体重叠任意(包括无完整样本)。 - 缺失机制:MCAR(Condition 2),即缺失与数据值无关。这是强假设——作者在讨论中承认 MAR/MNAR 是未来工作。 - 协方差:\(\Sigma\) 正定,且 \(\hat{\Sigma}\) 通过 \(a_1, a_2\) 调节保证正定(Condition 3)。\(a_1, a_2\) 的选择依赖 \(\Sigma\) 的特征值,实际中需估计。 - 稀疏性:\(\beta^*\) 稀疏,且满足限制特征值条件(Condition 5)。 - 次高斯:\(x_i, y_i\) 次高斯(Condition 4)。 - 与已有文献的对比:相比 DISCOM (Yu et al., 2020),ALB 不需要集中数据;相比 VFL 方法(Kang et al., 2022; Sun et al., 2023),ALB 支持推断且通信量与 \(p\) 无关;相比分布式去偏 Lasso(Lee et al., 2017; Battey et al., 2018),ALB 处理的是特征分布而非样本分布。
主要结果: - Theorem 3.3(收敛性):在精确块最小化下,ALB 迭代以线性速率 \(q^{(1)}_n = \sqrt{1 - \frac{(\lambda_{\min}^{(n)})^2}{(\lambda_{\min}^{(n)})^2 + (K+1)(\lambda_{\max}^{(n)})^2}}\) 收敛到集中式解 \(\check{\beta}\)。注意 \(q^{(1)}_n\) 依赖条件数 \(\kappa(\hat{\Sigma})\),在高相关设计下收敛可能变慢。 - Proposition 3.2(统计误差):\(\|\check{\beta} - \beta^*\|_2 = O_p\left(\|\beta^*\|_1 \sqrt{\frac{s \log p}{N_n}}\right)\),其中 \(N_n = \min\{N_{\Sigma,n}, N_{y,n}\}\) 是最小有效样本量。这与集中式 Lasso 的速率一致,但常数项依赖 \(\|\beta^*\|_1\) 和限制特征值常数。 - Theorem 3.5(推断):在额外假设(如 \(\sqrt{n} r_{\beta,n} \to 0\) 等)下,去偏估计量 \(\hat{b}_j\) 满足 \(\frac{\sqrt{n}(\hat{b}_j - \beta^*_j)}{\sqrt{\hat{v}_{n,j}}} \xrightarrow{d} N(0,1)\)。关键条件是每个矩的有效样本量都足够大,而非完整样本量。 - Theorem 4.2(扰动):一次性扰动后,估计误差为 \(O_p\left(\|\beta^*\|_1 \sqrt{\frac{s \log p}{N_n}} + \text{perturbation terms}\right)\),扰动项与噪声方差 \(\tau^2\) 成正比,但不改变收敛阶(只要 \(\tau\) 有界)。
证明路线与技术技巧: 1. 整体路线:将误差分解为统计误差 + 优化误差。统计误差通过集中式 Lasso 理论(限制特征值 + 次高斯尾)控制;优化误差通过块坐标下降的线性收敛性控制。 2. 关键引理: - Lemma 3.4(CLT):证明得分函数 \(\theta^{*\top}_j S_n(\beta^*)\) 的条件 CLT。技巧是条件于缺失模式 \(R\),利用 MCAR 下观测的独立性,将问题转化为加权 i.i.d. 和。这里用到了 Lyapunov CLT,需要四阶矩条件。 - Lemma S.1.5(收敛速率):利用强凸性(\(\lambda_{\min}(\hat{\Sigma}) > 0\))和块坐标下降的误差下降不等式,得到线性收敛。技巧是将块更新视为对全局目标函数的近似梯度步骤,并用 Lipschitz 常数 \(\lambda_{\max}(\hat{\Sigma})\) 控制误差。 - Lemma S.1.6(扰动矩集中):证明扰动后的矩估计仍满足集中不等式。技巧是将扰动分解为信号 + 噪声,利用次高斯乘积的集中性。 3. 技术难点与解法: - 难点1:\(\hat{\Sigma}\) 非正定。解法:引入 \(a_1, a_2\) 权重和 \(c_{tr}/p\) 正则项,将 \(\hat{\Sigma}\) "拉"回正定锥。这类似于 Tikhonov 正则化,但 \(a_1, a_2\) 的选择需要平衡偏差和方差。 - 难点2:重叠样本导致的矩依赖性。解法:在方差估计中,按个体 ID 聚合影响函数贡献,而非按矩聚合。这保证了 \(\hat{v}_{n,j}\) 一致估计 \(v_{n,j}\)。 - 难点3:无完整样本时的推断。解法:利用每个矩的独立有效样本量,而非完整样本量。这要求 \(N_{\Sigma,n}\) 和 \(N_{y,n}\) 都趋于无穷,但不要求 \(N_{\text{complete}} \to \infty\)。
真实例子与应用: - 模拟:设置 \(p = 900\),\(K = 2\)(3 个用户),\(n \in \{550, 3250\}\)。比较 ALB、ALB-P、DISCOM、CC-Lasso、Oracle Lasso。结果显示:(1) ALB 与 DISCOM 在估计误差上几乎一致(差异在数值精度内);(2) ALB 比 CC-Lasso 的 MSE 降低 30.8%–61.2%;(3) ALB-P 的误差略高于 ALB,但仍显著优于 CC-Lasso;(4) 在无完整样本的设计中(补充材料),ALB 仍能维持近似名义覆盖率的置信区间。 - ADNI 数据:\(n = 277\),\(p = 219\),3 个模态(CSV、MRI、PET)作为 3 个用户,响应为 MMSE 评分。完整样本仅 92 个。结果显示:(1) ALB 与 DISCOM 的预测 MSE 相同(0.561);(2) ALB 比 CC-Lasso 的 MSE 降低 34.9%;(3) ALB 选择的特征与 DISCOM 高度一致(18.54 vs 18.55 个特征),且与已知的 AD 生物标志物(如海马体积、脑室体积)吻合。
🔎 结论是否比证明窄: - 是。具体表现: 1. Theorem 3.5 的假设 (15):\(\|\theta^*_j\|_1^4 B_{\beta,n}^4 / (n \|\theta^*_j\|_2^4) \to 0\)。这个条件在 \(\|\theta^*_j\|_1\) 较大时(即精度矩阵列不稀疏)可能不成立,但作者在讨论中未提及这一限制。 2. MCAR 假设:作者在 intro 中声称方法适用于"blockwise missingness",但理论只覆盖 MCAR。在 MAR 下,可用样本矩估计有偏,整个理论失效。作者在讨论中承认这一点,但未给出任何 MAR 的模拟或理论。 3. 固定用户数 \(K\):所有定理都假设 \(K\) 固定。当 \(K\) 随 \(n\) 增长时,通信轮次和误差累积可能改变收敛速率,作者未分析。 4. "无完整样本"的推断:作者声称"even when there are no complete cases",但模拟中无完整样本的设计(补充材料)只报告了 \(n_{pair} = 1000\) 的结果,未报告 \(n_{pair} = 100\) 的结果。从表 S.5 看,\(n_{pair} = 100\) 时 ALB 的 active coverage 仅为 0.646–0.699,远低于名义水平。这说明"无完整样本"的推断在小样本下可能不成立,但作者未在正文中强调这一局限。
四、开放问题¶
-
MAR/MNAR 缺失机制下的扩展:本文的 MCAR 假设(Condition 2)是理论的核心。若缺失依赖于观测到的特征或响应(MAR),可用样本矩估计将引入偏差。作者在讨论中承认这一点,但未给出任何线索。扎根点:Section 7 "A second direction is to develop end-to-end privacy guarantees..." 之前的一段:"Future work could extend ALB to generalized linear, survival, and longitudinal models and accommodate data-dependent or nonignorable missingness." 要确认这是否是真 gap,可去读 Xue et al. (2025) 的讨论部分——他们处理了 MAR 下的半监督推断,但未涉及分布式。
-
自适应正则化参数 \(a_1, a_2\) 的选择:理论要求 \(1 - a_1 = O(\sqrt{\log p / \min_k n_k})\),但实际中 \(a_1, a_2\) 如何从数据中选择?作者在补充材料 S.5.1 中给出了基于交叉验证的启发式方法,但没有理论保证。扎根点:S.5.1 "The numerical studies use 11 equally spaced values in [0, 1] for each parameter." 这是一个工程细节,但可能影响有限样本性能。
-
\(K\) 增长时的收敛速率:所有定理假设 \(K\) 固定。当用户数 \(K \to \infty\) 时,每轮通信的误差累积和同步开销可能改变收敛速率。扎根点:Theorem 3.3 的 \(q^{(1)}_n\) 依赖 \(K\),但作者未讨论 \(K\) 与 \(n\) 的关系。
-
隐私与统计效率的精确权衡:Theorem 4.2 只给出扰动后的估计误差上界,但未讨论最优隐私-效用权衡。例如,给定隐私预算 \(\epsilon\),如何选择 \(\tau\) 使得估计误差最小?扎根点:Section 4.2 "Under the corresponding sparsity and rate conditions of Theorem 3.5, together with a positive lower bound on the perturbed influence variance, the same remainder, Lyapunov, and variance-consistency arguments yield a studentized Gaussian limit." 这里没有给出 \(\tau\) 与 \(\epsilon\) 的显式关系。
-
非线性模型的扩展:本文只处理线性回归。广义线性模型、Cox 模型等非线性模型的分布式推断需要不同的去偏技术(如 one-step estimation),且通信效率可能不同。扎根点:Section 7 "Future work could extend ALB to generalized linear, survival, and longitudinal models..." 要确认是否已有工作做了 GLM 的纵向联邦推断,可查 Fan et al. (2023a) 和 Chen et al. (2022) 的引用。
提醒:要确认上述某条是否是真 gap,建议去读同子领域近期约 5 篇的 intro(例如搜索 "vertical federated learning missing data inference" 或 "block-wise missing data high-dimensional")。如果多篇 intro 都指向同一个问题,那大概率是共识性 gap;如果互相打架(例如有的说 MAR 已解决,有的说未解决),那反而是机会。
Maintained by 陈星宇 · Homepage · Source on GitHub