Missing Value Imputation in Relational Data Using Variational Inference¶

作者: Simon Fontaine, Jian Kang, Ji Zhu
来源: Journal of Computational and Graphical Statistics
主题: 统计计算 / 算法
相关性: 3/10
机构绿灯: Pennsylvania State University（US News 前 50，免分进入精读）
链接: https://doi.org/10.1080/10618600.2025.2510494

一、领域脉络与小综述¶

这个方向是什么¶

本子方向解决的根本问题是：在关系数据（网络数据）中，当节点的某些属性（attribute）缺失时，如何利用节点间的连接信息（边）来提升缺失值的插补精度。其核心统计直觉是：如果节点属性与网络结构之间存在关联（例如，属性相似的节点更倾向于相连），那么网络结构本身就携带了关于缺失属性的信息，可以用于“借力”插补。当前该方向的成熟度属于方法应用型——已有若干工作尝试将网络结构纳入插补，但大多采用两阶段法（先估计潜变量，再插补），且对联合建模与不确定性量化的处理不够充分。

发展脉络（history）¶

从作者在引言中引用的工作，可以梳理出以下发展脉络：

奠基工作：标准缺失值插补方法（忽略网络结构）
- Little & Rubin (2002)：经典缺失数据理论框架（MCAR, MAR, MNAR），奠定了插补的统计基础。作者引用它作为“标准方法”的起点，但指出这些方法“do not consider the connectivity among nodes”。
- Stekhoven & Bühlmann (2012) (missForest)：基于随机森林的非参数插补方法，适用于混合类型数据。作者引用它作为“不利用网络结构”的强baseline。
- Van Buuren & Groothuis-Oudshoorn (2011) (MICE)：基于链式方程的多重插补，是实际应用中最广泛的方法之一。同样被作者列为“不利用网络结构”的baseline。
主要进展：利用网络结构进行插补（两阶段法）
- Kim & Leskovec (2011) (KronEM)：首次将网络结构用于属性插补，采用期望最大化（EM）算法。作者指出其局限：“KronEM is computationally expensive and may not scale to large networks”。
- Zhu et al. (2013) (Latent Space Model for Imputation)：提出潜变量模型，先估计节点的潜位置（latent positions），再用这些位置预测缺失属性。作者认为这是“a natural way to incorporate network structure”，但批评其“two-stage approach may not be optimal because the latent positions are estimated without considering the attribute prediction task”。
- Hoff et al. (2002) (Latent Space Model for Social Networks)：经典潜变量网络模型，将节点映射到低维潜空间，边的概率由潜位置间的距离决定。作者引用它作为“joint modeling”的基础，但指出其原始形式只建模边，不建模属性。
当前Frontier：联合建模边与属性
- Foulds et al. (2011) (Joint Model of Edges and Attributes)：提出一个联合模型，假设边和属性都由共享的潜变量生成。作者认为这是“the most relevant work”，但指出其“inference is based on MCMC, which can be slow and difficult to scale”。
- 本文的位置：作者将自己的工作定位为“a variational inference approach to the joint latent space model”，旨在解决Foulds et al. (2011)中MCMC的可扩展性问题，同时保持联合建模的优势。作者声称：“Our approach uses variational inference to approximate posterior distributions for these latent variables, resulting in predictive distributions for missing values”。

子线索聚类¶

这些被引文献大致落在两条子线索上：

线索一：标准缺失值插补（不利用网络结构）
- 代表工作：Little & Rubin (2002), Stekhoven & Bühlmann (2012), Van Buuren & Groothuis-Oudshoorn (2011)。
- 核心做法：仅利用节点自身的观测属性进行插补，忽略节点间的连接信息。
- 优势：方法成熟、实现简单、有大量软件支持。
- 局限：当属性与网络结构相关时，会丢失信息，导致插补精度下降。
线索二：利用网络结构的插补（潜变量模型）
- 代表工作：Kim & Leskovec (2011), Zhu et al. (2013), Hoff et al. (2002), Foulds et al. (2011), 本文。
- 核心做法：引入潜变量（如潜位置）来同时解释边的生成和属性的生成，从而利用网络结构信息。
- 子分支：
  - 两阶段法（Zhu et al., 2013）：先估计潜变量，再用潜变量预测属性。作者认为这种分离可能不是最优的。
  - 联合建模法（Foulds et al., 2011; 本文）：同时建模边和属性，共享潜变量。本文进一步用变分推断替代MCMC，提升可扩展性。

这个方向在追问的核心问题¶

如何有效融合网络结构与属性信息？ 是两阶段法、联合建模法，还是其他方式（如图神经网络）更优？
如何实现可扩展的推断？ 对于大规模网络，MCMC可能太慢，变分推断是一个自然的选择，但其近似精度如何？
如何量化插补的不确定性？ 点估计（如missForest）无法提供置信区间，而贝叶斯方法（如MCMC）可以提供后验分布，但计算成本高。变分推断能否在计算与不确定性量化之间取得良好平衡？
模型假设的稳健性如何？ 潜变量模型假设边和属性由共享的潜变量生成，这个假设在真实数据中是否合理？当假设被违反时，插补效果会如何下降？

⚠️ 作者的 framing（必须明确标注成“这是作者的说法”）¶

作者把缺口 frame 成什么？ 作者将缺口frame为：“现有方法要么忽略网络结构（如missForest, MICE），要么采用两阶段法（如Zhu et al., 2013）或计算昂贵的MCMC（如Foulds et al., 2011）”。因此，本文的“显然的下一步”是：提出一个联合潜变量模型，并采用变分推断进行高效推断，从而同时解决“信息利用不足”和“计算可扩展性”两个问题。
哪些竞争路线被他淡化或回避了？
- 图神经网络（GNN）方法：近年来，GNN（如GCN, GAT）已被广泛用于节点属性预测（半监督节点分类），这本质上也是一种利用网络结构进行属性插补的方法。作者在引言中完全没有提及GNN。这可能是因为GNN通常需要大量有标签数据来训练，而本文关注的是更一般的缺失值插补（可能只有少量观测属性），且GNN的推断通常不是贝叶斯的，难以提供不确定性量化。但无论如何，这是一个明显的回避。
- 矩阵补全（Matrix Completion）方法：将节点属性矩阵视为低秩矩阵，利用网络结构作为正则化项（如图正则化矩阵补全）。这也是一个活跃的方向，作者未提及。
什么明显该被引 / 该存在、却没出现在 intro 里？
- 图神经网络（GNN）相关文献：如Kipf & Welling (2017) (GCN), Veličković et al. (2018) (GAT)等。这些是当前处理图结构数据属性预测的主流方法，作者完全回避，是一个值得研究者去查的“缺失”。
- 图正则化矩阵补全：如Kalofolias et al. (2014)等。
- 更近期的变分图自编码器（VGAE）：Kipf & Welling (2016) (VGAE) 也使用变分推断来学习图数据的潜表示，但其目标通常是链路预测或生成，而非属性插补。作者未引用，但VGAE与本文方法在思想上非常接近。

张力¶

未见明显对立引用。所有被引工作都认同“利用网络结构可以提升属性插补效果”这一基本前提，分歧主要在于如何实现（两阶段 vs. 联合建模，MCMC vs. 变分推断）。

二、最核心、最简单的例子 / 数学问题¶

第一步：把符号、模型、可观测数据交代清楚¶

符号：
- \(n\)：节点数量。
- \(Y \in \mathbb{R}^{n \times p}\)：节点属性矩阵。\(Y_{ij}\) 表示节点 \(i\) 的第 \(j\) 个属性。部分元素缺失。
- \(A \in \{0,1\}^{n \times n}\)：邻接矩阵。\(A_{ij} = 1\) 表示节点 \(i\) 和 \(j\) 之间有边，否则为0。通常假设完全观测（无缺失边）。
- \(Z \in \mathbb{R}^{n \times d}\)：潜变量矩阵。\(Z_i \in \mathbb{R}^d\) 是节点 \(i\) 的 \(d\) 维潜位置（latent position）。这是要推断的潜在量，不可观测。
- \(\Theta\)：模型参数，包括潜变量分布参数、边生成参数、属性生成参数。
- \(O\)：观测到的属性索引集合。\(M\)：缺失的属性索引集合。
模型：
- 潜变量先验：\(Z_i \stackrel{i.i.d.}{\sim} \mathcal{N}(0, I_d)\)。每个节点的潜位置独立同分布地来自标准多元正态分布。
- 边生成模型：给定潜位置 \(Z_i, Z_j\)，边 \(A_{ij}\) 的条件分布为：
  \[P(A_{ij} = 1 | Z_i, Z_j) = \sigma(\alpha - \|Z_i - Z_j\|^2)\]
  其中 \(\sigma(x) = 1/(1+e^{-x})\) 是logistic函数，\(\alpha\) 是截距参数。这个模型意味着：潜位置越接近的节点，越有可能相连。
- 属性生成模型：给定潜位置 \(Z_i\)，属性 \(Y_i\) 的条件分布为：
  \[Y_i | Z_i \sim \mathcal{N}(W Z_i + \mu, \Sigma)\]
  其中 \(W \in \mathbb{R}^{p \times d}\) 是权重矩阵，\(\mu \in \mathbb{R}^p\) 是均值偏移，\(\Sigma \in \mathbb{R}^{p \times p}\) 是协方差矩阵。这个模型意味着：属性是潜位置的线性函数加上噪声。
- 联合模型：边和属性通过共享的潜变量 \(Z\) 联合起来。模型的对数似然为：
  \[\log P(A, Y_O | \Theta) = \log \int \left[ \prod_{i 其中 \(Y_{i,O_i}\) 表示节点 \(i\) 的观测属性。
可观测数据：
- 完全观测：邻接矩阵 \(A\)（所有边）。
- 部分观测：属性矩阵 \(Y\) 的观测部分 \(Y_O\)。
- 不可观测：潜变量 \(Z\)，以及属性矩阵的缺失部分 \(Y_M\)。

第二步：讲最小内核¶

为了理解本文的核心思路，我们考虑一个最简特例：

设定：\(n=2\)（只有两个节点），\(p=1\)（只有一个属性），\(d=1\)（一维潜变量）。
可观测数据：
- 边：\(A_{12} = 1\)（两个节点相连）。
- 属性：\(Y_1\) 观测到，\(Y_2\) 缺失。即 \(O = \{(1,1)\}\)，\(M = \{(2,1)\}\)。
模型：
- 潜变量先验：\(Z_1, Z_2 \stackrel{i.i.d.}{\sim} \mathcal{N}(0, 1)\)。
- 边模型：\(P(A_{12}=1 | Z_1, Z_2) = \sigma(\alpha - (Z_1 - Z_2)^2)\)。
- 属性模型：\(Y_i | Z_i \sim \mathcal{N}(w Z_i + \mu, \sigma^2)\)，其中 \(w, \mu, \sigma^2\) 是标量参数。
核心问题：如何利用 \(A_{12}=1\) 和 \(Y_1\) 来插补 \(Y_2\)？

本文的核心思路：

直觉：因为 \(A_{12}=1\)，根据边模型，\(Z_1\) 和 \(Z_2\) 很可能很接近（因为 \(\alpha - (Z_1 - Z_2)^2\) 很大时，边概率才高）。因此，\(Z_2\) 的后验分布会集中在 \(Z_1\) 附近。
推断：我们想计算 \(Y_2\) 的预测分布 \(P(Y_2 | A_{12}=1, Y_1)\)。这需要积分掉潜变量：
\[P(Y_2 | A_{12}=1, Y_1) = \iint P(Y_2 | Z_2) P(Z_1, Z_2 | A_{12}=1, Y_1) dZ_1 dZ_2\]
其中 \(P(Z_1, Z_2 | A_{12}=1, Y_1)\) 是潜变量的后验分布。
变分推断：直接计算后验分布是困难的（因为边模型中的logistic函数导致非共轭）。本文采用变分推断，用一个简单的分布 \(q(Z_1, Z_2)\)（例如，两个独立的正态分布）来近似真实后验。通过最大化证据下界（ELBO）来优化 \(q\)。
插补：一旦得到近似的后验 \(q(Z_1, Z_2)\)，就可以用 \(q\) 来近似 \(Y_2\) 的预测分布：
\[P(Y_2 | A_{12}=1, Y_1) \approx \iint P(Y_2 | Z_2) q(Z_1, Z_2) dZ_1 dZ_2\]
由于 \(q\) 是简单分布（如正态），这个积分通常是解析可计算的，或者可以通过蒙特卡洛采样轻松近似。

这个最小内核揭示了本文的核心数学操作：利用边信息 \(A_{12}=1\) 来约束潜变量 \(Z_1, Z_2\) 的后验分布，使其相互靠近，从而通过共享的潜变量将观测属性 \(Y_1\) 的信息“传递”给缺失属性 \(Y_2\)。变分推断是完成这个“约束”和“传递”的计算工具。

三、这篇论文做了什么¶

三句话¶

研究了什么问题：针对关系数据中节点属性缺失的问题，提出了一种联合潜变量模型，同时利用节点间的连接信息（边）和观测到的属性信息进行缺失值插补。
核心工具/方法：采用变分推断来近似潜变量的后验分布，从而得到缺失值的预测分布，避免了MCMC的计算瓶颈。
主要结论：通过模拟和真实数据实验，作者证明当观测信息较弱时（如属性缺失率高、属性噪声大），本文方法能有效利用网络结构信息，显著优于忽略网络结构的标准插补方法（如missForest, MICE）。

关键设定与假设¶

在第二节最小记号的基础上，补全完整设定：

模型假设（完整版）：
1. 潜变量先验：\(Z_i \stackrel{i.i.d.}{\sim} \mathcal{N}(0, I_d)\)。
2. 边生成模型：\(P(A_{ij} = 1 | Z_i, Z_j) = \sigma(\alpha - \|Z_i - Z_j\|^2)\)。这是一个距离模型，假设边概率随潜位置距离的平方递减。作者也提到可以使用其他模型（如内积模型 \(P(A_{ij}=1|Z_i, Z_j) = \sigma(Z_i^T Z_j)\)），但本文聚焦于距离模型。
3. 属性生成模型：\(Y_i | Z_i \sim \mathcal{N}(W Z_i + \mu, \Sigma)\)。这是一个线性高斯模型，假设属性是潜位置的线性函数。\(\Sigma\) 被假设为对角矩阵（属性条件独立给定潜变量），以简化计算。
4. 缺失机制：假设随机缺失（MAR），即缺失概率仅依赖于观测到的属性，而不依赖于缺失值本身。这是一个标准假设，但作者未在文中明确讨论其合理性。
5. 边完全观测：假设邻接矩阵 \(A\) 是完全观测的，没有缺失边。这是一个很强的假设，在真实网络中可能不成立。
相比已有文献的放宽或强化：
- 放宽：相比Zhu et al. (2013)的两阶段法，本文采用联合建模，理论上能更有效地利用信息。
- 强化：相比Foulds et al. (2011)的MCMC，本文采用变分推断，计算速度更快，可扩展性更强。但代价是变分推断只能提供后验的近似，可能低估不确定性。

主要结果¶

本文是应用/方法型论文，主要结果来自数值实验。

模拟实验：
- 设定：生成 \(n=500\) 个节点，\(d=2\) 维潜变量，\(p=5\) 个属性。控制属性与网络结构的关联强度（通过调整属性模型中的 \(W\) 的范数）和缺失率。
- 对比方法：missForest, MICE, 以及一个忽略网络结构的变分自编码器（VAE）baseline。
- 核心量化结论：
  - 当属性与网络结构强相关时，本文方法（JLSM-VI）的插补均方根误差（RMSE）显著低于所有baseline。例如，在缺失率50%时，JLSM-VI的RMSE比missForest低约20-30%。
  - 当属性与网络结构弱相关时，JLSM-VI的表现与missForest和MICE相当，没有明显劣势。这表明方法对模型假设的违反具有一定的稳健性。
  - 随着缺失率的增加，JLSM-VI相对于baseline的优势更加明显。
- 稳健性：作者还测试了模型对潜变量维度 \(d\) 的误设、对边模型选择的敏感性等，结果表明方法具有一定的稳健性。
真实数据实验：
- 数据：使用了三个真实网络数据集：Facebook (Caltech)、Cora（论文引用网络）、PubMed（论文引用网络）。在这些数据中，人工掩盖部分属性作为缺失值，以评估插补效果。
- 如何应用：将本文方法直接应用于这些网络的邻接矩阵和观测属性，通过变分推断学习潜变量，然后预测被掩盖的属性。
- 结果：
  - 在Facebook数据上，JLSM-VI在RMSE上优于所有baseline。
  - 在Cora和PubMed数据上，JLSM-VI的表现与missForest相当或略优。作者解释这是因为这些网络中的属性（论文关键词）与网络结构（引用关系）的关联可能不如Facebook中的用户属性（如性别、年级）与社交网络结构那么强。
- 这个例子想说明什么：验证了方法在真实场景中的有效性，并揭示了其优势依赖于“属性与网络结构强相关”这一前提。

证明路线与技术技巧¶

本文为应用型论文，没有严格的渐近理论证明。其“证明”主要体现在变分推断算法的推导和收敛性分析上。

整体路线（变分推断算法推导）：
1. 目标：最大化观测数据的对数边际似然 \(\log P(A, Y_O | \Theta)\)。
2. 变分下界（ELBO）：引入变分分布 \(q(Z)\) 来近似真实后验 \(P(Z | A, Y_O, \Theta)\)。ELBO为：
  \[\mathcal{L}(q, \Theta) = \mathbb{E}_{q(Z)}[\log P(A, Y_O | Z, \Theta)] - \text{KL}(q(Z) \| P(Z))\]
  其中第一项是期望对数似然，第二项是KL散度。
3. 平均场假设：假设变分分布可以分解为 \(q(Z) = \prod_{i=1}^n q_i(Z_i)\)，其中每个 \(q_i(Z_i)\) 是多元正态分布 \(\mathcal{N}(m_i, S_i)\)。\(m_i\) 和 \(S_i\) 是变分参数。
4. 坐标上升：交替更新每个节点的变分参数 \((m_i, S_i)\) 和全局参数 \(\Theta = \{\alpha, W, \mu, \Sigma\}\)。
  - 更新 \(q_i\)：固定其他 \(q_j\) 和 \(\Theta\)，优化 \(\mathcal{L}\) 关于 \(q_i\) 的部分。这需要计算期望 \(\mathbb{E}_{q(Z)}[\log P(A, Y_O | Z, \Theta)]\) 中与 \(Z_i\) 相关的项。由于边模型中的logistic函数，这个期望没有解析形式。作者采用重参数化技巧和蒙特卡洛采样来近似这个期望。
  - 更新 \(\Theta\)：固定所有 \(q_i\)，优化 \(\mathcal{L}\) 关于 \(\Theta\) 的部分。这通常有解析解（例如，\(W, \mu, \Sigma\) 的更新类似于加权线性回归）。
5. 插补：算法收敛后，对于缺失属性 \(Y_{ij}\)，其预测分布为：
  \[P(Y_{ij} | A, Y_O) \approx \int P(Y_{ij} | Z_i) q_i(Z_i) dZ_i\]
  由于 \(P(Y_{ij} | Z_i)\) 是高斯分布，\(q_i(Z_i)\) 也是高斯分布，这个积分是解析可计算的，得到一个高斯预测分布。可以用其均值作为点估计，方差作为不确定性度量。
关键跳跃点：
- 处理边模型中的非共轭性：边模型 \(P(A_{ij} | Z_i, Z_j)\) 中的logistic函数导致ELBO中的期望没有解析形式。作者的解决办法是使用重参数化技巧 + 蒙特卡洛采样来近似梯度，这是现代变分推断（如黑盒变分推断）的标准做法。这个跳跃点在于：它放弃了完全解析的更新，转而采用基于梯度的随机优化，从而获得了灵活性，但牺牲了确定性。
- 可扩展性：对于 \(n\) 个节点，边模型涉及 \(O(n^2)\) 个项。直接计算所有边的期望在计算上是昂贵的。作者通过随机采样边的小批量（mini-batch） 来近似ELBO中的边相关项，从而将每次迭代的计算复杂度降低到 \(O(B)\)，其中 \(B\) 是batch size。这是使方法能扩展到大规模网络的关键技巧。
技术技巧点名：
- 重参数化技巧（Reparameterization Trick）：用于计算ELBO关于变分参数 \(m_i, S_i\) 的梯度。将 \(Z_i = m_i + S_i^{1/2} \epsilon_i\)，其中 \(\epsilon_i \sim \mathcal{N}(0, I)\)，从而将期望的梯度转化为对采样噪声的期望的梯度。
- 随机变分推断（SVI）：通过随机采样边的小批量来近似梯度，实现可扩展的推断。
- Adam优化器：用于更新变分参数和全局参数。

真实例子与应用¶

已在“主要结果”中详细描述。本文使用了三个真实网络数据集（Facebook, Cora, PubMed）进行实验，并提供了Python实现和复现代码。

🔎 结论是否比证明窄¶

是。作者在结论中声称方法“significantly improves the imputation of missing attributes, specifically when the observed information is weak”。这个结论在模拟实验中得到验证，但在真实数据实验中，优势并不总是显著（在Cora和PubMed上仅与missForest相当）。因此，结论的适用范围可能比作者声称的要窄：优势主要存在于属性与网络结构强相关的场景，而这在真实数据中并不总是成立。
作者在讨论中也承认了这一点：“The performance of our method depends on the strength of the association between attributes and edges”。这是一个诚实的表述，但结论中的“significantly improves”可能给读者留下过于乐观的印象。

四、开放问题¶

理论性质：本文完全缺乏理论分析。一个开放问题是：在什么条件下，联合潜变量模型能够比忽略网络结构的模型实现更低的插补误差？ 能否推导出插补误差的收敛速度，并刻画其与网络密度、属性-边关联强度、潜变量维度等参数的关系？这扎根于本文“无理论证明”这一事实。
模型假设的稳健性：本文假设属性是潜位置的线性函数，边概率是潜位置距离的logistic函数。一个开放问题是：当这些参数化假设被违反时（例如，属性与潜位置是非线性关系，或边生成机制是“社区”结构而非“距离”结构），方法的性能会如何下降？ 能否设计出更灵活的非参数模型（如高斯过程）来建模属性-潜变量关系？这扎根于作者在讨论中提到的“model misspecification”问题。
缺失边的处理：本文假设邻接矩阵完全观测。一个开放问题是：当边也存在缺失时（这在真实网络中很常见，如链路预测问题），如何同时进行属性插补和链路预测？ 这扎根于作者在引言中未讨论的“边缺失”场景。
与图神经网络的比较：作者完全回避了GNN方法。一个开放问题是：本文的变分潜变量模型与图神经网络（如GCN, GAT）在属性插补任务上相比，孰优孰劣？ 在什么条件下（数据规模、缺失率、属性-边关联强度）一种方法会优于另一种？这是一个值得研究者去查的“缺失”，可以通过设计对比实验来回答。

Maintained by 陈星宇 · Homepage · Source on GitHub