Novel Distance Regression for Repeated Outcomes With Missing Data: Applications to Longitudinal and Crossover Studies of Microbiome Beta‐Diversity¶
作者: Jinyuan Liu, Ke Xu, Jane F. Ferguson, Kaidi Kang, Yue Wang et al.
来源: Statistics in Medicine
主题: 因果推断
相关性: 5/10
机构绿灯: Vanderbilt University(US News 前 50,免分进入精读)
链接: https://doi.org/10.1002/sim.70654
一、领域脉络与小综述¶
这个方向是什么¶
本文所处的子方向是微生物组数据的距离回归(distance regression / distance-based regression)。其根本科学问题是:在微生物组研究中,研究者关心的往往不是单个物种的相对丰度,而是群落整体结构(community-level composition)如何随协变量(如治疗、宿主生理指标、时间)变化。由于群落结构是高维(数百至数千个分类单元)、稀疏(大量零计数)、且以组成比(compositional)形式存在,直接对每个分类单元做多元回归既不可行也不可解释。距离回归的解决思路是:先把每个样本的微生物组成压缩成样本间两两距离(如 Bray-Curtis、UniFrac 等 beta 多样性指标),再把这些距离当作"结果"来建模。经典工具是 PERMANOVA(Anderson, 2001),但它基于置换检验,计算量大且难以处理协变量较多时的条件推断。本文的贡献在于把这一思路推广到重复测量(纵向 / 交叉设计) 和缺失数据并存的情形,并给出半参数推断框架。
发展脉络(history)¶
从 introduction 和参考文献看,这条线的演进大致如下:
- 奠基工作:距离回归的提出与 PERMANOVA。 Anderson (2001) 提出 PERMANOVA(permutational multivariate analysis of variance),用距离矩阵做因子效应的非参数检验,通过置换获得 p 值。这是微生物组差异分析的标配工具,但它的局限是:只能做检验、不能给出可解释的回归系数;置换检验在样本量大或协变量多时计算负担重;难以处理重复测量和缺失数据。
- 主要进展一:距离回归的回归化。 Warton et al. (2017)、Wang (2018) 等将距离矩阵与协变量联系起来,提出基于距离的回归模型,试图把 PERMANOVA 的检验框架扩展为回归框架,以获得系数估计。但这类方法大多仍依赖置换或 bootstrap 做推断,且对重复测量结构处理不足。
- 主要进展二:重复测量的距离分析。 针对纵向微生物组研究,有工作尝试用混合模型或 GEE 的思路处理组内相关(如 Chen et al., 2013 的零膨胀模型;或 microbiome 领域的 mixed-effect PERMANOVA 变体)。但这些方法要么假设较强的分布形式,要么仍依赖置换,推断效率低。
- 主要进展三:缺失数据的处理。 微生物组纵向研究普遍存在缺失(受试者脱落、测序失败等)。已有方法多采用整例删除(casewise deletion)或简单插补,前者损失效率且可能引入偏倚,后者未考虑缺失机制。本文引入倾向评分加权(propensity score weighting)来处理 MAR 缺失,这是把因果推断中的标准工具移植到距离回归中。
- 本文的位置。 Edger 把上述三条线合并:GEE 框架处理重复测量 + 半参数推断(避免置换)+ 倾向评分加权处理 MAR 缺失 + 协变量分块(covariate batching)缓解遗漏变量偏倚。它定位为"在复杂数据条件下给出可解释系数且计算高效"的通用工具。
子线索聚类¶
被引文献大致落在三条子线索上:
- 距离回归与多元方差分析(Anderson 2001; McArdle & Anderson 2001; Warton et al. 2017):核心是"把距离矩阵当作结果"的建模思路,以及置换检验的推断框架。这条线成熟度最高,但推断方式限制了其扩展。
- 纵向 / 重复测量的微生物组建模(Chen et al. 2013; 以及 microbiome 纵向分析的相关工作):处理组内相关、时间效应、个体异质性。这条线的方法多样但缺乏统一框架,且推断效率参差不齐。
- 缺失数据与因果推断中的加权方法(如 propensity score 相关文献):本文把 MAR 假设下的倾向评分加权引入距离回归,属于方法移植。这条线在因果推断中非常成熟,但在微生物组距离回归中应用较少。
这个方向在追问的核心问题¶
- 如何在高维、稀疏的组成数据下定义并估计"协变量对群落结构的影响"? 距离回归的答案是用距离矩阵作为中介,但距离的选择(Bray-Curtis vs. UniFrac vs. Aitchison)本身影响结论,且距离矩阵的依赖性(样本间距离不独立)给推断带来根本困难。
- 如何处理重复测量带来的组内相关? 距离矩阵中的元素来自同一受试者的多次访问,这些距离高度相关,忽略这一点会严重低估方差。
- 如何在缺失数据下保持推断的有效性? 纵向研究几乎必然有缺失,整例删除在缺失率较高时效率损失严重,且当缺失与结果相关时引入偏倚。
- 如何在不做置换检验的前提下获得可靠的推断? 置换检验虽然稳健但计算昂贵,尤其在 GEE 框架下每次迭代都要置换。
已知瓶颈:距离矩阵的非独立性使得似然方法难以直接应用;GEE 的 sandwich variance 在距离矩阵上是否成立需要验证;缺失机制假设(MAR)在微生物组研究中是否现实存疑。
⚠️ 作者的 framing(必须明确标注成"这是作者的说法")¶
作者把缺口 frame 成:"现有距离回归方法要么依赖置换检验(计算慢、无法处理复杂设计),要么不能同时处理重复测量和缺失数据。Edger 是第一个在统一框架下解决这两个问题的半参数方法。" 具体来说,作者声称: - 半参数推断消除了置换检验的需求,从而在计算效率上有数量级提升; - 倾向评分加权使得在 MAR 假设下无需整例删除即可进行联合推断; - 协变量分块策略可以缓解遗漏变量偏倚。
被淡化或回避的竞争路线: - 作者没有深入讨论基于模型的方法(如零膨胀混合模型、Dirichlet-multinomial 回归),这些方法直接对计数建模,可能更高效但更依赖分布假设。作者暗示这些方法"缺乏可解释的系数",但未做系统比较。 - 作者没有讨论距离选择的敏感性。Bray-Curtis 是默认选择,但不同距离度量可能给出不同结论,这是一个已知的稳健性问题。 - 作者对 MAR 假设的讨论较简略,没有讨论 MNAR(非随机缺失)情形下方法的失效模式。
什么明显该被引 / 该存在、却没出现在 intro 里? - 作者没有引用 GEE 的半参数效率理论(如 Liang & Zeger 1986 的原始文献,或更现代的 semiparametric GEE 效率界工作)。考虑到本文的核心卖点是"半参数推断",这个缺失比较明显。 - 作者没有引用 microbiome 领域的 compositionality 批判(如 Aitchison 的 log-ratio 分析传统),这暗示作者默认 Bray-Curtis 距离是合理的,但这一假设在领域内是有争议的。 - 作者没有引用 double robustness 或 semiparametric efficiency 在缺失数据下的经典结果(如 Robins, Rotnitzky & Zhao 1994),尽管其倾向评分加权策略与这一文献高度相关。
张力¶
未见明显对立引用。各条子线索之间是互补关系而非竞争关系:距离回归提供框架,纵向方法处理相关性,加权方法处理缺失。作者的工作是把三者拼接起来,而非挑战某一方的结论。
二、最核心、最简单的例子 / 数学问题¶
第一步:把符号、模型、可观测数据交代清楚¶
符号(逐个点名):
- \(i = 1, \dots, n\):受试者(subject)索引。\(n\) 是样本量(受试者数)。
- \(j = 1, \dots, m_i\):第 \(i\) 个受试者的访问次数(重复测量次数)。\(m_i\) 可随 \(i\) 变化(不平衡设计)。
- \(Y_{ij} \in \mathbb{R}\):第 \(i\) 个受试者在第 \(j\) 次访问时的结果变量。在本文中,\(Y_{ij}\) 是距离——具体说,是第 \(i\) 个受试者的微生物组成与某个参考组成(如基线)之间的 beta 多样性距离。注意:\(Y_{ij}\) 是标量,不是向量;距离矩阵的每一行被"拉平"成重复测量结果。
- \(X_{ij} \in \mathbb{R}^p\):第 \(i\) 个受试者在第 \(j\) 次访问时的协变量向量(如治疗组别、时间、宿主生理指标)。\(p\) 是协变量维数。
- \(\beta \in \mathbb{R}^p\):回归系数向量,是本文的主要估计目标(estimand)。\(\beta_k\) 表示第 \(k\) 个协变量每增加一个单位,距离 \(Y\) 的平均变化量。
- \(R_{ij} \in \{0, 1\}\):缺失指示变量。\(R_{ij} = 1\) 表示 \(Y_{ij}\) 被观测到,\(R_{ij} = 0\) 表示缺失。
- \(\pi_{ij} = P(R_{ij} = 1 \mid \text{ covariates})\):倾向评分(propensity score),即在给定协变量下结果被观测到的概率。本文假设 MAR:\(R_{ij} \perp Y_{ij} \mid X_{ij}\)(给定协变量,缺失与结果独立)。
- \(V_i\):第 \(i\) 个受试者的工作协方差矩阵(working covariance matrix),维度 \(m_i \times m_i\),用于刻画重复测量间的相关性。GEE 中它不需要正确指定,只需 sandwich estimator 修正。
- \(\mu_{ij} = E[Y_{ij} \mid X_{ij}]\):条件均值函数。本文假设 \(\mu_{ij} = X_{ij}^\top \beta\)(线性均值模型)。
模型(用直白语言写出):
- 数据生成机制:每个受试者 \(i\) 有 \(m_i\) 次访问。每次访问时,我们测量其微生物组成,计算与参考的距离 \(Y_{ij}\),同时记录协变量 \(X_{ij}\)。\(Y_{ij}\) 与 \(Y_{ij'}\)(同一受试者的两次访问)是相关的,相关结构未知。
- 均值模型:\(E[Y_{ij} \mid X_{ij}] = X_{ij}^\top \beta\)。这是标准的线性回归假设,但没有假设 \(Y_{ij}\) 的分布形式(半参数:均值模型参数化,分布非参数)。
- 缺失机制:\(R_{ij}\) 在给定 \(X_{ij}\) 下与 \(Y_{ij}\) 独立(MAR)。倾向评分 \(\pi_{ij}\) 需要估计(通常用 logistic 回归)。
- 估计方法:加权 GEE。对每个观测到的 \((i,j)\),用 \(1/\pi_{ij}\) 加权,求解估计方程 \(\sum_{i=1}^n \sum_{j=1}^{m_i} \frac{R_{ij}}{\pi_{ij}} X_{ij}^\top V_i^{-1} (Y_{ij} - X_{ij}^\top \beta) = 0\)。
可观测数据:研究者实际能观测到的是 \(\{(X_{ij}, R_{ij}, R_{ij} Y_{ij}) : i = 1, \dots, n, j = 1, \dots, m_i\}\)——即协变量、缺失指示、以及被观测到的结果。缺失的 \(Y_{ij}\) 不可观测。想要但观测不到的是:完整的 \(Y_{ij}\) 序列(包括缺失部分),以及潜在的"如果没缺失会是什么值"的反事实结果。
第二步:讲最小内核¶
最简特例:假设 \(n\) 个受试者,每人只有一次访问(\(m_i = 1\),即横截面数据),没有缺失(\(R_{ij} = 1\) 对所有 \(i\))。此时问题退化为标准线性回归:
其中 \(Y_i\) 是第 \(i\) 个受试者的距离(标量),\(X_i\) 是协变量向量。估计 \(\beta\) 用普通最小二乘(OLS):\(\hat{\beta} = (\sum_i X_i X_i^\top)^{-1} \sum_i X_i Y_i\)。
这个特例下要证的命题:\(\hat{\beta}\) 是 \(\beta\) 的相合估计,且 \(\sqrt{n}(\hat{\beta} - \beta) \xrightarrow{d} N(0, \Sigma)\),其中 \(\Sigma\) 可以用 sandwich formula 估计。
为什么这个特例是"最小内核":本文的全部技术复杂性来自三个叠加的推广——(1) 重复测量(\(m_i > 1\),引入组内相关);(2) 缺失数据(\(R_{ij}\) 不全为 1,需要加权);(3) 半参数推断(不用置换检验,而是用渐近正态性)。如果你理解了横截面无缺失情形下的 OLS 估计和 sandwich variance,那么本文的 GEE + 倾向评分加权只是在这个基础上加了两层"修正": - 重复测量 → 用工作协方差矩阵 \(V_i\) 代替标量方差,sandwich estimator 自动修正相关性的误设; - 缺失 → 用 \(1/\pi_{ij}\) 加权,使得估计方程在 MAR 下仍然无偏。
核心数学困难:当 \(m_i > 1\) 且存在缺失时,估计方程中 \(V_i^{-1}\) 的逆运算涉及 \(m_i \times m_i\) 矩阵求逆,而 \(m_i\) 可能很大(如纵向研究每人 10+ 次访问);同时倾向评分 \(\pi_{ij}\) 是估计的(不是已知的),其估计误差会传播到 \(\hat{\beta}\) 的方差中,需要修正。本文的"半参数推断"本质上就是处理这两个问题:用 sandwich estimator 吸收 \(V_i\) 误设的影响,用 M-estimation 理论吸收 \(\hat{\pi}\) 的估计误差。
三、这篇论文做了什么¶
三句话¶
- 研究了什么问题:在微生物组纵向或交叉设计中,如何对重复测量的 beta 多样性距离结果做回归分析,同时处理组内相关和 MAR 缺失数据,并获得可解释的系数估计和可靠的推断。
- 核心工具 / 方法:加权 GEE 框架(倾向评分加权处理缺失)+ 半参数推断(sandwich variance,避免置换检验)+ 协变量分块(covariate batching)缓解遗漏变量偏倚。
- 主要结论:Edger 在数值模拟和真实数据应用中,相比现有方法(如 PERMANOVA、未加权的 GEE 距离回归)在检验功效和计算效率上均有提升,且能给出可解释的回归系数。
关键设定与假设¶
在第二节最小记号的基础上,补全完整设定:
- 均值模型:\(E[Y_{ij} \mid X_{ij}] = X_{ij}^\top \beta\)。线性假设,但不假设 \(Y_{ij}\) 的分布(半参数)。
- 工作协方差结构:\(V_i\) 可以是 exchangeable、AR(1) 或非结构化,但不需要正确指定——sandwich estimator 保证推断的稳健性。这是 GEE 的标准优势。
- 缺失机制:MAR,即 \(R_{ij} \perp Y_{ij} \mid X_{ij}\)。倾向评分 \(\pi_{ij} = P(R_{ij} = 1 \mid X_{ij})\) 用 logistic 回归估计。
- 协变量分块(covariate batching):将协变量分成若干块(如时间相关、个体相关),逐块纳入模型,以缓解遗漏变量偏倚。这是本文的一个方法创新点,但具体实现细节在摘要中未展开。
- 相比已有文献的放宽 / 强化:
- 相比 PERMANOVA:从置换检验(非参数、计算慢)转向半参数渐近推断(计算快、可解释)。
- 相比标准 GEE:引入倾向评分加权处理缺失,且针对距离矩阵的特殊结构(非独立性)做了调整。
- 未讨论:距离选择的敏感性、MNAR 情形、以及高维协变量(\(p > n\))的情形。
主要结果¶
理论层面(从摘要推断,本文是方法 + 应用型论文,理论结果可能不深): - 估计方程在 MAR 下是渐近无偏的(加权 GEE 的标准性质)。 - Sandwich variance estimator 在 \(V_i\) 误设下仍一致(GEE 的标准性质)。 - 倾向评分估计误差对 \(\hat{\beta}\) 方差的影响通过 M-estimation 理论修正(标准做法,但本文可能给出了针对距离矩阵的调整)。
数值模拟: - 比较 Edger 与 PERMANOVA、未加权 GEE 在检验功效(power)和 I 类错误率(type I error)上的表现。 - 摘要声称 Edger 在功效上优于现有方法,但未给出具体数值(如功效提升多少、I 类错误是否受控)。
真实数据应用: - 数据场景:纵向或交叉设计的微生物组研究(具体数据集在摘要中未指明,需查正文)。 - 分析目标:估计治疗或宿主生理指标对 beta 多样性距离的边际效应。 - 结果:Edger 给出了可解释的系数估计,且计算时间远低于置换检验。
证明路线与技术技巧¶
整体路线(基于 GEE + 加权 + M-estimation 的标准框架):
- 写出加权估计方程:\(\sum_{i=1}^n \sum_{j=1}^{m_i} \frac{R_{ij}}{\pi_{ij}} X_{ij}^\top V_i^{-1} (Y_{ij} - X_{ij}^\top \beta) = 0\)。权重 \(1/\pi_{ij}\) 使得在 MAR 下,观测到的数据对估计方程的贡献与完整数据等价(逆概率加权,IPW)。
- 估计倾向评分:用 logistic 回归估计 \(\hat{\pi}_{ij}\),代入估计方程。
- 求解 \(\hat{\beta}\):迭代加权最小二乘(IWLS)或 Newton-Raphson。
- 推导渐近分布:将 \(\hat{\beta}\) 视为 M-estimator,其渐近方差为 \(A^{-1} B A^{-1}\)(sandwich form),其中 \(A\) 是估计方程的导数矩阵,\(B\) 是估计方程的方差矩阵。\(B\) 中需要额外项来吸收 \(\hat{\pi}\) 的估计误差(即 \(\hat{\pi}\) 的 influence function 对 \(\hat{\beta}\) 的影响)。
- 协变量分块:将协变量分组,逐块估计,以减少高维协变量带来的偏倚。
关键技巧点名: - 逆概率加权(IPW):处理 MAR 缺失的标准工具,本文将其移植到距离回归中。 - Sandwich variance estimator:GEE 的稳健方差估计,吸收 \(V_i\) 误设和 \(\hat{\pi}\) 估计误差。 - M-estimation 理论:处理 \(\hat{\pi}\) 估计误差对 \(\hat{\beta}\) 方差的影响(需要计算 \(\hat{\pi}\) 的 influence function 并纳入 sandwich)。 - 协变量分块(covariate batching):本文的一个方法创新,具体机制需查正文(可能是将协变量分组后分别回归,再合并估计)。
技术难点: - 距离矩阵的元素不独立(同一受试者的多个距离共享同一个微生物组成),这违反了标准 GEE 的独立性假设。本文如何处理这一点是关键——可能通过调整工作相关结构或使用 cluster-robust sandwich。 - 倾向评分 \(\hat{\pi}\) 的估计误差在重复测量下如何传播到 \(\hat{\beta}\) 的方差,需要仔细推导。
🔎 结论是否比证明窄¶
- 摘要声称"superior inferential power and computational efficiency",但未给出具体数值(功效提升多少、计算快多少倍)。这些结论需要查正文的模拟结果才能验证。
- 作者声称"eliminates the need for time-consuming permutation tests",但未讨论渐近近似的有限样本表现——在小样本、高缺失率下,sandwich estimator 可能低估方差,这是 GEE 的已知问题。
- 协变量分块策略的理论保证不清晰——它是否真的能缓解遗漏变量偏倚,还是仅仅是一种启发式做法?摘要未给出理论证明。
- 作者对 MAR 假设的依赖是强假设,但未讨论 MAR 不成立时的敏感性分析。这是因果推断文献中的标准要求,本文似乎未涉及。
四、开放问题¶
-
距离选择的敏感性:本文默认使用某种 beta 多样性距离(如 Bray-Curtis),但不同距离度量可能给出不同结论。一个开放问题是:Edger 的估计和推断对距离选择是否稳健?能否发展出对距离选择不敏感的方法?(扎根于:摘要中未讨论距离选择问题,但这是距离回归领域的核心争议。)
-
MNAR 情形的扩展:本文假设 MAR,但纵向微生物组研究中,缺失可能与未观测到的微生物组成相关(MNAR)。能否将本文的框架扩展到 MNAR,或发展敏感性分析方法?(扎根于:摘要中明确假设 MAR,但未讨论其合理性或失效模式。)
-
协变量分块的理论保证:作者提出协变量分块策略以缓解遗漏变量偏倚,但未给出理论证明。一个开放问题是:在什么条件下,协变量分块能保证 \(\hat{\beta}\) 的一致性?分块策略与全模型估计的效率比较如何?(扎根于:摘要中提及"covariate batching strategy to mitigate omitted variable bias",但未给出理论分析。)
-
高维协变量的扩展:本文的框架假设协变量维度 \(p\) 固定且远小于 \(n\)。在微生物组研究中,协变量可能包含高维的宿主基因组或代谢组数据。能否将 Edger 扩展到高维协变量情形,并给出相应的正则化方法和理论保证?(扎根于:摘要中未讨论高维协变量,但这是微生物组多组学整合的自然延伸。)
-
距离矩阵的非独立性处理:本文如何处理距离矩阵元素间的非独立性?如果处理方式是 cluster-robust sandwich,那么在小样本下其有限样本表现如何?能否发展出更高效的估计方法?(扎根于:摘要中未明确说明如何处理距离矩阵的非独立性,这是 GEE 应用于距离回归的核心技术难点。)
提示:若要确认上述开放问题是否为真 gap,建议去读 microbiome 统计方法领域(如 Microbiome、mSystems、Statistics in Medicine 近两年)约 5 篇相关论文的 introduction——如果多篇都提到"距离回归缺乏对重复测量和缺失数据的统一处理",则本文确实是填补共识缺口;如果各篇的 framing 互相矛盾(例如有的认为置换检验不可替代),则说明方法选择本身存在争议,值得深入。
Maintained by 陈星宇 · Homepage · Source on GitHub