跳转至

A Class of Bootstrap Based Residuals for Compositional Data

作者: Gustavo H. A. Pereira, Jianwen Cai
来源: Statistica Sinica
主题: 数理统计 / 假设检验
相关性: 0/10
机构绿灯: University of North Carolina at Chapel Hill(US News 前 50,免分进入精读)
链接: 期刊页 · arXiv


一、领域脉络与小综述

这个方向是什么

本文所处的子方向是成分数据(compositional data)回归模型的诊断分析。其根本的统计问题是:当响应变量是一个落在单纯形(simplex)上的多元向量(各分量非负且和为1)时,如何构造一个(近似)标准正态分布的残差,使得研究者能够利用常规的残差图、QQ图等工具进行模型拟合优度检验、异常值识别和模型误设定诊断。该方向的成熟度属于"应用驱动、理论滞后"的状态——成分数据回归(尤其是 Dirichlet 回归)的估计与推断理论已较为完善,但缺乏一个在多元约束下仍然具有良好分布性质的残差定义,这构成了本文的切入点。

发展脉络(history)

  • 奠基工作:Dirichlet 回归模型的系统化由 Hijazi and Jernigan (2009) 完成,他们给出了模型的参数化形式与似然推断框架。在此之前,成分数据主要依赖 Aitchison (1986) 的对数比(log-ratio)变换方法,将成分数据映射到无约束空间后再用多元正态回归处理。这两条路线构成了成分数据回归的两大范式:直接对成分分布建模(Dirichlet)vs. 变换后建模(log-ratio + 多元正态)。
  • 主要进展:Gueorguieva et al. (2008) 在 Dirichlet 回归框架下提出了若干残差定义(包括分量级 Pearson 残差与复合残差),并应用于精神科数据。但这些残差要么是单变量的(丢失了成分之间的相关性信息),要么是复合的(仅取正值,分布严重偏离正态)。Pereira (2019) 在 beta 回归中系统比较了多种残差(包括 quantile residual)的小样本表现,发现 quantile residual 在分布逼近正态方面优于 Pearson 和 deviance 残差。Lemonte and Moreno-Arenas (2019) 将 quantile residual 推广到广义 Johnson SB 回归。Feng et al. (2020) 通过大规模模拟比较了计数回归中多种残差诊断工具,确认了 quantile residual 在识别模型误设定方面的优势。Melo et al. (2019) 给出了 Dirichlet 回归中似然比检验的小样本修正(Bartlett 校正),说明该领域对小样本推断的重视。
  • 当前 frontier:成分数据回归的诊断工具仍以单变量残差为主,缺乏一个"即插即用"的多元残差——它既能汇总成分间的偏离信息,又具有已知的(最好是标准正态的)极限分布。本文的位置:作者提出用 bootstrap 估计一个多元残差的分布函数,再通过标准正态分位数函数进行变换,从而构造出一类渐近标准正态的残差。这个思路的关键在于:不依赖残差的具体代数形式(无论是平方和、绝对值还是其他),而是通过 bootstrap 逼近其分布,再"标准化"到 N(0,1)。

子线索聚类

  1. 残差定义与诊断工具(Gueorguieva et al., 2008; Pereira, 2019; Lemonte and Moreno-Arenas, 2019; Feng et al., 2020):这条线索关注"什么样的残差能最好地反映模型误设定",核心评价标准是残差分布与标准正态的接近程度以及检测误设定的功效。
  2. 成分数据回归的推断改进(Melo et al., 2019; Das and Mukhopadhyay, 2014):这条线索关注参数估计与假设检验的小样本性质,如 Bartlett 校正、链接函数选择等,为残差诊断提供了更可靠的推断基础。
  3. 成分数据回归的应用(Gueorguieva et al., 2008; Breuninger et al., 2021; Chen et al., 2020; Vieira and Salmon, 2019):这条线索将 Dirichlet 回归应用于精神病学、微生物组、睡眠、流行病学等领域,展示了成分数据回归的广泛需求,也暴露了诊断工具的匮乏。

⚠️ 作者的 framing(这是作者的说法)

作者在引言中将缺口 frame 为:"对于成分数据,尚不存在一个多元残差,其分布能被标准正态分布很好地逼近"。他声称现有残差要么是单变量的(难以捕捉成分间的联合偏离),要么是复合的(仅取正值,分布严重右偏),因此无法用于常规的残差图诊断。作者将本文定位为"填补这一空白的第一步",并强调其方法"不依赖于响应变量的具体分布假设",因此可推广到其他多元回归模型。注意:作者淡化了 log-ratio 变换路线的存在——如果研究者愿意做变换,完全可以在无约束空间使用成熟的多元正态残差工具。作者对此的隐含回应是:Dirichlet 回归直接对原始成分建模,保留了成分间的内在约束结构,变换会扭曲解释。这一 framing 是否成立,需要读者自行判断。

张力

未见明显的对立引用。但存在一个隐含张力:quantile residual 的支持者(Pereira, 2019; Feng et al., 2020)强调其在单变量情形下的优越性,而复合残差的支持者(Gueorguieva et al., 2008)则认为多元汇总比单变量更全面。本文试图调和这一张力——用 bootstrap 将"任意多元残差"标准化,从而兼顾两者的优点。但这种调和是否成功,取决于 bootstrap 分布逼近的精度,这是本文模拟部分需要回答的问题。

二、最核心、最简单的例子 / 数学问题

第一步:符号、模型、可观测数据

  • 响应变量:\(y_i = (y_{i1}, \ldots, y_{ik})^\top\),第 \(i\) 个观测的成分向量,满足 \(0 < y_{ij} < 1\) 且 \(\sum_{j=1}^k y_{ij} = 1\)。这是可观测的随机变量。
  • 协变量:\(x_{ij1}, \ldots, x_{ijp_j}\) 与 \(d_{i1}, \ldots, d_{ip}\),分别用于建模均值参数 \(\mu_{ij}\) 与精度参数 \(\phi_i\)。这些是可观测的固定设计量。
  • 模型参数:\(\beta_{j1}, \ldots, \beta_{jp_j}\)(均值子模型的回归系数)与 \(\gamma_1, \ldots, \gamma_p\)(精度子模型的回归系数)。这些是待估的未知参数(estimand)。
  • 模型结构(Dirichlet 回归,替代参数化):
  • \(y_i \sim \text{Dirichlet}(\mu_{i1}, \ldots, \mu_{ik}, \phi_i)\),密度见式 (1)。
  • 均值子模型:\(\log(\mu_{ij}/\mu_{i1}) = x_{ij1}\beta_{j1} + \cdots + x_{ijp_j}\beta_{jp_j}\),\(j = 2, \ldots, k\)。
  • 精度子模型:\(\log(\phi_i) = d_{i1}\gamma_1 + \cdots + d_{ip}\gamma_p\)。
  • 估计量:\(\hat{\mu}_{ij}\) 与 \(\hat{\phi}_i\),由最大似然估计得到,是可观测数据的函数。
  • 单变量分量的 quantile residual:\(q_{ij} = \Phi^{-1}[F(y_{ij}; \hat{\mu}_{ij}, \hat{\phi}_i)]\),其中 \(F\) 是 beta 分布的 CDF(Dirichlet 的边缘分布)。这是可计算的残差,但它是单变量的。
  • 多元残差:\(r_i\),可以是 \(r_i^{(a)} = \sum_{j=1}^k |q_{ij}|\)(绝对值)或 \(r_i^{(q)} = \sum_{j=1}^k q_{ij}^2\)(平方)。这是可计算的汇总统计量,但仅取正值。
  • 符号函数:\(h_i\),取 \(+1\) 或 \(-1\),用于给 \(r_i\) 赋予方向。两种定义:\(h_i^{(1)} = \text{sign}\{q_{i m_i^{(1)}}\}\) 其中 \(m_i^{(1)} = \arg\max_j |q_{ij}|\)(取偏离最大的分量的符号);\(h_i^{(2)} = \text{sign}\{q_{i m_i^{(2)}}\}\) 其中 \(m_i^{(2)} = \arg\max_j \sum_{i=1}^n y_{ij}/n\)(取平均成分最大的分量的符号)。
  • 最终残差:\(l_i = h_i r_i\),这是本文的核心对象——一个带符号的多元汇总残差。
  • bootstrap 版本:\(l_i^{(b)} = h_i^{(b)} r_i^{(b)}\),其中上标 \((b)\) 表示第 \(b\) 个 bootstrap 样本(从拟合模型中模拟生成)中计算的对应量。
  • 最终标准化残差:\(s_i = \Phi^{-1}(u_i)\),其中 \(u_i\) 是从区间 \((a_i/(B+1), (a_i+1)/(B+1))\) 均匀随机抽取的,\(a_i = \#\{l_i^{(b)} < l_i\}\) 是 bootstrap 残差中小于观测残差的个数。

第二步:最小内核

核心命题:如果模型正确且参数被一致估计,那么 \(s_i \xrightarrow{D} N(0,1)\)。

为什么成立:这个命题的证明逻辑非常简洁,可以拆成三步:

  1. bootstrap 分布逼近真实分布:在模型正确且参数一致估计的条件下,\(l_i^{(b)}\)(基于 bootstrap 样本)和 \(l_i\)(基于原始样本)具有相同的渐近分布。这是 bootstrap 的基本性质——bootstrap 样本是从拟合模型中生成的,而拟合模型在一致估计下收敛到真实模型。

  2. 秩统计量收敛到均匀分布:\(a_i = \#\{l_i^{(b)} < l_i\}\) 是 \(l_i\) 在 bootstrap 分布中的秩。如果 \(l_i^{(b)}\) 和 \(l_i\) 同分布,那么 \(a_i\) 渐近服从 \(\{0, 1, \ldots, B\}\) 上的离散均匀分布。附录中的式 (5) 正式表述为 \(a_i \xrightarrow{D} \text{UD}(0, B)\)。

  3. 均匀分布经分位数变换后得到正态分布:\(u_i\) 是从 \((a_i/(B+1), (a_i+1)/(B+1))\) 均匀抽取的,这相当于对离散秩做了随机化平滑,使得 \(u_i\) 渐近服从 \(U(0,1)\)。最后,\(\Phi^{-1}(u_i)\) 将均匀分布变换为标准正态分布。

这个证明的关键洞察:作者绕开了"如何定义多元残差的分布"这个难题。无论 \(r_i\) 取什么形式(绝对值、平方、或其他),只要它能在 bootstrap 中被重复计算,就能通过秩变换"标准化"到 \(N(0,1)\)。这是一种分布自由的标准化方法——它不依赖于 Dirichlet 分布的具体形式,只依赖于 bootstrap 的一致性。

最小例子:假设 \(k=2\)(两个成分),\(n=50\),拟合一个只有截距的 Dirichlet 回归。对第 \(i\) 个观测,计算 \(q_{i1}, q_{i2}\),然后 \(r_i^{(a)} = |q_{i1}| + |q_{i2}|\),\(h_i = \text{sign}(q_{i1})\)(假设成分 1 是平均占比最大的)。得到 \(l_i = h_i r_i\)。然后生成 \(B=1000\) 个 bootstrap 样本,每个样本从拟合模型中模拟 \(n\) 个新的成分向量,重新拟合模型,计算对应的 \(l_i^{(b)}\)。统计 \(l_i^{(b)} < l_i\) 的个数得到 \(a_i\),抽取 \(u_i\),最后 \(s_i = \Phi^{-1}(u_i)\)。如果模型正确,\(s_i\) 应该近似标准正态。

三、这篇论文做了什么

三句话

  1. 研究了什么问题:为成分数据回归模型(以 Dirichlet 回归为代表)构造一类新的多元残差,使其渐近服从标准正态分布,从而为模型诊断提供可靠的图形工具。
  2. 核心方法:提出一个四步构造程序——(i) 计算任意多元汇总残差 \(r_i\) 并赋予符号 \(h_i\) 得到 \(l_i\);(ii) 用 bootstrap 从拟合模型中生成 \(B\) 个样本,重复计算 \(l_i^{(b)}\);(iii) 计算 \(l_i\) 在 bootstrap 分布中的秩 \(a_i\);(iv) 通过随机化平滑和标准正态分位数变换得到 \(s_i = \Phi^{-1}(u_i)\)。
  3. 主要结论:定理 2.2.1 证明 \(s_i \xrightarrow{D} N(0,1)\)(在模型正确且参数一致估计的条件下);模拟研究表明,在 \(n=20\) 的小样本下,四种残差的分布已能很好地逼近标准正态;在检测模型误设定方面,\(s_i^{(a1)}\)(绝对值汇总 + 最大偏离分量符号)表现最佳,在模拟的误设定场景下,仅 11% 的数据集未能检测出模型误设定,而其他残差超过 20%。

关键设定与假设

  • 模型设定:Dirichlet 回归模型,采用替代参数化(均值 \(\mu\) + 精度 \(\phi\)),链接函数为 logit(均值)和 log(精度)。这是成分数据回归中最常用的参数模型。
  • 核心假设:参数 \(\tau_i\) 被一致估计。这是 bootstrap 分布逼近真实分布的关键条件。作者没有讨论 \(\sqrt{n}\) 收敛速率或高阶偏差,这意味着定理的证明依赖于一阶渐近理论。
  • 数据要求:独立观测;成分向量无零值(因为 Dirichlet 密度在边界为 0,且 \(q_{ij}\) 的计算需要 \(F(y_{ij})\) 严格在 \((0,1)\) 内)。作者在真实数据应用中遇到两个零值,采用 Aitchison (1986) 的建议替换为小值并归一化。
  • bootstrap 设定:\(B=1000\),从拟合模型中参数化 bootstrap(即从估计的 Dirichlet 分布中模拟新样本)。这是参数 bootstrap,而非非参数 bootstrap(重采样原始数据)。
  • 与已有文献的比较:相比 Gueorguieva et al. (2008) 的复合残差(仅取正值),本文的残差有符号且渐近正态;相比单变量 quantile residual(Pereira, 2019),本文的残差是多元的,能捕捉成分间的联合偏离。

证明路线与技术技巧

整体路线(附录中的证明):

  1. 建立 bootstrap 分布的一致性:在模型正确且 \(\tau_i\) 一致估计的条件下,\(y_i^{(b)}\) 与 \(y_i\) 渐近同分布,因此 \(l_i^{(b)}\) 与 \(l_i\) 渐近同分布。这一步是 bootstrap 标准理论的直接应用,没有额外的技术难度。

  2. 秩统计量的渐近均匀性:\(a_i = \#\{l_i^{(b)} < l_i\}\) 在 \(l_i^{(b)}\) 与 \(l_i\) 同分布的条件下渐近服从离散均匀分布 \(\text{UD}(0, B)\)。这一步的关键是 \(l_i\) 的分布是连续的(因为 \(y_i\) 是连续的),所以不存在并列秩的问题。

  3. 随机化平滑:\(u_i\) 从 \((a_i/(B+1), (a_i+1)/(B+1))\) 均匀抽取,将离散秩转化为连续均匀变量。这一步是为了消除离散性,使得 \(\Phi^{-1}(u_i)\) 的分布是连续的。

  4. 分位数变换:\(\Phi^{-1}(u_i)\) 将 \(U(0,1)\) 变换为 \(N(0,1)\)。这一步是概率积分变换的标准应用。

技术技巧点评:

  • 分布自由性:证明不依赖于 \(r_i\) 的具体形式,只依赖于 bootstrap 的一致性。这使得该方法可以推广到任何参数回归模型。
  • 随机化平滑:这是本文的一个细节技巧。如果不做平滑,\(s_i\) 只能取 \(B+1\) 个离散值,无法用于精细的 QQ 图分析。平滑后 \(s_i\) 是连续的,但代价是引入了额外的随机性(每次计算 \(s_i\) 会得到略有不同的值)。
  • 证明的局限性:定理只证明了边缘分布的渐近正态性,没有讨论 \(s_i\) 之间的联合分布。对于残差图分析,通常假设残差近似独立,但本文没有证明这一点。此外,定理没有给出收敛速率,也没有讨论 bootstrap 阶数 \(B\) 的选择对逼近精度的影响。

真实例子与应用

模拟数据应用(第 4.1 节):设计了一个模型误设定检测实验。生成 500 个数据集,每个数据集 \(n=50\),\(k=3\),协变量为二值(0/1)。数据生成机制为两个 Dirichlet 分布的混合(概率 0.7 和 0.3),但拟合时假设为单一 Dirichlet 分布。通过残差图(正态概率图 + 模拟包络)来检测误设定。结果显示,\(s_i^{(a1)}\) 在 89% 的数据集中成功检测出误设定(即至少有一个点超出包络),而其他残差(包括 \(s_i^{(q1)}\)、\(s_i^{(a2)}\)、\(s_i^{(q2)}\) 以及复合残差 \(r_i^{(q1)}\)、\(r_i^{(q2)}\))的检测率低于 80%。作者据此推荐 \(s_i^{(a1)}\) 作为默认选择。

真实数据应用(第 4.2 节):使用 Veje et al. (2021) 收集的 42 名成年人睡眠数据(22 名蜱传脑炎患者,20 名对照),响应变量为睡眠各阶段(N1, N2, N3, REM)的时间比例。由于两名患者 N3 阶段时间为 0,作者将 0 替换为 0.001 并归一化。拟合 Dirichlet 回归(协变量为总睡眠时间和疾病状态),使用 \(s_i^{(a1)}\) 进行诊断。似然比检验显示疾病状态对成分无显著影响(p = 0.7469),但总睡眠时间对均值和精度均有显著影响(p = 0.0019 和 p = 0.0030)。残差图未显示明显的模型误设定。作者据此得出结论:睡眠成分与总睡眠时间的关系可以用 Dirichlet 回归充分描述。

例子想说明什么:模拟应用展示了 \(s_i^{(a1)}\) 在检测误设定方面的优势;真实应用展示了该方法在实际数据分析中的可用性(包括处理零值问题的实际策略)。

🔎 结论是否比证明窄

  • 定理的适用范围:定理 2.2.1 的证明假设 \(\tau_i\) 被一致估计,但没有明确 \(\tau_i\) 的估计方法(MLE?)。如果使用 MLE,需要额外的正则条件(如紧参数空间、可识别性等)才能保证一致性。作者没有讨论这些条件。
  • "渐近"的精度:定理只给出了 \(s_i \xrightarrow{D} N(0,1)\),没有给出收敛速率或 Edgeworth 展开。模拟中 \(n=20\) 的逼近质量好,但这只是经验证据,不能推广到所有模型设定。
  • "可推广到其他多元回归模型"的声明:作者在结论部分声称该方法可推广到其他多元回归模型,但没有给出任何理论或模拟证据。这个声明是合理的推测,但未被证明。
  • bootstrap 的计算成本:对于每个观测 \(i\),需要 \(B\) 次 bootstrap 重拟合。当 \(n\) 较大或模型较复杂时,计算成本可能很高。作者没有讨论计算效率问题。
  • 零值处理的敏感性:真实数据中零值替换为 0.001 的做法是临时的,作者没有讨论这一选择对结果的影响。

四、开放问题

  1. 联合分布与多重检验:定理只证明了 \(s_i\) 的边缘渐近正态性,但残差图分析通常同时考察所有 \(n\) 个点。\(s_i\) 之间是否渐近独立?如果不是,如何调整包络的置信水平?这直接关系到残差图的解释有效性。扎根于:定理 2.2.1 只涉及单个 \(s_i\) 的分布,未讨论联合分布。

  2. bootstrap 阶数 \(B\) 的选择:\(B=1000\) 是经验选择。\(B\) 的大小如何影响 \(s_i\) 的分布逼近精度?是否存在一个最优的 \(B\) 与 \(n\) 的匹配关系?扎根于:模拟中固定 \(B=1000\),未做敏感性分析。

  3. 误设定检测的功效分析:模拟只展示了一个特定的误设定场景(混合分布)。对于其他类型的误设定(如链接函数错误、遗漏协变量、异常值),\(s_i^{(a1)}\) 的检测功效如何?是否存在某些误设定类型是 \(s_i^{(a1)}\) 无法检测的?扎根于:第 4.1 节仅测试了一种误设定场景。

  4. 零值处理的系统方法:真实数据中零值替换为 0.001 是临时的。能否将零膨胀 Dirichlet 回归(如 Tsagris and Stewart, 2018 的零调整模型)与本文的 bootstrap 残差结合?扎根于:第 4.2 节对零值的处理方式。

  5. 理论保证的加强:能否证明 \(s_i\) 的 bootstrap 分布的收敛速率?能否给出 Edgeworth 展开以改进小样本逼近?这需要更精细的渐近分析。扎根于:附录中的证明只给出了一阶收敛。

  6. 计算效率的改进:当 \(n\) 很大时,\(n \times B\) 次模型重拟合的计算成本可能难以接受。能否利用充分统计量或影响函数来避免完全重拟合?扎根于:算法描述中未讨论计算复杂度。


给研究者的提醒:若要确认上述某条是否为真 gap,建议去读近 5 年成分数据诊断方向的文献(如 Compositional Data Analysis 相关专刊、Computational Statistics & Data Analysis 上的相关论文)。如果多篇近期论文都指向同一个未解决问题,那大概率是共识性 gap;如果各论文的结论互相矛盾,那可能是更值得深挖的机会点。


Maintained by 陈星宇 · Homepage · Source on GitHub

评论