跳转至

Wilcoxon Random Forests for Robust Distributional Prediction

作者: Danni Shi, Bryan E Shepherd, Chun Li
主题: 非参数 / 半参数
相关性: 6/10
链接: https://arxiv.org/abs/2609.31931


一、领域脉络与小综述

这个方向是什么:基于树的非参数条件分布预测。核心任务是估计条件 CDF \(F(y|x)=P(Y\le y\mid X=x)\),而非仅估计条件均值。该方向在生物医学中尤为重要,因为结局变量常呈现偏态、重尾、存在离群值,或因检测限(detection limit)而呈现连续-离散混合分布。当前成熟度:随机森林(Breiman, 2001)与分位数回归森林(QRF; Meinshausen, 2006)已是标准工具,但对"非标准结局"的稳健性仍是开放问题。

发展脉络:

  • 奠基工作:Breiman (2001) 的随机森林以平方误差(SSE)为分裂准则,本质是条件均值估计器;Breiman et al. (1984) 的 CART 确立了递归二分框架。SSE 准则对偏态和离群值敏感,因为平方误差被极端值主导。
  • 向分布预测的扩展:Meinshausen (2006) 提出 QRF,用森林诱导的权重估计条件分位数,但树结构仍由 SSE 分裂决定——即"树是均值导向的,只是输出改成了分布"。这是一个关键的不匹配:分裂准则决定邻域形状,均值导向的分裂在偏态条件下会扭曲分位数估计。
  • 直接针对分位数的分裂:Chaudhuri and Loh (2002) 提出分位数回归树,Bhat et al. (2015) 提出基于 pinball loss 的分裂准则。这些方法直接优化分位数损失,但需要预先指定目标分位数水平 \(\tau\),且对混合型结局(如检测限)需要特殊处理。
  • 秩方法在树模型中的引入:本文(Shi, Shepherd, Li)提出用 Wilcoxon 秩和统计量作为分裂准则,不依赖 \(\tau\),对单调变换不变,自然适应连续、序数、混合结局。这是秩方法从传统非参数统计(Mann-Whitney 检验)向树模型分裂准则的迁移。

子线索聚类:

  1. 分裂准则设计:SSE(均值导向)→ pinball loss(分位数导向,需指定 \(\tau\))→ Wilcoxon 秩和(分布导向,自动适应)。这条线索的核心张力是"准则应该针对哪个分布特征"。
  2. 分布预测的估计框架:QRF 的加权经验 CDF 方法(Meinshausen, 2006)是本文的直接基线;本文沿用同样的森林权重框架,只更换分裂准则。
  3. 稳健非参数回归:秩变换、符号检验等稳健方法在树模型中的应用。本文的 Wilcoxon 分裂可视为"对结局做单调变换不变"的稳健分裂。

这个方向在追问的核心问题:

  • 如何在不预先指定分位数水平的前提下,让树的分裂准则适应结局分布的形状(偏态、重尾、混合)?
  • 分裂准则的选择如何影响条件分布估计的收敛速度和有限样本表现?
  • 如何在检测限(左删失)等混合结局下进行有效的分布预测?

⚠️ 作者的 framing(这是作者的说法):作者将缺口 frame 为"标准 RF 的 SSE 分裂是均值导向的,在偏态/离群/混合结局下产生次优的邻域划分;pinball loss 分裂需要预先指定 \(\tau\),且对混合结局不自然"。因此本文的 Wilcoxon 分裂是"显然的下一步"——它只依赖秩,自动适应所有有序结局类型。被淡化或回避的竞争路线包括:梯度提升机(可用任意损失函数,但同样需要指定 \(\tau\))、贝叶斯加性回归树(BART,可估计后验分布但计算昂贵)、深度生成模型(需大量数据)。这些方法在引言中未被讨论。

张力:未见明显对立引用。但存在一个微妙的适用性分歧:Bhat et al. (2015) 的 pinball loss 分裂允许研究者针对特定分位数(如尾部)优化树结构,而本文的 Wilcoxon 分裂是"全分布"导向的——当研究者只关心极端分位数时,Wilcoxon 分裂可能不是最优。本文的模拟没有直接比较这一场景。


二、最核心、最简单的例子 / 数学问题

第一步:符号、模型、可观测数据

  • 样本:\(\mathcal D_n=\{(X_i,Y_i)\}_{i=1}^n\),i.i.d. 来自 \((X,Y)\sim P\),\(X\in\mathbb R^p\),\(Y\) 为有序结局(连续、序数或混合)。
  • 目标量:条件 CDF \(F(y|x)=P(Y\le y\mid X=x)\),对每个固定 \(x\) 是 \(y\) 的函数。
  • 树结构:每棵树 \(T_b\) 通过递归二分将预测变量空间划分为叶节点。叶节点 \(L_b(x)\) 是包含 \(x\) 的矩形区域。
  • 森林权重:对 B 棵树,WRF 估计量为
    \[\hat F(y|x)=\sum_{i=1}^n w_i(x)\,\mathbb I(Y_i\le y),\qquad w_i(x)=\frac{1}{B}\sum_{b=1}^B \frac{\mathbb I(X_i\in L_b(x))}{N_b(x)},\]
    其中 \(N_b(x)\) 是树 \(b\) 中叶节点 \(L_b(x)\) 的训练样本数。权重非负且和为 1。
  • 分裂准则:对节点 \(A\)(含 \(n_A\) 个样本),候选分裂 \((j,s)\) 将 \(A\) 分为 \(A_L\)(\(n_L\) 个样本)和 \(A_R\)(\(n_R\) 个样本)。令 \(r_{i,A}\) 为 \(Y_i\) 在节点 \(A\) 内的 midrank(处理结)。定义
    \[\Delta_{\text{rank}}(j,s)=\sum_{i\in A}(r_{i,A}-\bar r_A)^2-\left[\sum_{i\in A_L}(r_{i,A}-\bar r_L)^2+\sum_{i\in A_R}(r_{i,A}-\bar r_R)^2\right],\]
    其中 \(\bar r_A,\bar r_L,\bar r_R\) 是相应节点内平均 midrank。选择使 \(\Delta_{\text{rank}}\) 最大的 \((j,s)\)。

第二步:最小内核

命题(本文 Proposition 1 的简化版):在固定节点 \(A\) 内,

\[\Delta_{\text{rank}}(j,s)=\frac{n_A n_L n_R}{n_A}\left(U_A(j,s)-\frac12\right)^2\cdot C(n_A,\kappa),\]
其中 \(U_A(j,s)=\frac{1}{n_L n_R}\sum_{i\in A_L}\sum_{k\in A_R}\left[\mathbb I(Y_i>Y_k)+\frac12\mathbb I(Y_i=Y_k)\right]\) 是 Mann-Whitney U 统计量(归一化到 \([0,1]\)),\(\kappa\) 是结校正项,\(C(n_A,\kappa)\) 是仅依赖节点总体的常数。

为什么这个准则有效? 考虑最简单的情形:节点 \(A\) 中只有两个候选子节点 \(A_L\) 和 \(A_R\),且无结。此时 \(U_A\) 恰好是"从 \(A_L\) 随机抽一个 \(Y\),从 \(A_R\) 随机抽一个 \(Y\),前者大于后者的概率"。如果两个子节点的结局分布完全相同,则 \(U_A\approx 1/2\),\(\Delta_{\text{rank}}\approx 0\)。如果 \(A_L\) 的结局系统性大于 \(A_R\),则 \(U_A>1/2\),\(\Delta_{\text{rank}}\) 增大。因此,Wilcoxon 分裂寻找的是两个子节点间结局分布的随机占优差异,而非均值差异。

与 SSE 的对比:SSE 分裂等价于最大化 \((\bar Y_L-\bar Y_R)^2\cdot n_L n_R/n_A\),只关注均值差。当结局偏态或存在离群值时,均值差可能被少数极端值主导,而秩和统计量对极端值不敏感(秩的最大变化为 1)。例如,若 \(A_R\) 中有一个极大离群值 \(10^6\),SSE 会认为该分裂极好(均值差巨大),但 Wilcoxon 分裂只会认为该分裂略好(秩只增加 1)。因此,WRF 的邻域划分更稳健地反映"分布位置的整体移动"。

为什么这能估计条件分布? 森林权重 \(w_i(x)\) 由树结构决定,而树结构由秩准则决定。在正则条件下(叶节点尺寸随 \(n\) 增长、每棵树独立于数据等),权重会集中在 \(x\) 附近,使得 \(\hat F(y|x)\) 成为 \(F(y|x)\) 的局部加权平均。本文 Theorem 1 证明 \(\sup_y|\hat F(y|x)-F(y|x)|\xrightarrow{p}0\),其证明分为三步:(i) 用 Lemma 1(自适应集中不等式)控制所有可能叶成员上的经验 CDF 偏差;(ii) 用 Assumption 2(局部连续性)控制 \(x\) 附近条件分布的偏差;(iii) 用 Assumption 3(权重局部化)确保远离 \(x\) 的样本权重趋于 0。


三、这篇论文做了什么

三句话: 1. 研究了什么问题:在有序结局存在偏态、离群值、异方差或检测限导致的混合分布时,如何用随机森林稳健地估计条件分布 \(F(y|x)\)。 2. 核心工具/方法:提出 Wilcoxon 分裂准则——用节点内 midrank 的方差减少量替代 SSE,该准则等价于最大化平方 Mann-Whitney U 统计量;在此基础上构建 WRF,用森林权重聚合叶节点经验 CDF。 3. 主要结论:在正则条件下证明 WRF 条件 CDF 估计量一致;模拟显示在偏态/异方差/混合结局下 WRF 优于 QRF,在对称同方差下与 QRF 相当;HIV 数据应用中 WRF 改善了阈值概率估计。

关键设定与假设:

  • 数据:\((X_i,Y_i)\) i.i.d.,\(Y\) 为有序结局(连续、序数或混合)。
  • 树生长:每棵树在无放回子样本(0.632 比例)上生长,分裂时随机选择 \(m_{\text{try}}\) 个候选预测变量(与标准 RF 一致)。
  • 叶节点估计:每个叶节点用落入该叶的训练样本的经验 CDF 作为该叶的条件分布估计。
  • Assumption 1(叶尺寸与最大权重消失):存在确定性序列 \(\alpha_n\to\infty\) 且 \(\alpha_n/\log n\to\infty\),使得最小叶尺寸至少为 \(\alpha_n\),且最大森林权重 \(w_i(x)\xrightarrow{p}0\)。这保证每个叶有足够样本,且没有单个样本主导估计。
  • Assumption 2(局部连续性):固定 \(x\) 处,条件 CDF \(F(y|u)\) 在 \(u\) 接近 \(x\) 时在 Kolmogorov 距离下连续:\(\sup_y |F(y|u)-F(y|x)|\to 0\) 当 \(\|u-x\|_1\to 0\)。这保证邻域内的分布差异可控。
  • Assumption 3(权重局部化):对任意 \(\epsilon>0\),权重分配给 \(\|X_i-x\|_1>\epsilon\) 的样本的总和 \(\xrightarrow{p}0\)。这保证估计只依赖 \(x\) 附近的样本。

主要结果:

  • Proposition 1:\(\Delta_{\text{rank}}(j,s)\) 与平方 Mann-Whitney U 统计量等价(式 3),从而与 Wilcoxon 秩和检验的 \(\chi^2\) 统计量单调等价。推论:Wilcoxon 分裂是"最大化两个子节点分布差异的检验统计量"。
  • Theorem 1:在 Assumptions 1–3 下,对每个固定 \(x\),\(\sup_y|\hat F(y|x)-F(y|x)|\xrightarrow{p}0\)。证明的关键是 Lemma 1:对所有可能的轴平行矩形叶成员集合,经验 CDF 与真实条件 CDF 的偏差一致趋于 0。Lemma 1 的证明使用 Hoeffding 不等式对每个固定矩形取并界,再利用矩形集合的 VC 维有界性(\((2p+1)\) 个参数)控制并事件的个数。

证明路线(Theorem 1 的骨架):

  1. 分解误差:\(\sup_y|\hat F(y|x)-F(y|x)|\le \sup_y|\sum_i w_i(x)[\mathbb I(Y_i\le y)-F(y|X_i)]|+\sup_y|\sum_i w_i(x)[F(y|X_i)-F(y|x)]|\)。第一项是"经验过程项",第二项是"局部偏差项"。
  2. 控制局部偏差项:由 Assumption 3,权重集中在 \(\|X_i-x\|_1\le r\) 的样本上;由 Assumption 2,这些样本的 \(F(y|X_i)\) 与 \(F(y|x)\) 在 Kolmogorov 距离下接近。取 \(r\to 0\) 即可。
  3. 控制经验过程项:将权重 \(w_i(x)\) 视为由树结构决定的随机权重。Lemma 1 证明,对任意固定的矩形 \(A\),\(\sup_y|\frac{1}{|J|}\sum_{i\in J}[\mathbb I(Y_i\le y)-F(y|X_i)]|\xrightarrow{p}0\) 对所有可能的叶成员 \(J\) 一致成立。证明的关键是:给定预测变量值后,\(Y_i\) 条件独立,Hoeffding 不等式给出指数界;再对矩形集合取并界,利用 VC 维控制矩形数量。
  4. 组合:将权重分解为每棵树的贡献,利用叶尺寸下界(Assumption 1)和 B 棵树平均,最终得到 \(\sup_y|\hat F(y|x)-F(y|x)|\xrightarrow{p}0\)。

技术技巧点名:

  • Midrank 处理结:对连续、序数、混合结局统一用 midrank,避免结(ties)导致的秩不确定。
  • 子采样(0.632)而非 bootstrap:保证每棵树只用约 63.2% 的数据,使得 OOB 预测与树结构估计独立,简化证明。
  • 自适应集中(adaptive concentration):Lemma 1 的证明借鉴 Wager and Walther (2015) 的思路,但将叶内均值替换为叶内经验 CDF,需要处理函数值空间(而非实数值)的集中问题。
  • Kolmogorov 距离下的局部连续性:将条件分布估计的收敛转化为对 \(F(y|u)\) 在 \(u\) 处连续性的要求,这是比均值回归更弱的条件。

真实例子与应用:

  • 数据:CCASAnet 多中心队列,11,070 名 HIV 感染者,2013–2023 年启动抗逆转录病毒治疗(ART)。预测目标:治疗 6 个月后的 CD4 细胞计数(偏态)和 HIV RNA 病毒载量(高度左偏,83.1% 低于检测限 80 copies/mL)。
  • 方法应用:WRF 直接处理病毒载量的混合分布——将所有低于检测限的值视为一个结(tie),用 midrank 赋予相同秩,从而在分裂时自然保留"检测限以下"这一类别。QRF 无法直接处理这种混合分布,需要预先指定如何处理检测限。
  • 结果:
  • CD4 预测:WRF 在阈值概率 \(P(CD4\le 200)\)、\(P(CD4\le 350)\)、\(P(CD4\le 500)\) 的 Brier 分数上均低于 QRF,CvM 统计量更低(更好校准)。
  • 病毒载量预测:WRF 对 \(P(VL<80)\) 的 Brier 分数为 0.116,比逻辑回归(0.127)好 9.3%,但比直接以二分类为目标的随机森林(0.085)差。作者的解释是:WRF 建模完整有序分布,而分类森林直接优化二分类目标,因此在单一阈值上后者更优;但 WRF 的优势在于能同时估计所有阈值(如 \(P(VL<40)\)、\(P(VL<200)\)),且保留检测限以上数值的排序信息。
  • 变量重要性:WRF 与 QRF 的变量重要性排序基本一致(基线 CD4 和基线 VL 最重要),但 WRF 对基线 VL 的重要性估计更高,因为秩准则对 VL 的偏态分布更敏感。

🔎 结论是否比证明窄:

  • Theorem 1 只证明了逐点一致性(固定 \(x\)),但摘要和引言中使用了"consistent for the conditional distribution"的表述,未明确限定为逐点。论文没有给出一致收敛(uniform in \(x\))或收敛速率。
  • 论文声称"invariant to strictly increasing transformations",这在分裂准则层面严格成立(秩不变),但森林权重 \(w_i(x)\) 在变换下不变,因此 \(\hat F_Z(z|x)=\hat F_Y(h^{-1}(z)|x)\) 确实等变。不过论文没有明确证明这一点,只是作为性质陈述。
  • 模拟中 WRF 的改进幅度在 \(n_{\text{train}}=5000\) 时缩小(表 1–2),论文未讨论这是否意味着 WRF 的优势主要在小样本或强偏态场景。
  • 论文没有讨论 WRF 的变量重要性(式 8)的统计性质(如一致性、方差估计),只作为描述性工具使用。

四、开放问题

  1. 推断与不确定性量化:论文只证明了估计的一致性,没有给出置信区间。Discussion 明确说"it would be desirable to develop inference procedures for WRF predictions, such as confidence intervals for conditional quantiles or threshold probabilities"。如何为 WRF 的条件 CDF 估计构造置信带?能否用 Wager and Athey (2018) 的诚实树框架实现渐近正态性?

  2. 诚实树与因果扩展:论文提到"An honest version of the WRF, which uses separate data for split selection and distribution estimation (Wager and Athey, 2018), may make such inference easier to justify and could also support causal extensions, such as estimating treatment-specific outcome distributions and heterogeneous distributional treatment effects"。具体地:如何用 WRF 估计条件分布处理效应(CDFTE)\(\Delta(y|x)=F_1(y|x)-F_0(y|x)\)?在 unconfoundedness 下,这需要将 WRF 的权重应用于处理组和对照组,但分裂准则是否应该改为"分布处理效应最大化"?

  3. 分裂准则的渐近效率:Wilcoxon 分裂相对于 SSE 分裂和 pinball 分裂的 Pitman 效率是多少?在正态同方差下,Wilcoxon 检验的渐近相对效率(ARE)为 \(3/\pi\approx 0.955\),但这是针对两样本位置检验的。在树分裂的背景下,这个效率如何转化为条件分布估计的收敛速率常数?论文没有讨论。

  4. 高维一致性:Theorem 1 假设 \(p\) 固定。当 \(p\) 随 \(n\) 增长时,Wilcoxon 分裂的搜索空间增大,需要什么条件(如稀疏性、变量重要性阈值)才能保持一致性?这与随机森林在高维下的已知理论(Scornet et al., 2015)如何衔接?

  5. 检测限的推广:论文处理了单一检测限(80 copies/mL),但实际中可能有多个检测限(不同实验室、不同年份)或区间删失。Wilcoxon 分裂的 midrank 框架能否自然推广到区间删失数据?这需要将 midrank 替换为区间内的期望秩,但分裂准则的等价性(Proposition 1)是否仍然成立?

  6. 计算复杂度:Wilcoxon 分裂需要在每个候选分裂点重新计算秩和,虽然论文声称与 SSE 同阶(\(O(n\log n)\)),但常数因子可能更大。在 \(p\) 很大或 \(n\) 很大时,是否有近似分裂算法(如分箱、随机子空间)可以加速而不损失太多精度?


提醒:要确认上述某条是否是真 gap,建议去读同一子领域(distributional random forests, quantile regression forests, censored data forests)近 5 年的约 5 篇论文的引言——如果多篇都指向同一个未解决问题,那是共识性 gap;如果各篇的 framing 互相矛盾(例如有的认为秩方法效率损失不可接受,有的认为可以接受),那本身就是值得研究的机会。


Maintained by 陈星宇 · Homepage · Source on GitHub

评论