Wilcoxon Random Forests for Robust Distributional Prediction¶
作者: Danni Shi, Bryan E Shepherd, Chun Li
主题: 非参数 / 半参数
相关性: 6/10
链接: https://arxiv.org/abs/2609.31931
一、领域脉络与小综述¶
-
这个方向是什么:本文属于非参数回归与分布预测的交叉领域。其根本统计问题是:在协变量 \(X\) 下,如何稳健地估计结局 \(Y\) 的条件累积分布函数 \(F(y|x) = P(Y \le y | X=x)\),而非仅估计条件均值。该方向的成熟度较高,已有大量工作(如分位数回归森林、贝叶斯加性回归树等),但针对有序、偏态、混合类型(如检测限导致的大量点质量)结局的稳健分布预测,仍是一个活跃的研究前沿。
-
发展脉络(history):
- 奠基工作:Breiman (2001) 的随机森林(RF)确立了基于树的集成方法在回归与分类中的核心地位,其通过自助采样和随机特征选择实现低偏差与低方差。Breiman et al. (1984) 的 CART 框架则奠定了递归二元分割的树结构基础,其经典的分裂准则是最小化节点内平方误差和(SSE)。
- 主要进展:Meinshausen (2006) 提出的分位数回归森林(QRF) 是本文最直接的竞争对手。QRF 的关键洞见是:随机森林的权重 \(w_i(x)\)(即新样本 \(x\) 与训练样本 \(i\) 的邻近度)可用于构建条件分布估计,而无需重新训练。然而,QRF 的树结构仍由 SSE 准则决定,因此其分裂仍以条件均值为导向。作者在引言中明确指出,QRF 的树结构"仍由 SSE 分裂准则决定,因此可能对偏态和异常值敏感"。
- 当前 frontier:针对 QRF 的缺陷,已有工作尝试用分位数损失(pinball loss)直接构建分裂准则(如 Bhat et al., 2015),但这类方法需要预先指定分位数水平 \(\tau\),且对多个分位数需分别训练或加权求和,计算成本高且难以适应全分布预测。另一条线是半参数累积概率模型(CPM)(Liu et al., 2017; Tian et al., 2024),其通过秩回归思想建模 \(G(F(y|x)) = \alpha(y) - \beta^T x\),但主要针对线性或低维结构,未充分利用树模型的非线性交互能力。
- 本文的位置:作者将 Wilcoxon 秩和统计量引入树分裂,提出一种不依赖分布假设、对单调变换不变、天然适应混合结局的分裂准则,并以此构建随机森林(WRF)。这填补了"稳健分裂准则"与"全分布预测"之间的空白。
-
子线索聚类:被引文献大致落在三条子线索上:
- 树模型的稳健分裂准则:包括 CART (Breiman et al., 1984)、分位数回归树 (Chaudhuri and Loh, 2002; Bhat et al., 2015)。这条线关注如何定义节点不纯度,使其对异常值或偏态不敏感。
- 基于森林的分布预测:包括 QRF (Meinshausen, 2006) 及其变体。这条线关注如何利用树结构生成权重,进而估计条件分布或分位数。
- 半参数秩回归模型:包括 CPM (Liu et al., 2017; Tian et al., 2024)。这条线关注如何用秩信息稳健地建模条件分布,但通常假设线性或可加结构。
-
这个方向在追问的核心问题:
- 如何定义分裂准则,使其在保持预测精度的同时,对结局的单调变换、异常值和偏态分布具有不变性或稳健性?
- 如何从树集成中提取全分布信息,而不仅仅是条件均值或单个分位数?
- 如何处理混合类型结局(如检测限导致的连续与离散点质量混合),使得估计的分布函数在支持域上一致有效?
- 如何在稳健性与计算效率之间取得平衡?已知的 pinball loss 方法计算代价高昂,而 CPM 方法则受限于模型结构。
-
⚠️ 作者的 framing(必须明确标注成"这是作者的说法"):作者将缺口 frame 成:现有森林方法(如 QRF)的分裂准则"以均值为导向",导致在偏态或异常值下树结构不稳定,进而影响分布预测的准确性。作者声称,其提出的 Wilcoxon 分裂准则"通过最大化秩基不纯度减少,等价于最大化平方 Wilcoxon 秩和统计量",因此"对结局的单调变换不变,自然适应连续、有序或混合结局"。竞争路线被他淡化或回避了:作者在模拟中排除了 pinball loss 森林(因其"substantially inferior"且计算慢),但未深入讨论如何将 CPM 的平滑思想扩展到森林层面(尽管在单树中 CPM 表现最好)。什么明显该被引、却没出现在 intro 里?:作者未引用关于随机森林渐近理论的近期工作(如 Scornet et al., 2015 虽被引用,但仅用于分裂阈值定义),也未讨论变量重要性推断的统计性质,这可能是值得研究者去查的潜在空白。
-
张力:未见明显对立引用。但存在一个隐含张力:CPM 单树表现最好(因其跨叶平滑),而 WRF 在森林层面表现最好(因其稳健分裂)。作者在讨论中承认 CPM 计算代价高,但未深入分析"平滑"与"稳健分裂"在森林层面为何不能简单叠加(补充材料 S2.4 显示 CPM 森林无一致改进)。
二、最核心、最简单的例子 / 数学问题¶
第一步:把符号、模型、可观测数据交代清楚
- 符号:
- \(X \in \mathbb{R}^p\):\(p\) 维协变量向量(随机变量)。
- \(Y \in \mathbb{R}\):结局变量(随机变量),可为连续、有序离散或混合类型。
- \(D_n = \{(X_i, Y_i): i=1,\dots,n\}\):训练数据集,i.i.d. 抽样自 \((X,Y)\) 的联合分布。
- \(F(y|x) = P(Y \le y | X=x)\):目标 estimand,即给定协变量 \(x\) 时的条件 CDF。
- \(\hat{F}(y|x)\):WRF 对 \(F(y|x)\) 的估计量。
- \(w_i(x)\):森林权重,表示训练样本 \(i\) 对预测点 \(x\) 的贡献权重,满足 \(\sum_{i=1}^n w_i(x) = 1\)。
- \(r_{i,A}\):样本 \(i\) 在节点 \(A\) 中的结局秩(midrank,处理并列)。
- \(\Delta_{\text{rank}}(j,s)\):在节点 \(A\) 上,按变量 \(j\) 和阈值 \(s\) 分裂时的秩基不纯度减少量。
- \(U_A(j,s)\):Mann-Whitney U 统计量,用于比较左、右子节点的结局秩。
- \(z(j,s)\):标准化后的 Wilcoxon 检验统计量。
- \(B\):森林中树的数量。
- \(I_b\):第 \(b\) 棵树使用的子样本索引集(无放回抽样,大小约为 \(0.632n\))。
- \(L_b(x)\):第 \(b\) 棵树中包含预测点 \(x\) 的叶节点。
-
\(N_b(x)\):落入叶节点 \(L_b(x)\) 的训练样本数。
-
模型:本文不假设参数化的数据生成机制。模型是非参数的:\(Y | X=x \sim F(\cdot|x)\),其中 \(F\) 是未知的、可能非常不平滑的条件分布函数。唯一的结构性假设是 \(F(y|x)\) 在 \(x\) 上具有一定的连续性(见 Assumption 2),以保证局部邻域内的分布相近。
-
可观测数据:研究者实际能观测到的是成对的 \((X_i, Y_i)\)。关键点在于,\(Y_i\) 的观测值可能是不完整的:对于 HIV 病毒载量,低于检测限的值被记录为"<80",即左截断。因此,可观测数据中包含了大量在 80 处的点质量。想要但观测不到的是完整的潜在连续变量 \(Y^*\)(真实病毒载量),以及条件分布 \(F(y|x)\) 的完整形状。
第二步:讲最小内核
本文的核心思想可以用一个单节点分裂问题来概括。假设我们有一个父节点 \(A\),包含 \(n_A\) 个样本。我们要决定是否按变量 \(j\) 在阈值 \(s\) 处分裂,将 \(A\) 分为左子节点 \(A_L\) 和右子节点 \(A_R\)。
-
传统 CART(SSE):计算分裂前后的平方误差和。分裂前误差为 \(\sum_{i \in A}(Y_i - \bar{Y}_A)^2\),分裂后为左右子节点误差之和。分裂目标是最大化误差减少量 \(\Delta_{\text{SSE}}\)。这个准则只关心条件均值 \(\bar{Y}\) 的差异,因此对偏态分布和异常值非常敏感——一个极端值会拉动均值,导致分裂点偏移。
-
Wilcoxon 分裂准则(本文核心):不再看均值,而是看秩。具体做法:
- 在父节点 \(A\) 内,对所有样本的结局 \(Y_i\) 计算 midrank \(r_{i,A}\)(并列取平均秩)。
- 对于候选分裂 \((j,s)\),将样本分为左、右两组。
- 计算两组秩和的差异,等价于 Mann-Whitney U 统计量:
\[U_A(j,s) = \frac{1}{n_L n_R} \sum_{i \in A_L} \sum_{k \in A_R} \left[ I(Y_i > Y_k) + \frac{1}{2} I(Y_i = Y_k) \right]\]这个统计量衡量的是:随机从左右子节点各取一个样本,左边样本的结局大于右边样本结局的概率。
-
分裂准则为最大化 \(\Delta_{\text{rank}}(j,s) = n_A n_L n_R \left( U_A(j,s) - \frac{1}{2} \right)^2\),这等价于最大化 Wilcoxon 秩和检验统计量的平方。
-
为什么这个最小内核有效?
- 对单调变换不变:因为只使用秩,所以对 \(Y\) 做任何严格单调递增的变换 \(h(Y)\),秩不变,分裂点不变。这解决了偏态问题——偏态分布经过变换后,分裂结构依然稳定。
- 对异常值稳健:秩是相对顺序,一个极端大或小的值最多只改变自己的秩,不会像均值那样被"拉走"。
-
自然处理混合类型:对于检测限数据,所有低于检测限的值都取相同的秩(并列),这不会破坏分裂准则的有效性。事实上,作者在补充材料中证明,该准则对并列数据(ties)有自然的处理方式。
-
从树到森林:将上述分裂准则用于构建多棵决策树(每棵用不同的子样本和随机特征子集),然后用森林权重 \(w_i(x)\) 加权平均各树的叶节点经验 CDF,得到最终的 \(\hat{F}(y|x)\)。这个加权平均过程与 QRF 类似,但树的结构是秩基的。
一句话总结最小内核:本文用"秩的分离度"替代"均值的差异"作为树分裂的准则,从而构建了一个对结局尺度不敏感、对异常值稳健、且能自然处理混合类型数据的条件分布估计器。
三、这篇论文做了什么¶
三句话: 1. 研究了什么问题:如何构建一个对结局的单调变换、偏态分布和混合类型(如检测限)稳健的随机森林,用于估计条件分布函数 \(F(y|x)\)。 2. 核心工具 / 方法:提出一种基于 Wilcoxon 秩和统计量的树分裂准则(\(\Delta_{\text{rank}}\)),并以此构建随机森林(WRF),通过森林权重加权叶节点经验 CDF 进行分布预测。 3. 主要结论:在模拟和真实数据中,WRF 在偏态、异方差和混合结局下,其分布预测(分位数、阈值概率)的准确性和校准度优于标准 QRF,且在对称同方差下与 QRF 相当。
关键设定与假设: - 设定:非参数回归设定,\(Y\) 可以是连续、有序离散或混合类型。协变量 \(X\) 可以是数值或类别型。 - 假设: - Assumption 1 (叶大小与最大权重消失):每个叶节点的样本量 \(N_{\min,n}\) 以速率 \(\alpha_n\) 增长(\(\alpha_n / \log n \to \infty\)),且最大权重 \(\omega_n(x) \to 0\)。这保证了估计的稳定性,防止单个样本主导预测。 - Assumption 2 (Kolmogorov 距离下的局部连续性):对于固定预测点 \(x\),条件分布 \(F(y|u)\) 在 \(u\) 接近 \(x\) 时,在 Kolmogorov 距离下连续。这是非参数估计的标准平滑性条件。 - Assumption 3 (森林权重点状局部化):对于固定 \(x\),权重 \(w_i(x)\) 集中在 \(X_i\) 接近 \(x\) 的样本上,即 \(\sum_{i=1}^n w_i(x) I(\|X_i - x\|_1 > \epsilon) \to 0\)。这保证了估计的局部性。 - 相比已有文献的放宽/强化:相比 QRF,本文放宽了对结局分布形态的隐含假设(QRF 的 SSE 分裂隐含假设对称分布);相比 pinball loss 树,本文避免了预先指定分位数水平 \(\tau\) 的需求。但本文的假设 3 是直接施加在权重上的,而非由分裂准则推导出的,这是一个较强的假设。
主要结果: - 理论结果:Theorem 1 证明了在假设 1-3 下,WRF 的条件分布估计量 \(\hat{F}(y|x)\) 对固定的 \(x\) 一致收敛到真实的条件分布 \(F(y|x)\)。证明的关键在于将估计误差分解为"局部化误差"(由假设 3 控制)和"经验 CDF 误差"(由假设 1 和 Lemma 1 控制)。 - 模拟结果: - 在对称同方差(Scenario 1.1)下,WRF 与 QRF 性能相当(差异在 2% 以内)。 - 在偏态变换(Scenario 1.2)下,WRF 在 0.1 和 0.9 分位数估计的 RMSE 上比 QRF 降低 3-16%,在阈值概率估计上降低 4.5-11.3%,CvM 校准统计量也一致更低。 - 在连续非线性(Scenario 2)下,WRF 在 0.1 和 0.5 分位数上 RMSE 降低 2-6%,CvM 统计量降低 9-10%。 - 真实数据结果: - 数据:多中心拉丁美洲 HIV 队列(CCASAnet),11,070 名患者,预测启动 ART 后 6 个月的 CD4 计数和病毒载量。 - CD4 预测:WRF 在阈值概率(CD4≤200, 350, 500)的 Brier 分数上略优于 QRF,CvM 统计量更低(4.685 vs 4.730),表明校准更好。 - 病毒载量预测:WRF 直接处理了 83.1% 的低于检测限(<80 copies/mL)的数据。在预测病毒抑制概率(VL<80)上,WRF 的 Brier 分数为 0.116,比逻辑回归(0.127)好 9.3%,但比直接训练的分类随机森林(0.085)差。作者解释这是因为分类森林直接优化二分类目标,而 WRF 建模了整个有序分布。 - 变量重要性:基线 CD4 和基线病毒载量分别是最重要的预测因子,与临床知识一致。
证明路线与技术技巧: - 整体路线: 1. 误差分解:将 \(\sup_y |\hat{F}(y|x) - F(y|x)|\) 分解为两项:一项是权重局部化误差(\(\sum w_i(x) |F(y|X_i) - F(y|x)|\)),另一项是经验过程误差(\(\sum w_i(x) |\hat{F}_i(y) - F(y|X_i)|\))。 2. 控制局部化误差:利用 Assumption 2(局部连续性)和 Assumption 3(权重局部化),证明第一项依概率收敛到 0。 3. 控制经验过程误差:这是核心难点。由于叶节点的划分依赖于 \(Y\)(通过 Wilcoxon 准则),不能直接应用标准 Glivenko-Cantelli 定理。作者通过 Lemma 1 建立了一个自适应集中不等式,对所有可能的轴对齐矩形区域(即所有可能的叶节点)均匀控制经验 CDF 与真实 CDF 的偏差。 - 关键跳跃点:Lemma 1 的证明是技术核心。难点在于叶节点的成员关系依赖于 \(Y\),导致 \(\hat{F}_i(y)\) 不是独立的。作者的处理方法是:条件于协变量 \(X\) 和子样本索引 \(I_b\),将 \(Y_i\) 视为独立的。然后,对所有可能的矩形区域 \(A\)(其数量为 \(O(n^{2p})\))取并集界。关键在于利用 Assumption 1 保证每个区域至少包含 \(\alpha_n\) 个样本,从而 Hoeffding 不等式给出的偏差界为 \(\exp(-2(\epsilon \alpha_n)^2 / \alpha_n) = \exp(-2\epsilon^2 \alpha_n)\),再乘以区域数量 \(O(n^{2p})\),由于 \(\alpha_n / \log n \to \infty\),该界可被 \(n\) 的任意多项式阶压倒,从而得到一致收敛。 - 技术技巧点名: - 秩变换:将原始 \(Y\) 转换为节点内 midrank,使准则对单调变换不变。 - Mann-Whitney U 统计量:利用 U 统计量的渐近正态性,将分裂准则与 Wilcoxon 检验 p 值联系起来,便于计算分裂显著性。 - 自适应集中不等式:借鉴 Wager and Walther (2015) 的思路,对所有可能的矩形区域进行 uniform concentration,而非仅对最终选定的叶节点。 - Hoeffding 不等式:用于控制固定区域的经验 CDF 偏差。 - 子采样(Subsampling):使用无放回子采样而非 bootstrap,便于理论分析(独立性假设更易处理)。
🔎 结论是否比证明窄: - 作者在 Theorem 1 中证明了逐点固定 \(x\) 的一致性,但在摘要和引言中声称估计了"完整的条件分布"。从逐点一致到一致一致(uniform in \(x\))需要更强的条件(如对 \(x\) 的连续性假设),作者未明确讨论。 - 作者在补充材料 S1.3 中声称一致性"适用于连续、有序或混合类型结局",但证明中 Assumption 2 要求 \(F(y|u)\) 在 Kolmogorov 距离下连续。对于混合类型结局(如检测限),\(F(y|u)\) 在检测限处有跳跃,不满足该假设。作者在正文中未明确说明如何处理这种不连续性,这是一个潜在的证明缺口。 - 作者在模拟中声称 WRF 在偏态下"改进"了分位数估计,但改进幅度在 3-16% 之间,且未报告这些改进的统计显著性(如置信区间)。对于 0.9 分位数,在 \(n_{\text{train}}=1000\) 时改进为 7.9%,但未说明这是否在模拟误差范围内。
四、开放问题¶
- 推断问题:作者只证明了估计的一致性,未提供任何推断方法(如置信区间、假设检验)。扎根于 Theorem 1 的证明,其收敛速度依赖于 \(\alpha_n\) 的选择,但未给出如何构造置信区间。一个自然的问题是:能否利用折刀法(jackknife)或子采样构造 WRF 分布估计的置信带?
- 混合结局的理论缺口:如第三节所述,Assumption 2 的连续性要求与混合类型结局(检测限)的分布跳跃相矛盾。扎根于补充材料 S1.3 的声明,需要研究在分布不连续点处,WRF 估计量的收敛速度是否会退化,以及如何修正。
- 分裂准则的渐近性质:作者证明了 Wilcoxon 分裂准则等价于最大化平方秩和统计量,但未分析该准则在高维下的行为。扎根于 Breiman et al. (1984) 的 CART 框架,一个开放问题是:在 \(p \gg n\) 时,Wilcoxon 分裂准则是否会导致变量选择偏差(类似于 SSE 准则对高方差变量的偏好)?
- 变量重要性的统计推断:作者定义了基于 OOB CRPS 的变量重要性,但未给出其标准误或置信区间。扎根于 Breiman (2001) 的原始随机森林框架,一个开放问题是:如何对 WRF 的变量重要性进行假设检验,以区分"对分布形状有影响"和"对位置有影响"的变量?
- 与因果推断的衔接:作者在讨论中未提及因果推断,但分布预测是估计分布处理效应(distributional treatment effects)的基础。扎根于 WRF 能估计条件 CDF 这一事实,一个开放问题是:如何将 WRF 与因果森林(如 Wager and Athey, 2018)结合,以估计条件分位数处理效应(CQTE)?这需要处理"分裂准则的稳健性"与"因果识别的无混杂假设"之间的交互。
提示:要确认上述问题是否是真 gap,建议去读分位数回归森林(Meinshausen, 2006)、因果森林(Wager and Athey, 2018)以及处理效应分布估计(如 Chernozhukov et al., 2013)这几个子领域近 5 年的论文引言——如果它们都指向"稳健分布预测的推断"这一空白,那这就是共识性的真问题;如果它们各自给出了不同的解决方案,那说明问题已被部分解决,需要更精确的定位。
Maintained by 陈星宇 · Homepage · Source on GitHub