Random Jump Forests¶
作者: Martin Bladt, Rasmus Frigaard Lemvig
主题: 非参数 / 半参数
相关性: 7/10
链接: https://arxiv.org/abs/2610.32498
一、领域脉络与小综述¶
这个方向是什么¶
本文所处的子方向是多状态模型(multi-state models)的非参数估计。其根本科学问题是:在个体经历有限状态间转换(如疾病进展、复发、死亡)的纵向数据中,如何在不施加 Markov 假设和特定函数形式(如 Cox 比例风险)的前提下,估计条件累积转换率(conditional cumulative transition rates)和占据概率(occupation probabilities)作为协变量的函数。该方向当前成熟度中等:无协变量的 Nelson-Aalen 与 Aalen-Johansen 估计量已有完备的大样本理论,但引入高维协变量后的自适应划分估计仍缺乏系统性理论保证。
发展脉络¶
- 奠基工作:Nelson (1972) 与 Aalen (1978) 提出累积风险函数的非参数估计量;Aalen and Johansen (1978) 将其推广到多状态过程的转换概率矩阵估计。这三篇工作奠定了计数过程框架下非参数估计的基础,其核心工具是乘积积分(product integral),见 Gill and Johansen (1990) 的系统处理。
- 主要进展:在生存分析领域,Ishwaran et al. (2008) 提出随机生存森林(random survival forests),将 Breiman (2001) 的随机森林框架扩展到右删失数据,用 log-rank 分裂准则自适应划分协变量空间。Ishwaran et al. (2014) 进一步将其推广到竞争风险模型。这些工作证明了树集成方法在生存数据中的实用性,但缺乏统一的渐近理论。在非 Markov 多状态模型方面,Datta and Satten (2001) 证明了 Aalen-Johansen 估计量在非 Markov 模型下仍一致估计占据概率,Overgaard (2019) 给出了相应的渐近正态性。Bladt and Furrer (2025) 提出条件 Aalen-Johansen 估计量,用核平滑处理协变量,但受维数灾难限制。
- 当前 frontier:将自适应划分(树/森林)与计数过程估计量结合,在保持灵活性的同时建立大样本理论。本文的位置正在于此:用单棵树同时划分所有转换的协变量空间,在终端节点用 Nelson-Aalen 估计量,通过乘积积分恢复占据概率,并在有限协变量取值条件下建立一致性和高斯极限。
- 本文位置:作者将本文定位为随机生存森林从"单转换生存模型"到"一般多状态模型"的推广,同时保留了非 Markov 性质下的有效性。其理论贡献在于将 Ishwaran and Kogalur (2010) 的有限协变量一致性框架扩展到多状态设定。
子线索聚类¶
- 计数过程与非参数估计(Aalen 1978; Aalen and Johansen 1978; Gill and Johansen 1990):提供基础估计量和乘积积分工具。
- 树集成方法(Breiman 2001; Ishwaran et al. 2008, 2014):提供自适应划分框架和分裂准则。
- 非 Markov 多状态模型(Datta and Satten 2001; Overgaard 2019; Bladt and Furrer 2025):处理 Markov 假设失效时的推断问题。
- 条件估计与核平滑(Beran 1981; Dabrowska 1987; Nielsen and Linton 1995):处理协变量进入估计量的方式,本文用树划分替代核平滑。
这个方向在追问的核心问题¶
- 如何在高维协变量下保持非参数估计的收敛速度? 当前主流方法是核平滑(受维数灾难限制)或树划分(缺乏理论保证)。本文的有限协变量假设回避了这个问题,但连续协变量情形仍是开放挑战。
- 非 Markov 模型下如何做推断? Datta and Satten (2001) 和 Overgaard (2019) 给出了占据概率的渐近理论,但转换率本身的推断在非 Markov 下仍不清晰。本文的高斯极限在 Markov 假设下才给出,非 Markov 下的推断未解决。
- 如何平衡划分偏差与方差? 树方法通过数据自适应划分引入偏差,本文的有限协变量假设使划分最终稳定,但连续协变量下的偏差控制是核心难点。
⚠️ 作者的 framing¶
作者将本文的贡献框架为"随机生存森林的多状态推广",并强调"无需 Markov 假设"这一卖点。具体而言,作者在引言中声称:"The present paper retains this setup and replaces kernel smoothing by adaptive tree partitions shared across transitions, so that covariate interactions can be represented through successive splits." 这是作者对本文定位的表述——即用树划分替代核平滑,以更好地捕捉协变量交互。作者同时承认理论结果的局限性:"We assume that the covariate vector takes finitely many values",这是其理论框架的核心限制。
张力¶
未见明显对立引用。但存在一个值得注意的张力:作者声称方法"无需 Markov 假设",但其推断结果(置信区间和带)仅在 Markov 假设下成立。这意味着方法的点估计在非 Markov 下有效,但不确定性量化依赖 Markov 假设。这一张力在文中被明确承认(见第 6 节讨论),但作者未提供非 Markov 下的推断方案。
二、最核心、最简单的例子 / 数学问题¶
第一步:符号、模型、可观测数据¶
符号:
- 状态空间:\(\mathcal{Z} \subseteq \mathbb{R}\),有限状态集合。记 \(|\mathcal{Z}|\) 为状态数。
- 过程:\(Z = (Z_t)_{t \geq 0}\),纯跳过程,取值于 \(\mathcal{Z}\)。\(\tau_{\mathcal{Z}}\) 为吸收时间。
- 计数过程:\(N_{jk}(t) = \#\{s \in (0,t] : Z_{s-} = j, Z_s = k\}\),记录从状态 \(j\) 到 \(k\) 的转换次数。
- 协变量:\(X \in \mathcal{X} \subseteq \mathbb{R}^d\),基线协变量向量。
- 条件占据概率:\(p_j(t|x) = P(Z_t = j \mid X = x)\),行向量 \(p(t|x) = (p_j(t|x))_{j \in \mathcal{Z}}\)。
- 条件累积转换率:\(\Lambda_{jk}(t|x)\),从 \(j\) 到 \(k\) 的累积转换率,矩阵 \(\Lambda(t|x) = (\Lambda_{jk}(t|x))_{j,k \in \mathcal{Z}}\),对角元 \(\Lambda_{jj}(t|x) = -\sum_{k \neq j} \Lambda_{jk}(t|x)\)。
- 可观测数据:\(n\) 个 iid 样本 \(\{(X^i, (Z_t^i)_{0 \le t \le R^i}, R^i, \tau_{\mathcal{Z}}^i \wedge R^i)\}_{i=1}^n\),其中 \(R^i\) 为删失时间。观测到的是删失前的路径 \((Z_t^i)_{0 \le t \le R^i}\)。
模型:无 Markov 假设的一般多状态模型。目标 estimand 是条件累积转换率矩阵 \(\Lambda(t|x)\) 和占据概率向量 \(p(t|x)\)。二者通过乘积积分联系:
其中 \(\prod\) 为乘积积分(product integral),见 Gill and Johansen (1990)。
可观测与不可观测:研究者可观测到每个个体的协变量 \(X^i\)、删失时间 \(R^i\) 以及删失前的状态路径。不可观测的是删失后的路径(若删失发生)以及潜在的未删失路径。识别策略依赖条件独立删失假设(即 \(Z \perp\!\!\!\perp R \mid X\),见 Assumption 1)。
第二步:最小内核¶
最简特例:考虑两个状态(存活/死亡,即标准生存分析),无协变量(\(d=0\)),无删失。此时:
- 目标 estimand 退化为单个累积风险函数 \(\Lambda(t) = \Lambda_{12}(t)\)。
- Nelson-Aalen 估计量为 \(\hat{\Lambda}(t) = \int_0^t \frac{dN(s)}{Y(s)}\),其中 \(N(t)\) 为死亡计数,\(Y(t)\) 为风险集大小。
- 占据概率 \(p_2(t) = 1 - p_1(t) = 1 - e^{-\Lambda(t)}\)(连续情形)。
加入协变量(有限取值):设 \(X \in \{1, 2\}\)(两个取值)。单棵树分裂一次,将样本分为两组。每组内用 Nelson-Aalen 估计量:
其中 \(N_x(t)\) 和 \(Y_x(t)\) 分别是协变量值为 \(x\) 的子样本中的计数和风险集大小。
核心数学问题:当 \(n \to \infty\) 且分裂准则(log-rank 统计量)满足一定条件时,证明
以及
其中 \(\kappa_n\) 是缩放因子。关键难点在于:树的分裂过程是数据自适应的,终端节点不是预先固定的,因此需要证明分裂最终稳定(即每个终端节点最终只包含一个协变量取值),从而将问题约化为分层 Nelson-Aalen 估计。
证明思路(对应文中 Theorem 4.1 和 4.2): 1. 分裂稳定性:利用 Assumption 4(节点包含多个协变量取值时总能找到可分裂的候选),证明随着 \(n\) 增大,每个终端节点最终只包含一个协变量取值(Lemma S2.1 的推论)。 2. 约化为分层估计:在分裂稳定后,森林估计量等于分层 Nelson-Aalen 估计量的平均。 3. 一致性和高斯极限:对分层 Nelson-Aalen 估计量应用经典的大样本理论(计数过程鞅理论),再通过 bootstrap 聚合保持极限分布。
为什么这个特例是"最小内核":它剥离了多状态转换的复杂性(只需处理一个转换)、连续协变量的划分误差(有限取值使划分最终精确)、以及删失的干扰(无删失),保留了树方法最核心的数学困难——数据自适应划分下的渐近理论。一般多状态模型只是将单转换的 Nelson-Aalen 估计量替换为矩阵版本的乘积积分估计量,并处理多个转换之间的相关性。
三、这篇论文做了什么¶
三句话¶
- 研究了什么问题:如何用随机森林自适应划分协变量空间,在一般多状态模型(无需 Markov 假设)中非参数估计条件累积转换率和占据概率。
- 核心工具/方法:单棵树同时对所有转换进行分裂(使用加权 log-rank 统计量),终端节点存储 Nelson-Aalen 估计量和经验初始分布;占据概率通过乘积积分恢复;森林通过 bootstrap 聚合。
- 主要结论:在有限协变量取值和适当分裂条件下,累积转换率估计量一致且满足高斯极限(Markov 情形下可构造置信区间和带);模拟和真实数据表明在模型误设时优于 Cox 基准。
关键设定与假设¶
- Assumption 1(条件独立删失):\(Z \perp\!\!\!\perp R \mid X\)。允许删失依赖于协变量,但不依赖于潜在路径。相比 Cox 模型的独立删失假设更弱,但比完全随机删失更强。
- Assumption 2(有限协变量取值):\(X\) 取值于有限集 \(\mathcal{X}\)。这是理论的核心限制,使分裂最终稳定。相比 Ishwaran and Kogalur (2010) 的生存森林假设一致,但排除了连续协变量。
- Assumption 3(非退化性):每个协变量取值和每个非吸收状态都有正概率被观测到。保证 Nelson-Aalen 估计量的分母不消失。
- Assumption 4(分裂充分性):节点包含多个协变量取值时,总能找到可分裂的候选。保证算法不会过早停止。
- Assumption 5(非零占据概率):\(\inf_{s \in [0,t]} p_j(s|x) > 0\)。保证 Nelson-Aalen 估计量的方差有界。
相比已有文献:Ishwaran and Kogalur (2010) 只处理单转换生存模型,本文推广到多状态;Bladt and Furrer (2025) 用核平滑处理协变量,本文用树划分;本文的有限协变量假设比核平滑的连续协变量假设更严格,但避免了划分偏差的复杂控制。
主要结果¶
- Theorem 4.1(一致性):在 Assumptions 1-5 下,森林估计的累积转换率 \(\hat{\Lambda}_{RF}(t|x)\) 和占据概率 \(\hat{p}_{RF}(t|x)\) 在 \([0,t]\) 上一致收敛到真值,几乎必然(在额外矩条件下)。
- Theorem 4.2(高斯极限):在 Markov 假设下,\(\kappa_n^{-1/2}(\hat{\Lambda}_{RF}(t|x) - \Lambda(t|x))\) 依分布收敛到高斯过程,其中 \(\kappa_n\) 由 (4.1) 给出,分解为 \(1/n\)(数据估计)和 \(1/(B m_n)\)(bootstrap 蒙特卡洛)两部分。
- Corollary 4.3(置信区间和带):基于高斯极限和一致方差估计量 \(\tilde{V}_{RF}(t|x)\),构造逐点置信区间和常数宽度同时置信带,渐近覆盖 \(1-\delta\)。
证明路线与技术技巧¶
整体路线(对应 Theorem 4.1 和 4.2 的证明):
- 分裂稳定性:利用 Assumption 4,证明每个终端节点最终只包含一个协变量取值。关键引理是:若节点包含多个取值,则存在可分裂的候选,且 log-rank 统计量以概率 1 选择分裂。这需要控制分裂准则的偏差,文中通过 Assumption 4 的"充分分裂"条件保证。
- 约化为分层估计:在分裂稳定后,单棵树估计量等于分层 Nelson-Aalen 估计量。森林估计量是 \(B\) 棵树的平均。
- 一致性和高斯极限:对分层 Nelson-Aalen 估计量应用鞅理论(计数过程分解),得到一致性和高斯极限。bootstrap 聚合通过交换求和顺序和条件期望处理。
- 方差估计:在 Markov 假设下,利用鞅方差公式得到 \(\tilde{V}_{RF}\) 的一致性。
关键跳跃点: - 分裂稳定性的证明(Lemma S2.1 和 Theorem S2.2 的推论):这是最吃功夫的部分。难点在于分裂准则(log-rank 统计量)的偏差控制。作者的处理方式是假设"充分分裂"(Assumption 4),即只要节点包含多个取值,就存在可分裂的候选。这回避了连续协变量下分裂准则的复杂分析,但限制了适用范围。 - bootstrap 聚合的极限:Theorem 4.2 的证明需要处理 \(B\) 棵树的相关性。作者利用条件高斯极限(Theorem S2.7)和交换求和顺序,将森林极限分解为数据估计和蒙特卡洛两部分。关键技巧是使用 Bücher and Kojadinovic (2019) 的条件弱收敛框架。
技术技巧点名: - 乘积积分(product integral):用于从累积转换率恢复占据概率,见 Gill and Johansen (1990) 的连续性定理。 - 计数过程鞅分解:Nelson-Aalen 估计量的渐近理论基于 Doob-Meyer 分解和鞅中心极限定理。 - Hadamard 可微性与泛函 delta 方法:用于将累积转换率的弱收敛传递到占据概率。 - 条件弱收敛与 bootstrap:使用 Bücher and Kojadinovic (2019) 的框架处理 bootstrap 聚合的极限。 - log-rank 分裂准则:将 Ishwaran et al. (2008) 的生存森林分裂准则推广到多状态模型,通过加权和合并所有转换的信息。
真实例子与应用¶
本文包含四个生物医学数据集的应用:
-
ebmt3(欧洲骨髓移植登记处,\(n=2204\)):3 状态模型(血小板恢复 → 复发或死亡)。协变量包括疾病类型、年龄、供体类型等 4 个变量。结果显示 JF 与 Cox 预测精度相当(中位 IBS 差异约 0%),但在加入噪声变量后 JF 更稳健。
-
bmt(急性白血病骨髓移植,\(n=2009\)):4 状态模型(移植 → 移植物抗宿主病 → 复发/死亡)。协变量包括年龄、白血病类型、供体类型等 5 个变量。JF 在 IBS 上与 Cox 相当,但变量重要性分析揭示了 Cox 模型无法捕捉的交互效应。
-
cphholter(哥本哈根动态心电图研究,\(n=678\)):4 状态模型(无事件 → 房颤 → 卒中/死亡)。协变量包括年龄、性别、高血压等 10 个变量。JF 在 IBS 上优于 Cox(中位差异约 5%),尤其在房颤到卒中的转换上。
-
prova(肝硬化出血预防试验,\(n=286\)):3 状态模型(无出血 → 出血 → 死亡)。协变量包括治疗组、年龄、肝功能等 7 个变量。JF 与 Cox 相当,但 JF 的变量重要性显示治疗组对出血后死亡的影响被 Cox 模型低估。
模拟研究:包含三个设定——(i) 阈值交互作用(Cox 无法表示);(ii) 非 Markov 依赖(转换率依赖在状态停留时间);(iii) 正确设定的 Cox 模型。结果显示 JF 在 (i)(ii) 中显著优于 Cox(IBS 改善 5-15%),在 (iii) 中仅损失约 1-2% 精度。覆盖研究表明,在无噪声协变量时 JF 置信带接近名义覆盖(约 93-96%),但加入噪声协变量后 pooling 异质率导致覆盖降至约 85-90%。
🔎 结论是否比证明窄¶
是,存在明显差距:
-
有限协变量假设:Theorem 4.1 和 4.2 仅在 \(X\) 取有限值时成立,但模拟和真实数据均使用连续协变量(如年龄)。作者在讨论中承认:"The theory does not describe how forests borrow strength across neighbouring covariate values, which is central to their use with continuous covariates." 这意味着理论保证不覆盖实际使用场景。
-
Markov 假设的模糊处理:Theorem 4.2 的标题和摘要强调"无需 Markov 假设",但高斯极限(Corollary 4.3)仅在 Markov 假设下成立。非 Markov 下只有一致性(Theorem 4.1),没有推断工具。作者在讨论中承认:"In the non-Markov case, the limiting process is not centred at zero and its covariance structure is more complex."
-
分裂准则的充分性:Assumption 4 要求"节点包含多个取值时总能找到可分裂的候选",但未给出具体分裂准则(如 log-rank)满足此条件的验证。这是一个未证明的假设,而非可验证条件。
-
bootstrap 的蒙特卡洛误差:Theorem 4.2 的极限包含 \(1/(B m_n)\) 项,但实际使用中 \(B=500\) 是固定的,不随 \(n\) 增长。这意味着置信区间的覆盖可能不精确,覆盖研究也证实了这一点(85-96% 而非 95%)。
四、开放问题¶
-
连续协变量的理论:将 Theorem 4.1 和 4.2 推广到连续协变量,需要控制分裂准则的偏差和划分误差。文中 Assumption 4 的"充分分裂"条件在连续情形下不自然,可能需要类似 Wager and Athey (2018) 的 honesty 条件或 Scornet (2016) 的近似分裂框架。扎根于第 6 节:"Extending the theory to continuous covariates requires control of the error from pooling within data-dependent nodes; honest splitting, which separates the observations used for partitioning from those used for estimation, is one possible starting point."
-
非 Markov 下的推断:在非 Markov 假设下构造置信区间和带。文中 Theorem 4.2 的极限在非 Markov 下中心不为零,需要偏差校正或重新参数化。扎根于第 6 节:"In the non-Markov case, the limiting process is not centred at zero and its covariance structure is more complex."
-
分裂准则的验证:验证 log-rank 分裂准则(及其加权变体)是否满足 Assumption 4,或给出更弱但可验证的条件。这需要分析分裂准则在有限样本下的偏差和方差。
-
pooling 偏差的量化:在有限样本下,pooling 异质转换率导致的偏差如何随节点大小和协变量分布变化?覆盖研究表明这是置信区间不精确的主要来源,但缺乏理论刻画。扎根于第 6 节:"For inference, smaller nodes and a more exhaustive split search warrant study as ways to reduce pooling bias, with their effect on coverage assessed separately from prediction error."
-
变量重要性的推断:文中提出的变量重要性(基于排列)缺乏标准误或置信区间。扎根于补充材料 S1.3,作者仅提出点估计,未讨论推断。
提示:若要确认上述开放问题是否为真 gap,建议阅读以下近期工作(各约 5 篇)的引言和讨论部分:(1) 随机森林的渐近理论(如 Scornet et al. 2015, Wager and Athey 2018, Peng et al. 2022);(2) 非 Markov 多状态模型的推断(如 Overgaard 2019, Munch et al. 2023);(3) 生存森林的连续协变量理论(如 Ishwaran and Kogalur 2010, Cui et al. 2023)。若这些工作的引言都未提及本文的开放问题,则它们更可能是真 gap。
Maintained by 陈星宇 · Homepage · Source on GitHub