Robustness of Median-based Splitting Rules for Causal Trees¶
作者: Karolina Gliszczy\'nska-Schroeder, Jens Klenke
主题: 因果推断
相关性: 6/10
链接: https://arxiv.org/abs/2611.00348
一、领域脉络与小综述¶
这个方向是什么¶
本文研究的根本问题是:当结局变量(outcome)的分布被污染(存在离群值、重尾)时,基于分裂准则的因果树/因果森林(Causal Trees/Forests)估计条件平均处理效应(CATE)的可靠性问题。这是一个"算法鲁棒性"问题——不是估计量的统计效率问题,而是树结构本身对数据污染的敏感性。该子方向目前处于"实证探索为主、理论支撑有限"的阶段:已有文献(如 Roy & Larocque, 2012 对回归森林的研究)表明随机森林对响应变量中的离群值并不天然稳健,但针对因果森林的系统性研究尚不充分。
发展脉络(history)¶
- 奠基工作:Athey & Imbens (2016) 提出因果树框架,将递归划分用于异质性处理效应估计,并引入"诚实性"(honesty)概念——用独立样本分别做分裂和估计,以减少自适应偏差。这是本文所有讨论的基准。
- 主要进展:Wager & Athey (2018) 建立因果森林的渐近理论,证明其在诚实性和子采样条件下对 CATE 的点态正态性,并给出方差估计(无穷小刀切法 IJ)。Athey, Tibshirani & Wager (2019) 进一步提出 Bootstrap of Little Bags (BLB) 作为方差估计的替代方案。
- 鲁棒性分支:Roy & Larocque (2012) 系统研究了回归森林在响应变量污染下的表现,发现标准实现不稳健,并提出基于中位数聚合或 L1 分裂的改进。Li et al. (2023) 将类似思路引入因果森林,发现经典因果森林在污染下表现不佳。Maßmann & Gliszczyńska-Schroeder (2026) 正式提出三种基于中位数的分裂准则(MAD、LMS、MSD),并给出理论性质——这是本文的直接理论来源。
- 当前 frontier:本文的位置是对 Maßmann & Gliszczyńska-Schroeder (2026) 提出的中位数分裂准则进行系统的实证评估,检验其在多种污染场景(重尾噪声、均值偏移、方差污染)下是否真的比标准因果树更稳健,并考察方差估计(BLB vs IJ)在这些场景下的表现。
子线索聚类¶
- 分裂准则的鲁棒性:标准 MSE 分裂(式 10) vs. 中位数分裂(MSD、MAD、LMS)。核心问题是:分裂准则对离群值的敏感度如何影响树结构和最终 CATE 估计。
- 方差估计与推断的鲁棒性:BLB 与 IJ 两种方差估计方法在污染数据下的覆盖率和区间宽度表现。这是独立于分裂准则的第二条线索。
- 污染类型与场景:重尾噪声(t、Cauchy、Laplace)vs. 人工污染(均值偏移、方差污染),以及不同 CATE 函数复杂度(线性、非线性、零效应)的交互作用。
这个方向在追问的核心问题¶
- 分裂准则的稳健性是否带来 CATE 估计的稳健性? 即:更稳健的树结构是否必然导致更准确的 CATE 估计?本文的答案是"不一定"——收益依赖场景。
- 方差估计方法在污染下是否仍然有效? 即:BLB 和 IJ 的覆盖率是否在重尾/污染下仍然接近名义水平?
- 稳健性与效率的权衡:中位数分裂在干净数据下是否损失效率?在污染数据下是否值得?
⚠️ 作者的 framing(这是作者的说法)¶
作者将缺口 frame 为:"标准因果树使用基于均值的分裂准则,对结局污染敏感;Maßmann & Gliszczyńska-Schroeder (2026) 提出了中位数分裂准则并给出了理论性质,但缺乏系统的实证评估。本文填补这一空白。" 作者淡化了以下竞争路线:(1) 不改变分裂准则、而是在分裂后对叶内估计量做稳健化(如用中位数替代均值做叶内估计);(2) 在分裂前做数据清洗/离群值检测;(3) 使用其他稳健分裂准则(如分位数回归树)。作者将"分裂准则"作为唯一干预点,回避了"叶内估计量"这一同样重要的环节。
值得研究者去查的问题:为什么作者不比较"中位数分裂 + 均值叶内估计" vs. "均值分裂 + 中位数叶内估计"?这两种组合的交叉对比能更清晰地分离"分裂稳健性"和"估计稳健性"的贡献。此外,作者没有讨论中位数分裂准则的计算成本——MSD 需要计算 Hodges-Lehmann 估计量(所有配对差的中位数),其计算复杂度为 O(n² log n),在大样本下可能不可行。这是否限制了其实际应用?
张力¶
未见明显对立引用。但存在一个隐含张力:Roy & Larocque (2012) 发现回归森林的稳健性问题主要来自聚合步骤(均值聚合对离群值敏感),而本文聚焦于分裂步骤。如果聚合步骤才是主要问题,那么仅修改分裂准则可能收益有限——这或许解释了本文"收益依赖场景"的结论。
二、最核心、最简单的例子 / 数学问题¶
第一步:符号、模型、可观测数据¶
符号: - \(N\):样本量;\(i = 1, \dots, N\) 为个体索引。 - \(D_i \in \{0,1\}\):二元处理指示变量。 - \(X_i \in \mathbb{R}^K\):\(K\) 维协变量向量。 - \(Y_i(1), Y_i(0)\):潜在结局(potential outcomes),不可观测。 - \(Y_i^{obs} = D_i Y_i(1) + (1-D_i) Y_i(0)\):观测结局。 - \(\tau_i := Y_i(1) - Y_i(0)\):个体处理效应(ITE),不可观测。 - \(\tau(x) := \mathbb{E}[Y_i(1) - Y_i(0) \mid X_i = x]\):条件平均处理效应(CATE),本文的 estimand。 - \(\mu_d(x) := \mathbb{E}[Y_i(d) \mid X_i = x]\):条件均值结局。 - \(\hat{\tau}(x)\):CATE 的估计量。 - \(\Pi\):树/划分(partition)。 - \(l(x; \Pi)\):包含测试点 \(x\) 的叶子。 - \(N^{tr}, N^{est}, N^{te}\):分裂样本、估计样本、测试样本的容量。 - \(p(x) := \Pr(D_i = 1 \mid X_i = x)\):倾向得分。 - \(\hat{\tau}_{HL}(l)\):叶子 \(l\) 中的 Hodges-Lehmann 估计量(所有处理-对照配对差的中位数)。 - \(V_l\):Hodges-Lehmann 估计量的渐近方差因子(见式 34)。 - \(\hat{H}^{BLW}_N(x)\)、\(\hat{H}^{IJ}_N(x)\):BLB 和 IJ 方差估计量。
模型(识别假设): 1. SUTVA(Assumption 1):无干扰 + 处理版本唯一。 2. 无混杂(Assumption 2):\(D_i \perp\!\!\!\perp (Y_i(1), Y_i(0)) \mid X_i\)。 3. 重叠(Assumption 3):\(0 < \epsilon < p(x) < 1-\epsilon\)。
在这些假设下,CATE 可识别为:
可观测数据:\((X_i, D_i, Y_i^{obs})_{i=1}^N\)。注意:\(\tau_i\) 和 \(Y_i(1), Y_i(0)\) 均不可观测。
第二步:最小内核¶
核心问题:当 \(Y_i^{obs}\) 的分布被污染(例如存在极端离群值)时,标准 MSE 分裂准则(式 10)会选择错误的划分,导致 CATE 估计偏差。中位数分裂准则能否修复这一问题?
最小例子:设 \(K=1\),\(X_i \sim \text{Unif}[0,1]\),\(D_i \sim \text{Bernoulli}(0.5)\)。真实 CATE 为:
标准 MSE 分裂(式 10):该准则最大化 \(\sum_l N_l^{tr} \hat{\tau}(l)^2\)(忽略方差惩罚项)。由于离群值使 \(Y_j^{obs}\) 极大,包含 \(j\) 的叶子会有很大的 \(\hat{\tau}(l)\),因此分裂会倾向于将 \(j\) 单独分到一个叶子(或与少数个体分在一起),从而在 \(x=0.8\) 附近产生一个虚假的"高效应"区域。这导致树结构被扭曲,CATE 估计在 \(x>0.5\) 区域严重偏高。
MSD 分裂(式 14):该准则使用 Hodges-Lehmann 估计量 \(\hat{\tau}_{HL}(l)\) 替代均值差。由于 \(\hat{\tau}_{HL}\) 是配对差的中位数,单个离群值 \(j\) 只会影响包含 \(j\) 的配对差,而不会改变中位数的位置(除非离群值数量超过配对差的一半)。因此,\(\hat{\tau}_{HL}(l)\) 对离群值不敏感,分裂不会因 \(j\) 而扭曲,树结构更接近真实 CATE 的跳跃位置 \(x=0.5\)。
为什么这个例子是"最小内核":它展示了本文的核心机制——分裂准则的稳健性直接决定树结构的稳健性。标准 MSE 准则对单个离群值就非常敏感,而中位数准则(尤其是 MSD)能有效抵抗。但注意:即使树结构稳健,叶内估计仍然使用均值差(式 7),因此离群值 \(j\) 仍然会影响其所在叶子的 CATE 估计。这意味着"稳健分裂"只是部分解决了问题——如果离群值没有被隔离到单独的叶子,它仍然会污染叶内估计。这或许解释了本文"收益依赖场景"的结论。
数学上,本文干了一件什么事:将标准因果树中的分裂准则从"基于均值的方差缩减"替换为"基于 Hodges-Lehmann 估计量的稳健方差缩减",并系统评估这一替换在多种污染场景下的效果。它没有改变 estimand、识别假设或叶内估计方法,只改变了树结构的选择准则。
三、这篇论文做了什么¶
三句话¶
- 研究了什么问题:当结局变量存在离群值或重尾分布时,标准因果树/森林的 CATE 估计是否可靠?中位数分裂准则(MAD、LMS、MSD)能否提高鲁棒性?
- 核心工具/方法:将 Maßmann & Gliszczyńska-Schroeder (2026) 提出的三种中位数分裂准则(MSD、MAD、LMS)嵌入因果森林算法,在模拟和实证数据上系统比较其与标准 MSE 分裂的性能,并评估 BLB 与 IJ 两种方差估计方法在污染下的表现。
- 主要结论:中位数分裂准则的收益高度依赖场景——在极端重尾(Cauchy)和非线性 CATE 结构下能降低敏感性,但在温和污染或线性结构下并不一致优于标准 MSE 分裂;方差估计方面,IJ 通常比 BLB 有更好的覆盖率,但两者在重尾下都表现不佳。
关键设定与假设¶
- 识别假设:SUTVA、无混杂、重叠(Assumption 1-3),与 Athey & Imbens (2016) 相同。本文不讨论违反这些假设的情况。
- 数据生成:4 个模拟场景(S1 线性、S2 非线性 sigmoid、S3 零效应、S4 非线性+交互),\(K=10\) 个协变量,\(N^{tr}=N^{te}=1000\),\(M_C=1000\) 次 Monte Carlo 重复。
- 污染机制:
- 重尾噪声:\(t(3)/\sqrt{3}\)、Cauchy(0,1)、Laplace(0,1) 替代正态误差。
- 人工污染:均值偏移(\(Y_i^c = Y_i + e_i, e_i \sim N(5\sigma_Y^j, (\sigma_Y^j)^2)\))和方差污染(\(e_i \sim N(0, (5\sigma_Y^j)^2)\)),污染比例 \(p_c \in \{0, 0.05, \dots, 0.35\}\)。
- 评估指标:RMSE、MAE、MAPE(估计精度);覆盖率、区间宽度(推断质量);PRMSE、PMAE、PMAPE(相对稳健性)。
- 关键假设:中位数分裂准则只改变分裂步骤,不改变叶内估计(仍用均值差)和方差估计方法。这意味着"稳健分裂 + 非稳健叶内估计"的组合——如果叶内估计才是主要问题,中位数分裂的收益有限。
主要结果¶
模拟研究:
- 重尾噪声(Table 1):
- 在 S1(线性)下,CT 在四种噪声分布下均表现最佳(RMSE 最低),中位数准则没有优势。
- 在 S2(非线性 sigmoid)下,Cauchy 噪声时 MSD 表现最佳(RMSE = 10.55 vs CT 的 11.36),但 Normal/Laplace/t 下差异很小。
- 在 S3(零效应)下,Cauchy 噪声时 MSD 表现最佳(RMSE = 9.04 vs CT 的 9.85)。
- 在 S4(非线性+交互)下,各方法差异不大,CT 略优。
-
结论:中位数准则的优势仅在极端重尾(Cauchy)且 CATE 结构非线性时显现。
-
置信区间(Tables 3-4):
- 在 S1 下,所有方法的 BLB 和 IJ 覆盖率都严重不足(约 0.06-0.09,名义水平 0.95)。
- 在 S2 下,IJ 的覆盖率显著高于 BLB(如 Normal 下 IJ 约 0.95 vs BLB 约 0.05),但区间宽度也更大。
- 在 S3 下,IJ 覆盖率接近名义水平(约 0.95-0.96),BLB 仍严重不足。
-
结论:IJ 通常优于 BLB,但两者在重尾下都不可靠;曲率调整(乘以 \(V(x)^{-2}\))能提高覆盖率但导致过度覆盖。
-
人工污染(Figures 2-5, Tables 5-8):
- S1(线性):所有方法对污染的敏感性都很低(PRMSE < 3%),中位数准则无优势。
- S2(非线性):CT 在均值偏移下 PRMSE 最高(~6.5%),LMS 最低(~4.0%);方差污染下差异较小。
- S3(零效应):所有方法 PRMSE 都很大(> 190%),因为基线误差很小;MSD 相对最好(191.3% vs CT 194.8%)。
- S4(非线性+交互):CT 和 LMS 表现最好,MAD 和 MSD 的 PRMSE 更高。
- 结论:中位数准则的收益在 S2 和 S3 中显现,但 S4 中 MAD/MSD 反而更差。
实证研究:
- Lalonde:各方法在无污染时表现相似;加入污染后,CT 在多数情况下仍是最稳健的(PRMSE 最低),中位数准则没有一致优势。
- Breast Cancer:MSD 在低污染水平下表现最好(PRMSE 最低),但高污染水平下 CT 更优。
- ACIC:各方法差异很小,CT 略优。
总体结论:中位数分裂准则的收益是场景依赖的——在极端重尾(Cauchy)和非线性 CATE 结构下能降低敏感性,但在温和污染或线性结构下并不一致优于标准 MSE 分裂。方差估计方面,IJ 通常比 BLB 有更好的覆盖率,但两者在重尾下都表现不佳。
证明路线与技术技巧¶
本文是纯实证研究,没有新的理论证明。其"证明路线"是:
- 模拟设计:构造 4 个 CATE 场景 × 4 种噪声分布 × 2 种污染类型 × 8 个污染水平,共 4×4×2×8 = 256 种组合,每种 1000 次 Monte Carlo 重复。
- 算法实现:在 R 中实现标准因果树(CT)和三种中位数分裂(MAD、LMS、MSD),使用相同的诚实性、子采样和叶内估计设置,确保唯一差异是分裂准则。
- 评估协议:用 RMSE/MAE/MAPE 衡量估计精度,用覆盖率/宽度衡量推断质量,用 PRMSE/PMAE/PMAPE 衡量相对稳健性。
- 实证验证:在 3 个基准数据集上重复上述比较,验证模拟结论的普适性。
技术技巧: - Hodges-Lehmann 估计量(式 11):所有处理-对照配对差的中位数,具有 50% 崩溃点,对离群值不敏感。 - MSD 准则(式 14):用 Hodges-Lehmann 估计量替代均值差,并加入方差惩罚项(式 34 的渐近方差)。 - BLB 与 IJ 方差估计:BLB 通过子采样和自助法估计方差,IJ 通过无穷小扰动估计方差;两者都直接应用于树级预测。 - 曲率调整:将方差估计乘以 \(V(x)^{-2}\),其中 \(V(x) = \mathbb{E}[(D_i - p(X_i))^2 \mid X_i = x]\),以与 GRF 框架对齐。
🔎 结论是否比证明窄¶
是。具体表现:
-
模拟结论的普适性被夸大:作者在摘要和结论中声称"中位数分裂准则能降低对结局污染的敏感性",但 Table 1 显示在 S1(线性)和 S4(非线性+交互)下,CT 在大多数噪声分布下表现最佳。中位数准则的优势仅在 S2 和 S3 的 Cauchy 噪声下显现。结论"收益依赖场景"是诚实的,但摘要的表述可能让读者高估其普适性。
-
方差估计的结论被简化:作者发现 IJ 通常优于 BLB,但 Table 3-4 显示在 S1 下两者都严重不足(覆盖率约 0.06-0.09)。作者没有深入分析为什么 IJ 在 S1 下失效,而是简单归因于"场景依赖"。
-
实证结果的解释不足:在 Lalonde 数据中,CT 在多数情况下仍是最稳健的,但作者没有解释为什么中位数准则在实证数据中失效。这可能是因为实证数据的污染模式与模拟不同,但作者没有深入探讨。
-
计算成本被忽略:MSD 需要计算所有配对差的中位数,其计算复杂度为 O(n² log n)。在 \(N=1000\) 时可行,但在更大样本下可能不可行。作者没有讨论这一限制。
四、开放问题¶
-
中位数分裂准则的理论性质:Maßmann & Gliszczyńska-Schroeder (2026) 给出了 MSD 的渐近方差(式 34),但本文没有验证这些理论结果在有限样本下的准确性。能否证明中位数分裂准则在污染下的 minimax 最优性?其收敛速度与标准 MSE 分裂相比如何?
-
叶内估计的稳健化:本文只修改了分裂准则,叶内估计仍用均值差。如果同时将叶内估计替换为 Hodges-Lehmann 估计量或中位数回归,能否进一步提升稳健性?这两种稳健化的相对贡献如何分解?
-
自适应准则选择:既然中位数准则的收益依赖场景,能否设计一个数据驱动的准则选择程序(如交叉验证),在标准 MSE 和中位数准则之间自适应选择?
-
计算复杂度问题:MSD 的 O(n² log n) 复杂度在大样本下不可行。能否设计近似算法或增量更新策略来降低计算成本?能否利用随机子采样来近似配对差中位数?
-
方差估计在重尾下的失效:本文发现 IJ 和 BLB 在重尾下都表现不佳。能否设计对重尾稳健的方差估计方法?例如,基于分位数或 Winsorized 方差的估计量?
-
协变量污染的扩展:本文只考虑了结局变量的污染。如果协变量 \(X_i\) 也被污染(例如测量误差或离群值),分裂准则的稳健性会如何变化?这需要更复杂的稳健分裂准则。
提醒:要确认上述问题是否是真 gap,建议去读以下近期文献的 intro(各约 5 篇):(1) 因果森林的稳健性改进(如 Li et al. 2023 的后续工作);(2) 稳健分裂准则在回归树/森林中的最新进展(如分位数随机森林);(3) 重尾数据下的因果推断(如重尾 IPW 估计)。如果这些文献的 intro 都指向同一个问题,那就是共识性 gap;如果互相打架,则可能是机会。
Maintained by 陈星宇 · Homepage · Source on GitHub