跳转至

Selective inference for pruned interaction trees with known unequal variances in randomized trials

作者: Tomoshige Nakamura
主题: 因果推断
相关性: 7/10
链接: https://arxiv.org/abs/2611.01134


一、领域脉络与小综述

  • 这个方向是什么:本子方向解决的根本问题是:当数据被用于"发现"(生长决策树、剪枝)之后,如何对最终选中的统计量(如交互效应)进行有效的统计推断。核心矛盾在于,数据驱动的模型选择过程(树的生长与剪枝)使得最终估计量的抽样分布严重偏离朴素的高斯近似,若忽略选择事件,会导致过度拒绝(over-rejection)和覆盖率不足的置信区间。该方向当前成熟度较高,已有针对 lasso(Lee et al., 2016)、回归树(Neufeld et al., 2022)等经典算法的选择性推断框架,但针对"交互树 + 协变量调整 + 异方差"这一特定组合的精确有限样本推断仍是开放问题。

  • 发展脉络(history):

    • 奠基工作:Lee et al. (2016) 建立了条件选择性推断的一般框架,核心思想是"选择事件"可被刻画为对目标统计量的截断约束,通过条件分布恢复有效推断。这是本领域所有后续工作的基石。
    • 主要进展(树方法):Neufeld et al. (2022) 的 Tree-Values 将上述框架推广至 CART 回归树,处理了树的生长(split selection)与固定惩罚剪枝(pruning)带来的复杂选择事件,实现了对叶节点均值差的精确条件推断。这是本文最直接的技术起点。
    • 主要进展(因果树):Athey and Imbens (2016) 提出"诚实"(honest)因果树,通过样本分割避免过拟合,但代价是牺牲了部分样本效率。本文将其作为主要对照方法,并指出全数据学习在恢复参考划分方面可能更优。
    • 主要进展(交互树与效应异质性):Su et al. (2009) 提出交互树(IT),Steingrimsson and Yang (2019) 提出协变量调整交互树(CIT),将分裂准则从预测误差转向交互效应大小。但这些工作主要关注树的构建与预测,未解决后续推断的选择偏差问题。
    • 当前 frontier:在选择性推断框架下处理更复杂的模型选择过程(如剪枝、集成)、非高斯数据(如计数、生存)、以及未知方差参数。本文正是针对"已知异方差 + 固定惩罚剪枝"这一具体设定,将 Tree-Values 的框架从 CART 扩展到交互树。
  • 子线索聚类:

    • 选择性推断理论:Lee et al. (2016)、Tian and Taylor (2018)、Fithian et al. (2014)。这一簇关注如何刻画选择事件、构造条件检验与置信区间,是本文的理论工具箱。
    • 树方法用于异质性发现:Su et al. (2009)、Steingrimsson and Yang (2019)、Athey and Imbens (2016)。这一簇关注如何用树发现并估计异质性处理效应,是本文的应用场景。
    • 数据分割与信息保留:Athey and Imbens (2016) 的诚实方法、Neufeld et al. (2024) 的数据细化(data thinning)。这一簇关注如何在发现与推断之间分配数据信息,是本文的对照与延伸方向。
  • 这个方向在追问的核心问题:

    1. 如何精确刻画"树生长 + 剪枝"这一复合选择事件对目标统计量分布的影响?
    2. 在已知异方差(如 RCT 中不同处理组方差不同)下,如何构造有效的条件推断?
    3. 全数据学习(full-data learning)与样本分割(honest)在发现能力和推断精度之间如何权衡?
    4. 选择性推断的结论能否从"单个选中的统计量"推广到"整棵树的多个统计量"(多重比较问题)?
  • ⚠️ 作者的 framing(必须明确标注成"这是作者的说法"):作者将缺口 frame 为"Tree-Values 的框架虽已处理 CART 的回归树,但尚未处理交互树中基于 GLS 的交互效应推断,尤其是在已知异方差下"。作者声称其贡献在于"建立加权正交性,使得剪枝存活事件简化为一个二次不等式",从而将 Tree-Values 的框架推广到更一般的 GLS 设定。作者淡化了以下竞争路线:(a) 诚实方法(Athey and Imbens, 2016)虽简单但可能浪费数据;(b) 数据细化(Neufeld et al., 2024)虽能保留信息但需要已知分布且可能不适用于复杂树结构;(c) 自助法或重抽样方法虽通用但缺乏有限样本保证。什么明显该被引 / 该存在、却没出现在 intro 里?——作者未讨论多重检验问题(对整棵树所有保留节点同时推断时的 family-wise error 控制),也未讨论当方差比未知且需从数据估计时,其"已知方差"假设的稳健性边界。这两点值得研究者去查证。

  • 张力:未见明显对立引用。但存在一个隐含张力:Tree-Values (Neufeld et al., 2022) 强调其框架对"任意确定性树生长规则"的普适性,而本文作者则强调其"加权正交性"是特定于 GLS 交互树的结构,暗示并非所有树生长规则都能获得如此简洁的截断刻画。这一张力值得注意。

二、最核心、最简单的例子 / 数学问题

第一步:把符号、模型、可观测数据交代清楚

  • 符号:

    • \(i = 1, \dots, n\):个体下标。
    • \(X_i \in \mathbb{R}^p\):基线协变量(随机向量)。
    • \(A_i \in \{0, 1\}\):处理分配(随机变量)。
    • \(Y_i\):定量结局(随机变量)。
    • \(Y_i(a)\):潜在结局(counterfactual),\(a \in \{0, 1\}\)。
    • \(D = (X, A)\):设计(design),即协变量与处理分配的集合,全文条件于此。
    • \(V\):已知的正定对角矩阵,\(V_{ii} = 1 + (\rho - 1) A_i\),其中 \(\rho = \sigma_1^2 / \sigma_0^2\) 为已知方差比。
    • \(\sigma^2\):已知的公共尺度参数(控制组方差)。
    • \(b(x) \in \mathbb{R}^q\):预指定的协变量基函数(含截距)。
    • \(B\):设计矩阵,第 \(i\) 行为 \(b(X_i)^\top\)。
    • \(\beta\):预后模型的未知系数(nuisance)。
    • \(\tau(x) = \mathbb{E}[Y_i(1) - Y_i(0) \mid X_i = x]\):条件平均处理效应(CATE),科学目标。
    • \(\mu = \mathbb{E}[Y \mid D]\):条件均值向量。
    • \(R\):节点区域(region),即协变量空间的子集。
    • \(s\):候选分裂(split),由变量与阈值定义。
    • \(h_s\):左子节点指示向量。
    • \(g_s = A \odot h_s\):处理与左子节点的交互指示向量。
    • \(C_s = [B_R, A_R, h_s]\):节点内的设计矩阵(含预后基、处理主效应、子节点主效应)。
    • \(v_s\):加权残差向量(GLS 交互方向)。
    • \(d_s^2 = v_s^\top W v_s\):残差范数平方。
    • \(\eta_s = W v_s / d_s^2\):得分载荷(线性泛函)。
    • \(\theta_s = \eta_s^\top \mu\):有限设计 GLS 交互目标(estimand)。
    • \(T_s = \eta_s^\top Y\):GLS 交互估计量。
    • \(G_s(y) = (\ell_s^\top y)^2\):分裂得分(squared score)。
    • \(\lambda\):剪枝惩罚参数(固定)。
    • \(P\):剪枝后的树。
    • \(\gamma\):从根到目标节点的路径(path)。
    • \(Z = Y - v T\):与目标统计量正交的剩余向量。
    • \(J(z)\):给定 \(Z=z\) 时的截断集(选择事件在 \(t\) 轴上的投影)。
  • 模型:

    • 数据生成机制:条件于设计 \(D\),\(Y \sim N(\mu, \sigma^2 V)\)。均值满足 \(\mu = B\beta + A \odot \tau(X)\),其中 \(\tau(X) = (\tau(X_1), \dots, \tau(X_n))^\top\)。这里 \(\beta\) 是 nuisance,\(\tau(\cdot)\) 是感兴趣的科学量。
    • 可观测数据:研究者观测到 \((X_i, A_i, Y_i)\) 的完整样本,以及预先固定的基函数 \(b(\cdot)\)、生长规则、剪枝惩罚 \(\lambda\)、方差比 \(\rho\) 和目标节点地址。
    • 关键区分:\(\theta_s\) 是固定设计下的有限总体参数(finite-design estimand),不是超总体(super-population)意义上的 CATE。\(\tau(x)\) 是超总体 CATE,但本文的推断目标是 \(\theta_s\),它是对 \(\tau(x)\) 在特定节点内的一种加权投影。可观测的是 \(Y\),想要但观测不到的是 \(\mu\)(或 \(\tau(x)\)),只能通过 \(\theta_s\) 间接推断。

第二步:讲最小内核

  • 最小特例:考虑最简单的设定:\(n\) 个独立个体,\(A_i \in \{0, 1\}\) 完全随机分配,无协变量(即 \(b(x) = 1\)),只考虑根节点的一次分裂(即 \(D=1\),树只有根和两个叶子)。此时,目标节点是根节点本身,\(\theta_s\) 退化为一个简单的交互对比:

    \[\theta = \frac{1}{n_1} \sum_{i: A_i=1} \mu_i - \frac{1}{n_0} \sum_{i: A_i=0} \mu_i\]
    其中 \(n_a\) 是处理组 \(a\) 的样本量。估计量为 \(\hat{\theta} = \bar{Y}_1 - \bar{Y}_0\)。在已知方差 \(\sigma_0^2, \sigma_1^2\) 下,朴素推断为 \(\hat{\theta} \pm z_{1-\alpha/2} \sqrt{\sigma_0^2/n_0 + \sigma_1^2/n_1}\)。

  • 核心问题:如果 \(\hat{\theta}\) 是在看到数据后因为其值大才被选中报告的(例如,我们分裂节点是因为交互效应显著),那么 \(\hat{\theta}\) 的分布不再是均值为 \(\theta\)、方差为 \(\sigma_0^2/n_0 + \sigma_1^2/n_1\) 的正态分布。相反,它被截断了:我们只观察到那些使得分裂得分 \(G_s(y)\) 最大的 \(y\)。这导致 \(\hat{\theta}\) 有偏,且朴素置信区间覆盖率远低于名义水平。

  • 最小内核的数学本质:本文的全部技术在于精确刻画这个"选择事件"。在最小特例中,选择事件是"根节点的分裂得分 \(G_s(y)\) 大于所有其他候选分裂的得分"。由于 \(G_s(y) = (\ell_s^\top y)^2\),且 \(\ell_s\) 是固定的,这个事件可以写成关于 \(t = \eta^\top y\) 的二次不等式。关键洞察:通过加权正交性(Lemma 1),可以将 \(y\) 分解为 \(y = z + v t\),其中 \(z \perp v\)(在加权内积意义下)。于是,选择事件对 \(t\) 的约束就变成了一个关于 \(t\) 的二次不等式,其系数只依赖于 \(z\) 和固定的设计矩阵。这就是 Theorem 1 中"剪枝存活简化为一个二次不等式"的含义。在更一般的树中,路径上的每个节点都有类似的约束,它们的交集仍然是 \(t\) 的二次不等式(或有限个区间的并集)。

  • 为什么成立:因为树生长和剪枝的决策只依赖于分裂得分 \(G_s(y)\),而这些得分在 \(z\) 固定时是 \(t\) 的二次函数。因此,整个选择事件在 \(t\) 轴上是一个可计算的集合 \(J(z)\)。条件于 \(Z=z\),\(T\) 的分布就是正态分布截断在 \(J(z)\) 上。这给出了精确的有限样本条件推断。

三、这篇论文做了什么

  • 三句话:

    1. 研究了什么问题:在已知异方差(RCT 中不同处理组方差不同)的线性模型下,如何对经过生长和剪枝的交互树中选中的交互效应进行有效的有限样本选择性推断。
    2. 核心工具 / 方法:将 Tree-Values 的条件选择性推断框架从 CART 回归树推广至 GLS 交互树,利用加权正交性(Lemma 1)将复杂的"生长 + 剪枝"选择事件简化为一个二次不等式(Theorem 1),从而构造精确的截断正态条件检验和置信区间(Theorem 2)。
    3. 主要结论:在已知方差对角阵的 Gaussian 模型下,所提出的选择性推断方法能精确控制条件 I 类错误率,而忽略剪枝的 growth-only 推断会过度拒绝;全数据学习在恢复参考划分方面优于 50:50 诚实方法,但代价是更宽的区间尾部。
  • 关键设定与假设:

    • Assumption 1 (Gaussian sampling with known diagonal covariance):这是整个推断框架的基石。它要求 \(Y \mid D \sim N(\mu, \sigma^2 V)\),且 \(V\) 完全已知(包括方差比 \(\rho\))。这比通常的 RCT 分析更强,因为实际中方差通常是未知的。作者在模拟中放宽为"估计方差比但保持已知",发现影响有限,但这只是经验观察,没有理论保证。
    • Assumption 2 (Causal identification and reference prognosis):这是因果解释的桥梁。它要求无干扰、一致性、条件于 \(X\) 的处理分配独立,以及参考组(\(A=0\))的预后模型正确指定(\(\mathbb{E}[Y_i(0) \mid X] = b(X_i)^\top \beta\))。注意,这里只要求参考组预后正确,处理组的均值可以任意(通过 \(\tau(x)\) 捕捉)。
    • Assumption 3 (Finite deterministic local growth):生长规则必须是确定性的、只依赖于设计和节点区域,不能依赖于结局 \(Y\) 的未观测部分。这排除了数据自适应的停止规则或候选集选择。
    • Assumption 4 (Additive interaction pruning with collapse at equality):剪枝目标必须是加性的(节点得分之和),惩罚是每保留一个内部节点的固定成本 \(\lambda\),且平局时选择 collapse。这是保证剪枝决策可被二次不等式刻画的关键。
  • 主要结果:

    • Theorem 1 (Exact pruning-survival threshold):在 Assumptions 3 和 4 下,路径 \(\gamma\) 在剪枝后存活的充要条件是 \(d^2 t^2 > \delta_\gamma(z)\),其中 \(\delta_\gamma(z)\) 只依赖于 \(z\) 和设计。这给出了精确的选择事件。
    • Theorem 2 (Known-variance inference):在 Assumptions 1, 3, 4 下,条件于 \(Z=z\) 和存活事件,\(T\) 服从截断正态分布,截断集为 \(J(z)\)。由此构造的检验和置信区间具有精确的有限样本条件有效性。
    • Theorem 3 (Equivalence with full-tree conditioning):在"兼容截面"上,基于完整树事件的推断与基于保留路径事件的推断完全一致。这保证了计算上的简化不会损失推断精度。
    • Corollary 1 (Unique interval endpoints):在几乎所有的存活事件上,置信区间是唯一的有限闭区间,端点由截断正态分位数方程唯一确定。
  • 证明路线与技术技巧:

    • 整体路线:① 建立加权正交性(Lemma 1),证明不同节点的得分方向在加权内积下正交,且与主效应空间正交;② 利用正交性,将路径上所有节点的得分表示为 \(t\) 的二次函数,从而将选择事件投影到 \(t\) 轴上;③ 证明剪枝存活等价于一个二次不等式(Theorem 1);④ 利用条件高斯分布,得到截断正态推断(Theorem 2);⑤ 证明完整树事件与路径事件的截面等价性(Theorem 3)。
    • 关键技巧:
      • 加权正交性:这是全文的技术核心。通过将数据投影到 \(V^{-1/2}\) 白化空间,将 GLS 问题转化为 OLS 问题,使得不同节点的得分方向正交。这避免了 Tree-Values 中处理 CART 均值差时的复杂协方差结构。
      • 二次不等式截断:将选择事件转化为 \(t\) 的二次不等式,使得截断集 \(J(z)\) 是有限个区间的并集。这比 Tree-Values 中处理一般凸集更简洁,且便于数值计算。
      • "兼容截面"论证:通过构造"兼容截面"(即 \(z\) 使得路径存活且完整树等于给定树),将完整树事件分解为路径事件与 \(z\) 事件的乘积,从而证明条件推断的等价性。
  • 真实例子与应用:

    • 模拟实验:系统比较了 Naive、Growth-only、Selective 和 Honest 四种方法在 \(n=100,200,400,800\)、深度 1-3、方差比 \(\rho \in \{1/4, 1, 4\}\) 下的表现。核心发现:(1) Naive 严重过度拒绝(I 类错误率可达 95%);(2) Growth-only 在强剪枝下仍过度拒绝(如 \(n=100, \lambda=8\) 时约 14.6%);(3) Selective 始终校准良好(约 5%);(4) Honest 在 \(n=100\) 时可用性低(约 47%),且恢复参考划分的能力弱于全数据方法。
    • ACTG 175 数据:比较了齐多夫定加拉米夫定(ZDV+ddI)与齐多夫定加扎西他滨(ZDV+zal)对 20 周 CD4 计数的影响。全数据树发现根节点分裂为年龄 ≤39.5,其 Selective 区间为 \([-92.12, 21.67]\)(不显著),而 Naive 区间为 \([-97.97, -33.04]\)(显著),直观展示了选择偏差的后果。Honest 方法因训练样本量限制,无法在深度 3 下形成完整划分。
  • 🔎 结论是否比证明窄:

    • 明确窄于证明的声明:Theorem 2 的证明严格依赖于 Assumption 1(已知方差)。但作者在模拟中尝试了"估计方差比但保持已知"的场景,发现覆盖率变化很小。这只是一个经验观察,并未被纳入定理的证明。作者在 Section 7 中明确承认"未知方差下的精确推断需要进一步研究"。
    • 被泛化的声明:作者在摘要和引言中声称方法适用于"已知不等方差",但在 Section 7 中承认"方差比未知时,估计方差比会破坏精确的有限样本保证"。因此,摘要中的"已知不等方差"是准确的,但读者需注意其边界。
    • 未覆盖的声明:作者在 Remark 4 中提出了一个 family-wise error 控制的选项(Bonferroni),但明确指出"没有证明这是最优的,也没有讨论更高效的 simultaneous 方法"。这属于"结论比证明窄"的典型例子——提出了一个可行的扩展,但未给出理论保证。

四、开放问题

  1. 未知方差下的精确推断:本文的核心假设是已知方差对角阵 \(V\)。当方差比 \(\rho\) 未知且需从数据估计时,如何构造精确的有限样本条件推断?作者在模拟中观察到估计方差比的影响很小,但没有理论保证。这是一个直接且重要的开放问题。(扎根于 Section 7:"Developing valid theory for unknown arm-specific variances ... are central practical extensions.")

  2. 多重检验与同时推断:本文只提供了单个节点的条件推断。对于整棵树的所有保留节点,如何控制 family-wise error rate 或 false discovery rate?作者在 Remark 4 中提出了 Bonferroni 调整,但未讨论更高效的方法。(扎根于 Remark 4:"This is a within-tree option, not a simultaneous guarantee across penalties or variance shapes.")

  3. 非 Gaussian 结局与非线性模型:本文的 Gaussian 假设是推导截断正态分布的关键。对于计数结局(如 Poisson)、二元结局(如 logistic)或生存结局,如何构造有效的选择性推断?作者在 Section 7 中提到了"non-Gaussian outcomes"作为未来工作。(扎根于 Section 7:"assessing robustness to prognosis misspecification and non-Gaussian outcomes")

  4. 数据自适应的停止规则:Assumption 3 要求生长规则是确定性的、不依赖于结局。如果停止规则(如最小节点样本量)依赖于数据的某些特征(如方差估计),选择事件的刻画将更加复杂。这是一个理论上的难点。(扎根于 Assumption 3 的设定,作者明确排除了 outcome-dependent stopping。)

  5. 数据细化与信息保留的权衡:作者在讨论中比较了全数据学习与 Honest 方法,但未给出一个统一的理论框架来刻画"发现能力"与"推断精度"之间的最优权衡。数据细化(Neufeld et al., 2024)提供了一种新的信息保留方式,但如何将其与选择性推断结合仍是一个开放问题。(扎根于 Section 7:"Further work could improve how information is allocated between discovery and inference.")

提示:要确认上述问题是否为真 gap,建议去读同一子领域近期约 5 篇论文的引言(例如 2024-2026 年关于 selective inference for trees 或 post-selection inference 的文献)。如果多篇论文都指向同一个问题(如未知方差),那很可能是共识性的真 gap;如果各论文对同一问题的处理方式互相矛盾,那可能是一个机会点。


Maintained by 陈星宇 · Homepage · Source on GitHub

评论