Does a Developed Comorbidity Index Really Add Value? A Selection-Aware Bootstrap for Post-Selection Concordance¶

作者: M. Ehsan Karim
主题: 因果推断
相关性: 7/10
链接: https://arxiv.org/abs/2607.12445

一、领域脉络与小综述¶

这个方向是什么¶

这个子方向要解决的根本问题是：当研究者从多个候选模型（如不同的共病指数构建方案）中选出“最优”的一个，并声称其预测性能（如区分能力，concordance）优于某个固定基准（如Charlson评分）时，如何对该声称进行有效的统计推断（如构建置信区间）？核心困难在于，模型选择过程本身引入了“赢家诅咒”（winner's curse）：被选中的模型之所以看起来好，部分是因为它在该特定样本上运气好，而非其真实性能真的优于其他候选。这种偏差是结构性的，不会随样本量增大而消失。当前该子方向的成熟度中等：已有大量工作研究单一模型的乐观校正和模型选择后的推断，但针对“选最优后与固定基准比较”这一特定、不对称的估计量，缺乏覆盖有效的区间推断方法。

发展脉络（history）¶

奠基工作：单一模型的乐观校正。Efron [1983] 和 Efron & Tibshirani [1997] 提出了通过bootstrap进行乐观校正（.632 / .632+方法），为评估单一预测模型的性能奠定了基础。Noma et al. [2021] 进一步给出了此类乐观校正后准确度量的置信区间构造方法（location-shifted bootstrap intervals）。这些工作处理的是“只有一个模型”的情形，其乐观校正仅针对该模型自身的过拟合。
主要进展：模型选择后的推断。Berk et al. [2013] 提出了“后选择推断”（PoSI）框架，通过同时推断所有可能的子模型来获得保守但有效的推断。Andrews et al. [2024] 和 Kitagawa et al. [2018] 则聚焦于“赢家”的推断，给出了条件于选择结果的置信区间和无偏估计。Rink & Brannath [2024] 最接近本文，为从多个候选模型中选出的模型提供了有效的性能置信下界。Tibshirani & Tibshirani [2009] 和 McLatchie & Vehtari [2024] 则从交叉验证的最小误差偏差和顺序统计量角度分析了选择偏差。这些工作处理了“选择”本身带来的偏差，但目标通常是所选模型自身的性能，而非其与一个固定基准的不对称差值。
当前Frontier：交叉验证的方差估计与有效区间。Bates et al. [2024] 和 Sun & Tibshirani [2023] 发展了嵌套交叉验证的方差估计方法，为整个选择过程的预测误差提供了有效区间。Bayle et al. [2020] 和 Austern & Zhou [2025] 则建立了交叉验证的CLT，但如本文指出，这些结果不适用于concordance这类U-统计量。这些工作处理的是“选择过程平均”的性能（marginal），而非“被选中的那个模型”的条件性能（conditional）。
本文的位置：本文填补了上述两条线索之间的空白。它指出，针对“选最优后与固定基准比较”这一特定估计量，标准实践（仅对选中的模型做单模型乐观校正）会系统性地低估选择偏差，导致置信区间结构性失准。本文提出的“选择感知bootstrap”通过在每个重抽样样本中重新执行“选最优”步骤，同时固定基准模型，从而校正了被遗漏的选择项，恢复了近名义覆盖率。

子线索聚类¶

单一模型乐观校正：Efron [1983], Efron & Tibshirani [1997], Noma et al. [2021]。核心是估计并校正单个模型因在训练集上拟合而产生的过拟合偏差。
模型选择后的推断（Post-Selection Inference）：Berk et al. [2013], Andrews et al. [2024], Kitagawa et al. [2018], Rink & Brannath [2024], Tibshirani & Tibshirani [2009], McLatchie & Vehtari [2024]。核心是处理“选择”这一步骤对后续推断带来的偏差，通常针对所选模型自身的性能。
交叉验证的方差估计与有效区间：Bates et al. [2024], Sun & Tibshirani [2023], Bayle et al. [2020], Austern & Zhou [2025]。核心是为交叉验证估计的性能提供有效的方差估计和置信区间，通常针对整个选择过程的平均性能。
共病指数构建：Sullivan et al. [2004], van Walraven et al. [2009], Meinshausen & Buehlmann [2010]。这是应用背景，其构建方法（如整数点赋分、稳定性选择）本身是成熟的，不是本文的方法论贡献。

这个方向在追问的核心问题¶

如何对“选最优后与固定基准比较”这一不对称差值进行有效的区间推断？ 这是本文直接回答的问题。
如何区分“条件于所选模型”的推断和“平均于选择过程”的推断？ 这是本文强调的估计量区分（conditional vs. marginal），也是理解不同方法适用性的关键。
模型选择带来的偏差在什么条件下是结构性的（不随样本量增大而消失）？ 本文通过Proposition 3证明，对于“选最优”这一操作，偏差与标准误的比值是O(1)的，因此是结构性的。
如何将模型选择后的推断推广到更复杂的因果估计量（如DR估计、IV估计）？ 这是本文在开放问题中暗示的拓展方向。

⚠️ 作者的 framing（必须明确标注成“这是作者的说法”）¶

作者把缺口 frame 成什么：作者将缺口 frame 为“标准实践（single-step bootstrap）仅校正了所选模型的过拟合（within-model optimism），但忽略了从多个候选中选最优所带来的选择偏差（selection optimism）”。因此，本文的“选择感知bootstrap”是“显然的下一步”，因为它通过重放选择步骤来同时校正这两种偏差。作者在Table 1中明确列出了现有方法（单模型校正、嵌套CV、后选择推断）各自的目标和遗留问题，从而凸显了本文填补的空白。
哪些竞争路线被他淡化或回避了：作者淡化了嵌套交叉验证（nested CV）作为替代方案。虽然承认嵌套CV可以给出整个选择过程的有效误差估计，但作者强调其目标是“选择平均的边际性能”（marginal），而非“被选中的那个模型的条件性能”（conditional）。作者通过模拟表明，在候选模型同质（exchangeable）的情况下，两者目标一致，选择感知bootstrap的覆盖率和功效与校准后的嵌套CV（cvclt）相当。但在异质情况下，作者声称两者在原则上会发散，尽管在本文的设计中这种发散很小。作者回避了直接与更复杂的后选择推断方法（如Andrews et al. [2024]的条件置信区间）进行详细比较，而是将其归为“对所选模型自身性能的界”，而非本文关注的“不对称差值”。
什么明显该被引 / 该存在、却没出现在 intro 里？ 本文的intro和参考文献非常全面，覆盖了相关的主要线索。一个可能值得研究者去查的问题是：在因果推断中，针对“从多个IV或proximal模型中选最优后，估计因果效应”的类似问题，是否有直接相关的工作？ 本文的引用主要来自预测模型和统计推断领域，与因果推断的直接连接较少。这可能是研究者可以探索的交叉点。

张力¶

未见明显对立引用。各条线索的工作（单模型校正、后选择推断、交叉验证）在各自的设定下都是有效的，本文的核心贡献在于指出它们都不直接适用于本文所定义的特定估计量，并给出了一个针对性的解决方案。

二、最核心、最简单的例子 / 数学问题¶

第一步：把符号、模型、可观测数据交代清楚¶

符号：
- n: 开发样本（development sample）的样本量。
- K: 候选模型（candidate index constructions）的数量。
- m ∈ {1, ..., K}: 候选模型的索引。
- C_m: 第 m 个候选模型的真实（population）concordance（区分能力）。
- C_comp: 固定比较器（fixed comparator，如Charlson评分）的真实concordance。
- Δ = C_hat(s) - C_comp: 目标估计量（estimand），即被选中的模型（s）的真实concordance与固定比较器的真实concordance之差。这是一个条件于选择结果（post-selection / conditional）的量。
- Ĉ_m: 第 m 个候选模型在开发样本上的表观（apparent）concordance。
- Ĉ_comp: 固定比较器在开发样本上的表观concordance。
- ŝ = arg max_m Ĉ_m: 在开发样本上被选中的“最优”候选模型的索引。
- Δ̂ = Ĉ_ŝ - Ĉ_comp: 表观的concordance差值，即研究者实际观测到的差值。
- Opt(K) = E[Ĉ_ŝ - C_ŝ]: 被选中的模型的总乐观度（total optimism），即其表观性能与真实性能之差的期望。
- b_n = Opt(1): 当只有一个候选模型（K=1）时的乐观度，即单模型乐观度（within-model optimism）。
- S(K) = Opt(K) - Opt(1): 由于从K个候选中选择最优而产生的选择乐观度（selection optimism），即“赢家诅咒”项。
- τ_n: 表观差值 Δ̂ 的标准误。
- δ* = S(K) / τ_n: 选择乐观度与标准误的比值，是衡量覆盖率缺口严重程度的关键量。
模型：
- 数据生成机制：开发样本包含 n 个独立同分布的个体。每个个体有 p 个二值共病标志（X ∈ {0,1}^p）和一个右删失生存结局 (T̃, δ)，其中 T̃ = min(T, C)，δ = I(T ≤ C)。生存时间 T 服从指数分布，其风险与 X 的线性组合成比例（Cox比例风险模型）。删失时间 C 独立于 T，服从指数分布。
- 候选模型：每个候选模型 m 是一个Cox比例风险模型，拟合于一个固定的 d-标志子集。不同候选模型使用不同的标志子集。
- 固定比较器：一个预先定义好的、权重固定的线性评分，在开发样本上从不重新拟合（never re-fit），仅计算其表观concordance。
- 要估的对象：Δ = C_ŝ - C_comp，即被选中的模型与固定比较器的真实concordance之差。
可观测数据：
- 可观测：开发样本 {(X_i, T̃_i, δ_i)}_{i=1}^n。研究者可以基于这些数据拟合 K 个Cox模型，计算每个模型的表观concordance Ĉ_m，并选出最优的 ŝ。固定比较器的表观concordance Ĉ_comp 也可直接计算。
- 想要但观测不到：被选中的模型的真实concordance C_ŝ。这是研究者无法直接观测到的，只能通过统计推断（如置信区间）来估计。C_ŝ 是模型在无限总体上的性能，而 Ĉ_ŝ 是在有限样本上的表观性能，两者之差即为乐观度。

第二步：讲最小内核¶

本文的核心思路可以用一个最简特例来理解：假设所有K个候选模型在真实性能上完全相同（即 C_1 = C_2 = ... = C_K，同质性/交换性假设），且固定比较器的真实性能也等于这个共同值（即 Δ = 0 的零假设）。

在这个特例下： 1. 问题是什么？ 研究者从K个性能完全相同的模型中，基于表观性能 Ĉ_m 选出一个“最优”的 ŝ。由于真实性能相同，这个选择完全是靠运气（噪声驱动）。研究者随后声称这个被选中的模型优于固定比较器（即 Δ > 0）。标准实践（single-step bootstrap）会如何表现？ 2. 标准实践（single-step bootstrap）怎么做？ 它只对已经被选中的那个模型 ŝ 进行bootstrap乐观校正。它假设 ŝ 是唯一被考虑的模型，因此其乐观度估计 Opt̂ 只包含了单模型乐观度 b_n。它忽略了这样一个事实：ŝ 之所以被选中，是因为它在K个模型中运气最好，其表观性能 Ĉ_ŝ 不仅包含了自身的过拟合，还包含了“它是K个最大值之一”这一事实带来的额外向上偏差。 3. 为什么标准实践会失败？ 因为被遗漏的“选择乐观度” S(K) 是系统性的。在零假设下，Ĉ_ŝ 是K个独立同分布随机变量的最大值。这个最大值的期望 E[max(Ĉ_1, ..., Ĉ_K)] 大于任何一个单个随机变量的期望 E[Ĉ_1]。这个差值 S(K) = E[max(Ĉ_1, ..., Ĉ_K)] - E[Ĉ_1] 就是“赢家诅咒”项。它的大小取决于K和变量间的相关性。标准实践没有校正这个 S(K)，因此其置信区间会系统地偏向于认为 Δ > 0，导致覆盖率低于名义水平。 4. 本文的“选择感知bootstrap”怎么修复？ 它在每个bootstrap重抽样样本中，重新执行“从K个候选中选最优”的步骤。也就是说，在每个bootstrap样本里，它重新拟合所有K个模型，重新计算它们的表观concordance，重新选出那个样本里的“最优”模型，然后计算其与固定比较器的差值。通过这个过程，bootstrap的乐观度估计 Opt̂ 自然就包含了 S(K) 项，因为它模拟了整个“选择+拟合”的过程。因此，校正后的置信区间能够正确反映选择带来的不确定性，恢复近名义覆盖率。

一句话总结：本文的核心数学困难在于，标准bootstrap只模拟了“拟合一个模型”的随机性，而忽略了“从多个模型中选一个”的随机性。本文的关键想法是，在bootstrap中同时模拟“选择”和“拟合”这两个步骤，从而正确估计总乐观度。

三、这篇论文做了什么¶

三句话¶

研究了什么问题：当从多个候选共病指数构建方案中选出最优的一个，并声称其区分能力（concordance）优于固定基准（如Charlson评分）时，标准bootstrap乐观校正方法（single-step）会因忽略“赢家诅咒”而导致置信区间系统性失准，且该问题不随样本量增大而消失。
核心工具/方法：提出一种“选择感知bootstrap”（selection-aware bootstrap），即在每个bootstrap重抽样样本中，重新执行“从K个候选中选最优”的步骤，同时固定基准模型，从而同时校正单模型过拟合和选择偏差。
主要结论：模拟表明，在候选模型同质、样本量n=150时，标准校正的95%置信区间覆盖率从K=1时的0.94降至K=100时的0.70，而选择感知bootstrap的覆盖率稳定在0.91-0.94，与校准后的交叉验证区间匹配，且在匹配的I类错误率下具有至少同等的功效。

关键设定与假设¶

在第二节最小记号的基础上，补全完整设定：

关键设定：
- 估计量：Δ = C_ŝ - C_comp，这是一个条件于选择结果（post-selection / conditional）的估计量。与之对比的是边际估计量 Δ̄ = E[C_ŝ] - C_comp，后者是选择过程的平均性能。
- 不对称性：被选中的模型是在数据上拟合和选择的（有乐观度），而固定比较器是预先定义好的，从不重新拟合（无乐观度）。标准方法必须尊重这种不对称性。
- 删失处理：主要分析使用Harrell's C，但确认性分析使用Uno's IPCW C，后者对删失分布不敏感。作者指出，选择机制（winner's curse）与使用哪种concordance度量是正交的。
关键假设（Assumption A1）：
- 联合渐近正态性：对于固定的候选集，向量 √n (Ĉ_1 - C_1, ..., Ĉ_K - C_K, Ĉ_comp - C_comp) 依分布收敛于均值为0、协方差矩阵为 Σ 的高斯分布。这是整个理论推导的引擎。该假设基于每个 Ĉ_m 是二阶U-统计量的渐近线性泛函（通过Hájek投影和delta方法），这在DeLong et al. [1988], Uno et al. [2011], Kang et al. [2015] 等工作中是标准结果。
- 正则条件：包括正的可比对概率、唯一的伪真实Cox参数、正定的信息矩阵、非退化（C_m ≠ 1/2）以及不同的标志子集以确保 Σ 正定。这些条件在本文的模拟设计中被满足。
相比已有文献的放宽或强化：
- 放宽：本文没有提出新的渐近理论，而是基于已有的U-统计量渐近理论。
- 强化：本文明确指出了标准实践（single-step）所依赖的隐含假设（即“被选中的模型是唯一被考虑的”）是错误的，并量化了其后果。本文的贡献在于识别并校正了一个被忽视的偏差来源，而非提出全新的统计工具。

主要结果¶

Proposition 1 (乐观度分解)：被选中的模型的总乐观度 Opt(K) 可以分解为单模型乐观度 b_n 和选择乐观度 S(K)。标准实践（single-step）只估计了 b_n，完全遗漏了 S(K)。
Proposition 2 (选择项是期望最大值)：在同质性极限下，S(K) = (σ/√n) * √(1-ρ_eff) * a_K，其中 a_K 是K个独立标准正态随机变量最大值的期望（E[max(Z_1,...,Z_K)]）。这表明选择乐观度的大小与K的增长有关（a_K 随K增长，渐近于 √(2 log K)）。
Proposition 3 (覆盖率缺口是O(1)且不随n消失——核心结果)：标准实践（single-step）的置信区间中心有偏差 S(K)，其与标准误的比值 δ* = S(K)/τ_n 是O(1)的，且不随样本量 n 增大而消失。这意味着覆盖率缺口是结构性的，不是小样本问题。在零假设下，这会导致I类错误率膨胀。例如，在K=100时，单侧假阳性率从名义的0.025膨胀到实测的0.30。
Proposition 4 (修复与精确相等时的注意事项)：选择感知bootstrap通过重放argmax步骤，其乐观度估计包含了 S(K)，从而校正了总乐观度。但在候选模型真实性能精确相等时，n-out-of-n bootstrap对argmax的估计是微妙的，此时推荐使用 m-out-of-n 子抽样（subsampling）作为更原则性的方法。本文的模拟表明，在交换性设定下，选择感知bootstrap的经验校准良好。

证明路线与技术技巧¶

整体路线：
1. 建立引擎：假设候选concordance的联合渐近正态性（Assumption A1）。
2. 分解乐观度：将总乐观度 Opt(K) 分解为单模型项 b_n 和选择项 S(K)（Proposition 1）。
3. 刻画选择项：证明 S(K) 本质上是一个期望最大值问题，其大小由K和相关结构决定（Proposition 2）。
4. 证明结构性：证明 S(K) 与标准误 τ_n 的比值 δ* 是O(1)的，不随n消失，从而说明覆盖率缺口是结构性的（Proposition 3）。
5. 提出修复：论证选择感知bootstrap通过重放选择步骤，其乐观度估计自然包含了 S(K)，从而修复了偏差（Proposition 4）。
关键跳跃点：
- 从“单模型乐观”到“选择乐观”的跳跃：这是本文的核心洞察。作者指出，标准实践隐含地假设 Opt(K) = b_n，而实际上 Opt(K) = b_n + S(K)。这个跳跃点在于认识到“选择”本身是一个额外的随机过程，会引入额外的偏差。
- 证明 δ* 是O(1)的：这是证明覆盖率缺口是结构性的关键。作者通过将 S(K) 和 τ_n 都表达为 O(1/√n) 的量，并证明它们的比值不依赖于n，从而完成了证明。这个证明依赖于联合正态性假设和期望最大值的性质。
技术技巧点名：
- U-统计量的Hájek投影与delta方法：用于建立每个 Ĉ_m 的渐近正态性（引用DeLong et al. [1988], Uno et al. [2011], Kang et al. [2015]）。
- 高斯比较不等式（Slepian / Sudakov-Fernique）：用于在一般相关结构下，用等相关的高斯向量来近似期望最大值，从而得到 S(K) 的近似表达式。
- 期望最大值的渐近理论：a_K = E[max(Z_1,...,Z_K)] 及其渐近形式 √(2 log K)。
- Location-shifted bootstrap percentile interval：用于构造校正后的置信区间（引用Noma et al. [2021]）。
- m-out-of-n bootstrap / subsampling：作为在精确相等情况下，对n-out-of-n bootstrap的替代方案（引用Politis et al. [1999], Bickel and Sakov [2008]）。

真实例子与应用¶

数据/场景：使用美国国家健康与营养调查（NHANES）2005-2010年周期的真实共病-死亡率数据。构建了一个半合成（semi-synthetic）的有限总体覆盖实验。
方法应用：将数据划分为参考集（REF）、评估集（EVAL）和开发池（POOL）。从POOL中抽取开发样本，构建一个由d=4个标志的Cox候选模型组成的库，选出最优模型，并与一个固定的比较器进行比较。在EVAL集上计算真实的concordance差值，用于评估不同区间方法的覆盖率。
结果：
- 在自然、异质的全库（full library）中，标准实践（single-step）的覆盖率接近名义水平（0.89-0.96），这是“安全区”。
- 在构造的、近交换性的子库（near-exchangeable sub-library）中，标准实践的覆盖率显著下降（0.81-0.89），且不随样本量n增大而恢复（δ* 保持在O(1)）。而选择感知bootstrap的覆盖率被修复到0.92-0.98。
这个例子想说明什么：验证了理论机制（Proposition 3）在真实数据协方差结构下同样成立。它表明，当候选模型在真实性能上非常接近（近交换性）时，“赢家诅咒”问题最为严重，标准实践会系统性地失败，而本文提出的修复方法有效。这个例子不是要做出一个关于NHANES死亡率的临床声明，而是为了证明方法的有效性。

🔎 结论是否比证明窄¶

结论比证明窄的地方：论文的主要结论（选择感知bootstrap能恢复近名义覆盖率）在模拟和半合成数据上得到了充分验证。但作者在Proposition 4和Section 7中明确指出，在候选模型真实性能精确相等（exact ties）时，n-out-of-n bootstrap的argmax估计是微妙的，其完整的一致性证明是开放的。作者的经验证据表明，在交换性设定下（近似相等），该方法表现良好，但理论上的严格证明尚未完成。这是一个明确的“结论比证明窄”的例子。
其他窄化：论文的scope仅限于区分度（discrimination），即concordance。作者明确排除了校准度（calibration）和净收益（net benefit）的讨论。因此，关于“模型是否真的增加了价值”的更全面结论，不能仅从本文的concordance分析中得出。

四、开放问题¶

精确相等时的完整一致性证明：本文的Proposition 4和Section 7指出，在候选模型真实性能精确相等时，n-out-of-n bootstrap对argmax的估计是微妙的。一个开放问题是：为选择感知bootstrap在精确相等情况下提供一个完整的一致性证明，并明确所需的 m-out-of-n 子抽样率（m → ∞, m/n → 0）。这扎根于论文的Section 4（Proposition 4的caveat）和Section 7（Limitations and open theory）。
推广到校准度和净收益：本文仅关注区分度（concordance）。一个自然的开放问题是：如何将“选择感知”的思路推广到校准度（calibration）和净收益（net benefit）等更全面的模型评估指标？ 这些指标同样面临“选最优后与固定基准比较”的不对称性问题。这扎根于论文的Section 7（Limitations and open theory）。
在因果推断中的应用：本文的问题设定（从多个模型中选最优）在因果推断中非常普遍，例如从多个工具变量（IV）或多个proximal模型中选最优。一个开放问题是：如何将选择感知bootstrap应用于因果推断中的模型选择后推断，例如为选出的最优IV估计量或DR估计量构建有效的置信区间？ 这扎根于论文的引言部分，它指出了与后选择推断文献的联系，但未涉足因果推断。研究者可以探索这个交叉点。
异质性候选下的理论性质：本文的理论推导（Proposition 2）主要在同质性（exchangeability）假设下进行。模拟显示，在异质性候选下，选择感知bootstrap仍然有效，但理论性质尚不清晰。一个开放问题是：在候选模型真实性能异质的情况下，选择感知bootstrap的乐观度估计是否仍然正确？其与条件估计量（conditional）和边际估计量（marginal）的关系如何？ 这扎根于论文的Section 4（Proposition 4的caveat）和Section 5.3（Attenuation off η=1）。

Maintained by 陈星宇 · Homepage · Source on GitHub