A counterfactual framework for estimating infectious disease prevalence under repeated testing with symptomatic and contact-tracing components¶
作者: Jeongjin Lee, Junke Yang, Grzegorz A. Rempala, Patrick M. Schnell
来源: Annals of Applied Statistics
主题: 因果推断
相关性: 6/10
机构绿灯: Ohio State University(US News 前 50,免分进入精读)
链接: 期刊页 · arXiv
一、领域脉络与小综述¶
这个方向是什么¶
本文所处的子方向是基于纵向检测数据的传染病患病率估计。其根本科学问题是:当一个机构(如大学、企业)实施重复检测项目时,如何从"谁被检测了、检测结果是什么"这些观测数据中,无偏地估计目标人群的真实患病率(prevalence)。这个问题的统计困难在于:检测行为本身不是随机的——有症状的人更可能去检测,接触过确诊者的人更可能被追踪检测,而这两类人恰好又是感染风险更高的人群。因此,简单计算"检测阳性率"(test-positive rate, TPR)会产生系统性偏差。该方向当前处于"方法发展期":已有工作(Schnell, Wascher and Rempala, 2024)处理了纯定期检测(scheduled testing)下的偏差问题,但将检测过程扩展到症状驱动和接触追踪等"偏好性检测"(preferential testing)机制,仍是开放问题。本文正是要填补这一缺口。
发展脉络¶
- 奠基工作:传染病动力学的数学建模。Kermack 和 McKendrick (1927) 的 SIR 模型奠定了用微分方程描述易感-感染-移除过程的框架。这是所有后续传染病统计建模的概念基础,但它描述的是人群层面的确定性过程,不涉及个体层面的检测机制和选择偏差。
- 主要进展:纵向检测数据中的选择偏差识别。Schnell, Wascher and Rempala (2024) 首次系统性地指出:在纵向定期检测项目中,即使检测是随机安排的,隔离政策也会导致检测人群不再代表总体——因为阳性个体被移除,剩余人群的感染风险被稀释。他们提出了 Horvitz-Thompson(HT)估计量,通过逆概率加权校正检测机制造成的选择偏差。这是本文的直接前作,本文的框架建立在它之上。
- 相关线索:结果依赖抽样(outcome-dependent sampling, ODS)。Schildcrout 和 Heagerty (2008, 2011) 以及 Schildcrout et al. (2012) 研究了纵向二元响应数据中,抽样概率依赖于观测结果或辅助变量的设计问题。这与本文的"检测概率依赖于症状/接触状态"在结构上高度相似,但 ODS 文献关注的是参数回归模型的效率,而非患病率的无偏估计。
- 相关线索:传染病传播的个体层面建模。Kenah (2009, 2012, 2015, 2019) 和 Sharker et al. (2024) 发展了基于接触间隔(contact interval)的成对生存模型,从个体层面刻画传播过程。这类模型可以显式建模"谁感染了谁",但需要更丰富的数据(如接触追踪网络),且估计复杂度高。本文明确将这类模型列为未来扩展方向,而非当前框架的组成部分。
- 当前 frontier 与本文位置:当前前沿是处理"检测机制随感染状态动态变化"的复杂场景。本文的贡献在于:将 Schnell et al. (2024) 的框架从纯定期检测推广到包含症状驱动和接触追踪的混合检测机制,并利用反事实(counterfactual)框架和单世界干预图(SWIG)来形式化证明 HT 估计量的无偏性条件。本文的位置是"前作的推广 + 因果推断工具的形式化"。
子线索聚类¶
- 检测机制与选择偏差(本文主线):Schnell et al. (2024)、本文。核心问题是检测概率如何依赖于感染状态和协变量,以及如何通过加权校正偏差。
- 结果依赖抽样设计(方法学近亲):Schildcrout and Heagerty (2008, 2011)、Schildcrout et al. (2012)。关注抽样概率依赖结果时的参数估计,但目标 estimand 不同(回归系数 vs. 患病率)。
- 传染病传播的个体层面建模(未来扩展方向):Kenah (2009, 2012, 2015, 2019)、Sharker et al. (2024)。显式建模传播动力学,可与本文的人群层面框架互补。
- 应用与政策评估:Baker, Wilson and Anglemyer (2020)、Kahanec et al. (2021)、Chang et al. (2020)、Rosella et al. (2022)、Mack et al. (2021)。这些是 COVID-19 期间的实际检测项目报告,提供了本文方法的应用背景和数据来源。
这个方向在追问的核心问题¶
- 可识别性:在何种条件下,观测检测数据足以识别真实患病率?需要哪些假设(如检测机制已知、无未测量的混杂)?
- 估计方法:如何构造无偏或近似无偏的估计量?HT 加权是否是最优的?能否达到半参数效率界?
- 稳健性:当检测机制被错误设定、或存在未观测的异质性时,估计量有多敏感?
- 动态扩展:如何将人群层面的患病率估计与个体层面的传播模型(如 Kenah 的成对生存模型)结合,实现更精确的疫情监测?
已知瓶颈:检测概率通常只能从观测数据中间接估计(因为感染状态本身是潜在的),这导致权重估计本身带有不确定性;此外,当分层变量过多时,稀疏性问题(某些层内检测人数为零)会破坏 HT 估计量的有限样本性质。
⚠️ 作者的 framing¶
作者将缺口 frame 成:"Schnell et al. (2024) 的 HT 估计量只处理了定期检测,但实际项目中检测概率依赖于症状和接触追踪状态,这违反了原有的假设。我们通过反事实框架将观测检测过程与一个'感染被预防'的反事实世界联系起来,从而在无需显式建模传播动力学的情况下,实现无偏估计。" 作者淡化了以下竞争路线:(1) 显式建模传播动力学的 SEIR 类方法(需要更多假设和计算);(2) 将检测视为结果依赖抽样的 ODS 方法(目标 estimand 不同)。作者强调其方法的优势在于"无需建模传播动力学"和"可非参数化处理检测机制"。
张力¶
未见明显对立引用。但存在一个值得注意的张力:Schnell et al. (2024) 的原始框架假设检测概率只依赖于时间,而本文将其推广到依赖症状和接触状态。这两者并不矛盾,但本文的推广需要更强的数据要求(观测到症状和接触状态),且引入了额外的假设(如症状报告的无误差性)。作者在文中承认了这一点,但未深入讨论当症状报告存在误差时的后果。
二、最核心、最简单的例子 / 数学问题¶
第一步:符号、模型、可观测数据¶
符号(逐个点名):
- 时间与人群:\(t = 0, 1, \ldots, T\) 为离散时间点;\(i = 1, \ldots, M\) 为个体索引;\(M\) 为总人口数。
- 状态变量:\(W_i(t)\)、\(I_i(t)\)、\(R_i(t)\) 分别为个体 \(i\) 在时间 \(t\) 是否处于 Well(未感染)、Infectious(感染且有传染性)、Removed(已移除/隔离/康复)状态的指示变量。三者互斥且完备:\(W_i(t) + I_i(t) + R_i(t) = 1\)。注意:\(I_i(t)\) 是潜在的(不可直接观测),只能通过检测推断。
- 暴露变量:\(X_{i\ell}\) 为个体 \(i\) 的第 \(\ell\) 次暴露时间;\(X_i = \min_\ell X_{i\ell}\) 为首次暴露时间(\(X_i = \infty\) 表示从未暴露)。\(X_i(t) = \mathbb{1}[X_i \le t]\) 为截至 \(t\) 的累积暴露指示。
- 检测变量:\(D_i(t) \in \{0, 1\}\) 为个体 \(i\) 在时间 \(t\) 是否被检测;\(Z_{ik}\) 为第 \(k\) 次检测的时间;\(K_i(t) = \max\{k : Z_{ik} < t\}\) 为 \(t\) 之前最后一次检测的序号。
- 检测结果:\(Y_i(t) \in \{0, 1\}\) 为检测结果(1 = 阳性)。在完美检测假设下,\(Y_i(t) = 1\) 当且仅当 \(I_i(t) = 1\) 且 \(D_i(t) = 1\)。
- 症状与接触追踪:\(S_i(t) \in \{0, 1\}\) 为个体 \(i\) 在时间 \(t\) 是否有症状;\(Q_i(t) \in \{0, 1\}\) 为个体 \(i\) 在时间 \(t\) 是否被识别为接触者。这两个变量影响检测概率。
- 共享环境:\(B\) 为观测到的共享环境因素(如宿舍楼),\(V\) 为未观测的共享健康因素。\(B\) 影响检测行为,\(V\) 影响感染状态。
- 检测历史:\(\bar{D}_i(t) = (D_i(1), \ldots, D_i(t))\),\(\bar{Y}_i(t)\)、\(\bar{S}_i(t)\)、\(\bar{Q}_i(t)\) 类似定义。
- 目标 estimand:患病率 \(p(t) = \frac{I_+(t)}{M - R_+(t)}\),即在非移除人群中的感染比例。注意 \(I_+(t) = \sum_i I_i(t)\),\(R_+(t) = \sum_i R_i(t)\)。
- 检测概率:\(\pi_i(t) = \Pr[D_i(t) = 1 \mid \text{历史信息}]\),这是 HT 估计量的权重基础。
- 反事实量:\(D^{\bar{x}^{t-1}=0}_i(t)\) 表示在"截至 \(t-1\) 所有暴露被阻止"的反事实世界中的检测指示;\(Y^{\bar{x}^{t-1}=0}_i(t)\) 类似。\(W^{\bar{x}^{t-1}=0}_i(t)\) 为反事实 Well 状态。
模型(数据生成机制):
- 感染过程:个体 \(i\) 在时间 \(t\) 的感染状态由暴露历史 \(X_i(t)\) 决定。\(X_i(t)\) 受共享未观测因素 \(V\) 影响(例如,宿舍楼的通风条件影响病毒传播)。
- 检测过程:检测指示 \(D_i(t)\) 由以下因素决定:
- 定期检测:由机构政策决定(如每周一次),可能依赖于上次检测时间 \(Z_{i,K_i(t)}\)。
- 症状驱动检测:\(D_i(t) = 1\) 如果 \(S_i(t) = 1\)(有症状者被检测)。
- 接触追踪检测:\(D_i(t) = 1\) 如果 \(Q_i(t) = 1\)(被识别为接触者)。
- 共享环境 \(B\) 影响检测资源的分配(如某些宿舍楼检测更频繁)。
- 检测结果:在完美检测假设下,\(Y_i(t) = D_i(t) \cdot I_i(t)\)。在非完美检测下(假设 9),\(Y_i(t) = D_i(t) \cdot [F_i(t) \cdot I_i(t) + (1 - G_i(t)) \cdot (1 - I_i(t))]\),其中 \(F_i(t)\) 为灵敏度、\(G_i(t)\) 为特异度。
可观测数据:对每个个体 \(i\) 和时间 \(t\),观测到 \(D_i(t)\)、\(Y_i(t)\)(当 \(D_i(t)=1\))、\(S_i(t)\)、\(Q_i(t)\)、\(B\),以及移除状态 \(R_i(t)\)(由阳性检测推断)。不可观测:\(I_i(t)\)(真实感染状态)、\(X_i(t)\)(暴露时间)、\(V\)(未观测共享因素)。
第二步:最小内核¶
核心问题:我们想估计 \(p(t) = \Pr[I_i(t) = 1 \mid R_i(t) = 0]\),但只能观测到检测结果。检测不是随机的——有症状或接触过确诊者的人更可能被检测,而这些人感染概率更高。因此,检测阳性率 \(\widehat{TPR}(t) = \frac{\sum_i Y_i(t)}{\sum_i D_i(t)}\) 会高估真实患病率。
最小例子:假设 \(M = 1000\) 人,某天有 10 人感染(\(p(t) = 1\%\))。其中 5 人有症状(全部感染),5 人无症状(全部感染)。检测政策:有症状者全部检测,无症状者随机检测 \(1/5\)。则检测人数 \(= 5 + 5 \times \frac{1}{5} \times 995 \approx 5 + 995/5 = 204\)(近似),阳性数 \(= 5 + 5 = 10\),TPR \(\approx 10/204 \approx 4.9\%\),远高于真实患病率 \(1\%\)。
HT 估计量的思想:每个被检测个体的"代表性"不同——有症状者被检测概率为 1,无症状者被检测概率为 \(1/5\)。因此,给无症状阳性个体权重 5,有症状阳性个体权重 1,则加权阳性数 \(= 5 \times 1 + 1 \times 5 = 10\),加权检测人数 \(= 5 \times 1 + 995 \times \frac{1}{5} \times 5 = 5 + 995 = 1000\),HT 估计 \(\hat{p}_{HT}(t) = 10/1000 = 1\%\),无偏。
关键困难:检测概率 \(\pi_i(t) = \Pr[D_i(t) = 1 \mid \text{历史}]\) 通常未知,且依赖于感染状态(有症状者更可能检测)。本文的核心贡献是证明:在特定假设下,\(\pi_i(t)\) 可以通过观测数据估计,且 HT 估计量无偏。具体地,定理 4 表明,当检测概率可以表示为观测协变量(症状、接触状态、上次检测时间)的函数时,HT 估计量在给定这些协变量的条件下无偏。定理 5 进一步表明,即使感染状态 \(I_i(t)\) 未观测,检测概率也可以通过反事实世界的等价关系来识别。
数学上最难的点:检测过程与感染过程是联合依赖的(感染导致症状,症状导致检测,检测导致隔离,隔离改变未来感染风险)。这种反馈循环使得简单的逆概率加权失效。本文的解决思路是:将检测过程视为一个"干预"(treatment),利用 SWIG 将观测世界与反事实世界(无感染世界)联系起来,从而将联合依赖分解为可处理的因果结构。
三、这篇论文做了什么¶
三句话¶
- 研究了什么问题:在包含定期、症状驱动和接触追踪三种检测机制的纵向检测项目中,如何无偏估计传染病患病率。
- 核心工具/方法:反事实框架(counterfactual framework)+ 单世界干预图(SWIG)+ Horvitz-Thompson 逆概率加权估计量,将观测检测过程与"感染被预防"的反事实世界联系起来。
- 主要结论:在检测概率可识别(由观测协变量决定)且满足一致性、交换性等因果假设的条件下,所提出的 HT 估计量是患病率的无偏估计量;模拟和俄亥俄州立大学(OSU)2020 年秋季真实数据分析验证了其优于朴素 TPR 和忽略偏好性检测的旧 HT 估计量。
关键设定与假设¶
在第二节最小记号的基础上,本文的完整设定包括:
- 状态框架:离散时间、三状态(Well/Infectious/Removed),个体间通过共享环境 \(B\) 和未观测因素 \(V\) 产生依赖。
- 检测机制:检测指示 \(D_i(t)\) 由三个并行的"问题"决定——是否有症状(\(S_i(t)\))、是否被接触追踪(\(Q_i(t)\))、是否轮到定期检测。三者任一为真则检测。
- 假设 1(无未检测恢复):感染者不能直接回到 Well 状态,必须经过 Removed。这保证了状态转换的可追踪性。
- 假设 2(完美检测):灵敏度和特异度均为 1。本文在 4.4 节(假设 9)放宽为已知的随机灵敏度和特异度。
- 假设 5(ITOS):给定个体自身状态和协变量,检测概率不依赖于他人的状态。这是 HT 估计量无偏性的关键。
- 假设 7(一致性):观测检测指示等于反事实检测指示(当反事实世界与观测世界在相关变量上一致时)。
- 假设 8(交换性):反事实检测指示与观测感染状态独立,给定观测协变量。这排除了未观测混杂因素同时影响感染和检测。
- 假设 10(条件独立性):给定协变量,检测概率不依赖于未来的感染状态。
相比 Schnell et al. (2024),本文的推广在于:(1) 允许检测概率依赖症状和接触追踪状态(而非仅依赖时间);(2) 通过 SWIG 形式化了反事实推理,使得假设的因果含义更清晰;(3) 引入了共享环境 \(B\) 和未观测因素 \(V\),允许个体间依赖。
主要结果¶
定理 1(无偏好性检测下的 HT 估计量):在完美检测、ITOS、正性假设下,\(\hat{W}^{HT}_+(t) = \sum_i \frac{D_i(t)(1 - Y_i(t))}{\pi_i(t)}\) 是 \(W_+(t)\) 的无偏估计量。这里 \(\pi_i(t) = \Pr[D_i(t) = 1 | W_i(t) = 1]\) 是 Well 状态下的检测概率。
定理 4(含偏好性检测的 HT 估计量):在假设 1、2、5、7、8、10 下,使用条件检测概率 \(\pi_i(t) = \Pr[D_i(t) = 1 | W_i(t) = 1, \Sigma_i(c,t) = \sigma_{i,c,t}]\)(其中 \(\Sigma_i(c,t)\) 包含症状、接触追踪、上次检测时间等协变量),HT 估计量 \(\hat{W}^{HT}_+(t) = \sum_i \frac{D_i(t)(1 - Y_i(t))}{\pi_i(t)}\) 是无偏的。关键点:即使检测概率依赖于感染状态(通过症状),只要这种依赖完全由观测协变量 \(\Sigma_i(c,t)\) 介导,加权就能消除偏差。
定理 5(检测概率的识别):在一致性、交换性假设下,\(\Pr[D_i(t) = 1 | W_i(t) = 1, \Sigma_i(c,t) = \sigma_{i,c,t}] = \Pr[D^{\bar{x}^{t-1}=0}_i(t) = 1 | \Sigma_i(c,t) = \sigma_{i,c,t}]\),即 Well 状态下的检测概率等于反事实世界(无感染)中的检测概率。这允许从观测数据中估计检测概率,因为反事实世界中的检测概率可以通过模拟检测协议获得(当检测机制已知时)或从无感染人群(如疫情前数据)中估计。
定理 6(含症状和接触追踪的等价性):将定理 3 推广到包含症状和接触追踪的情形,证明反事实条件风险函数等于观测条件风险函数,从而允许使用观测数据估计检测概率。
推论 1:在定理 6 的条件下,检测概率的估计可以通过观测数据中的条件风险函数递归计算。
技术难点与解决: - 难点 1:检测概率 \(\pi_i(t)\) 依赖于未观测的 Well 状态 \(W_i(t)\)。解决:通过反事实等价(定理 5),将 \(\pi_i(t)\) 转化为反事实世界中的检测概率,后者可由检测协议或历史数据确定。 - 难点 2:感染和检测的联合依赖导致简单的加权失效。解决:利用 SWIG 将联合依赖分解为"感染→症状→检测"和"检测→隔离→未来感染"两个方向,通过条件独立假设(假设 8、10)切断反馈循环。 - 难点 3:分层变量过多导致稀疏性。解决:采用"最近一次清除时间 \(c\) + 最近一次症状/接触时间 \(s\)"的二维分层,而非完整历史,在偏差和方差之间取得平衡。
模拟与真实数据¶
- 模拟:设置 10,000 人、5000 个两人宿舍、21 天,四种检测方案(简单随机、每周一次、最大间隔、最小间隔),加入症状驱动和接触追踪。比较 TPR、HT(Old,即 Schnell et al. 2024 的方法)和 HT(Proposed)。结果显示:TPR 在所有方案下均有显著正偏差(最高达 3 倍);HT(Old)在无偏好性检测时无偏,但在有症状/接触追踪时出现偏差;HT(Proposed)在所有方案下近似无偏,RMSE 最低,覆盖率接近 95%。
- OSU 数据:11,335 名住校本科生,2020 年秋季学期。HT(Proposed)估计的患病率在学期中后期显著低于 TPR 和 HT(Old),且与校园疫情事件的时间趋势更吻合。作者特别指出,在 9 月初(开学后)HT(Proposed)估计的患病率约为 TPR 的一半,说明症状驱动检测的偏差在真实数据中确实存在。
🔎 结论是否比证明窄¶
- 明确承认的局限:作者在讨论部分承认,HT(Proposed)估计量的无偏性依赖于检测概率的正确设定。如果检测概率模型被错误设定(例如遗漏了某个影响检测的协变量),偏差仍然存在。此外,假设 8(交换性)要求没有未观测的混杂因素同时影响感染和检测,这在现实中很难保证(例如,个人风险意识可能同时影响防护行为和检测意愿)。
- 证明与结论的差距:定理 4 和 5 的证明假设检测概率是已知的或可从协议中精确计算。但在"检测机制不完全已知"的设定下(4.3 节),作者仅提出了一种估计方法,并未给出该估计量的渐近性质(如相合性、渐近正态性)。模拟中检测概率是从已知协议中计算的,因此并未真正检验"估计检测概率"这一环节的误差传播。
- 被泛化的表述:摘要和引言中声称"无偏估计"(unbiased estimation),但严格来说,定理 4 的无偏性是条件无偏性(给定 \(\Sigma_i(c,t)\)),且依赖于所有假设同时成立。在真实数据中,这些假设(特别是完美检测和交换性)几乎肯定被违反,因此实际偏差可能不为零。作者在讨论中承认了这一点,但摘要的表述可能让读者高估方法的稳健性。
四、开放问题¶
以下问题均扎根于本文的具体语句:
-
检测概率的估计误差:本文在 4.3 节提出当检测机制不完全已知时,需从数据中估计检测概率,但未给出该估计量的渐近理论。要证明什么:在何种条件下,基于估计的检测概率构造的 HT 估计量仍然相合?其收敛速度如何?是否可以达到 \(\sqrt{n}\) 速率?(扎根于 4.3 节 "Estimating Testing Probabilities from Data" 及定理 5 的证明假设。)
-
未观测混杂的敏感性分析:假设 8(交换性)要求没有未观测混杂。本文未提供任何敏感性分析工具来评估违反该假设时的偏差方向与大小。要做什么:发展一个敏感性分析框架(如 E-value 或偏差界限),量化未观测混杂对患病率估计的影响。(扎根于假设 8 的陈述及讨论部分对局限性的承认。)
-
非完美检测的扩展:假设 9 引入了随机灵敏度和特异度,但本文未讨论当灵敏度和特异度依赖于感染阶段(如早期感染检测不到)时的识别问题。要做什么:将模型扩展到状态依赖的检测误差,并研究患病率的可识别性条件。(扎根于 4.4 节对假设 9 的引入。)
-
个体层面传播模型的整合:本文在讨论中明确将 Kenah (2011, 2015, 2019) 的成对生存模型列为未来方向。要做什么:将本文的人群层面 HT 估计量与个体层面的接触间隔模型结合,实现感染风险和检测机制的联合推断。(扎根于讨论部分 "Future work will extend this population-level framework to individual-level pairwise survival models"。)
-
稀疏分层的正则化:本文的分层变量(清除时间、症状时间)随时间增长,可能导致稀疏性问题。作者在讨论中提到"coarsening, pooling, or regularization"作为应对策略,但未给出具体方法。要做什么:发展一种自适应分层或正则化方法,在高维分层下保持 HT 估计量的稳定性。(扎根于讨论部分对稀疏性的讨论。)
提醒:要确认上述问题是否为真 gap,建议去读以下近期文献的引言部分(各约 5 篇):(1) 传染病监测中的因果推断方法(关键词:causal inference, infectious disease surveillance);(2) 结果依赖抽样的现代发展(关键词:outcome-dependent sampling, longitudinal binary data);(3) 敏感性分析在观测研究中的最新进展(关键词:sensitivity analysis, unmeasured confounding)。如果这些文献的引言都指向同一个未解决问题,那大概率是共识性 gap;如果它们各说各话,那可能是一个尚未成型的领域,机会与风险并存。
Maintained by 陈星宇 · Homepage · Source on GitHub