Bias correction models for electronic health records data in the presence of non-random sampling¶
作者: Jiyu Kim, Rebecca Anthopolos, Judy Zhong
主题: 因果推断
相关性: 7/10
链接: https://doi.org/10.1093/biomtc/ujae014
一、领域脉络与小综述¶
这个方向是什么¶
本方向关注的是电子健康记录(EHR)数据中的样本选择偏差(sample selection bias)及其统计校正。EHR 数据并非来自随机抽样——患者进入医疗系统并留下记录的过程受到人口学特征、社会经济地位、就医转诊模式、健康状况等多重因素影响。因此,基于 EHR 数据估计的关联系数(association coefficient)和结果均值(outcome mean)都可能与目标人群的真实值存在系统性偏离。该子方向的核心问题是:在哪些可观测变量(尤其是社会决定因素)可用于建模选择机制的前提下,如何对 EHR 非随机抽样导致的偏差进行校正。当前该领域的成熟度较低——作者明确指出"little work has been done to develop or apply bias-correction methods",且主要障碍在于"most of these factors are unavailable in EHRs"。
发展脉络(history)¶
作者在引言中构建的领域地图大致如下:
-
奠基工作:Heckman 选择模型(Heckman, 1979)。这是整个方法体系的源头。Heckman 模型将样本选择问题视为一个两阶段过程:第一阶段是选择方程(selection equation),决定个体是否进入样本;第二阶段是结果方程(outcome equation),在已进入样本的个体上估计结果变量与协变量的关系。其核心思想是:若选择机制与结果方程误差项相关(即存在未观测的混杂选择因素),则仅用观测样本做回归会产生偏差;通过在结果方程中加入逆米尔斯比率(inverse Mills ratio)作为校正项,可消除该偏差。作者将其作为"经典工具"引入 EHR 场景。
-
主要进展:EHR 选择偏差的文献记录。作者引用了若干工作(如 Goldstein et al.、Russo et al. 等)表明 EHR 非随机纳入问题"已被充分记录"(well documented),但这些工作大多停留在描述偏差存在的层面,而非开发校正方法。这是作者声称的 gap 所在。
-
当前 frontier:社会决定因素(social determinants of health, SDOH)作为选择协变量。作者的核心贡献在于:以往 EHR 偏差校正难以实施,是因为关键选择因素(如社会经济地位)在 EHR 中通常不可得。作者提出将 SDOH(如人口学、社会经济地位、医疗转诊模式等)作为选择协变量纳入抽样概率模型,从而使得 Heckman 型校正方法在 EHR 场景下变得可行。这一思路将"缺失的选择变量"问题转化为"用外部数据(如社区层面的 SDOH 数据)代理"的问题。
-
本文的位置:作者将本文定位为应用导向的方法开发——不是提出新的计量经济学理论,而是将 Heckman 型方法系统性地适配到 EHR 场景,并通过模拟和真实数据(纽约市 EHR 网络)展示其有效性。作者在引言中强调这是一个"gap":方法存在(Heckman),问题已知(EHR 选择偏差),但二者之间缺乏桥梁(如何获得选择变量)。
子线索聚类¶
被引文献大致落在以下三条子线索上:
-
样本选择偏差的计量经济学方法(Heckman 1979 及其后续发展)。这条线索提供核心工具。作者直接借用其两阶段框架,未做理论扩展。
-
EHR 数据在公共卫生研究中的应用与局限(如心血管疾病患病率估计、危险因素关联研究)。这条线索提供问题背景。作者指出 EHR 的"rich clinical information"与"non-random inclusion"之间的张力。
-
社会决定因素与健康结局的关联研究。这条线索提供选择协变量的来源。作者将 SDOH 视为可观测的代理变量,用于建模选择概率。
这个方向在追问的核心问题¶
- 问题 1:EHR 非随机抽样导致的偏差有多大?(作者通过模拟量化)
- 问题 2:在哪些条件下,Heckman 型校正方法能有效消除偏差?(作者通过多种模拟设置检验)
- 问题 3:当选择变量不可直接观测时,能否用 SDOH 代理?(作者的核心创新)
- 问题 4:校正后的估计量在关联系数和结果均值两个目标上分别表现如何?(作者分别报告)
已知瓶颈:选择方程的正确设定(哪些变量进入选择模型)、排除性约束(exclusion restriction)的合理性、以及 SDOH 代理变量与真实选择机制之间的距离。
⚠️ 作者的 framing(必须明确标注为"这是作者的说法")¶
作者将缺口 frame 成:"EHR 选择偏差已被充分记录,但缺乏可实施的校正方法,因为关键选择变量在 EHR 中不可得。我们提出用 SDOH 作为选择协变量,从而使得 Heckman 型校正成为可能。"
这一 framing 淡化了以下竞争路线: - 倾向得分加权(propensity score weighting)或逆概率加权(IPW):这些方法在观察性研究中广泛用于处理非随机抽样,但作者未在引言中讨论为何 Heckman 型优于 IPW。 - 多重插补或数据融合方法:将 EHR 与外部代表性调查数据(如 NHANES)结合,可能直接绕过选择偏差问题,但作者未提及。 - 半参数或非参数选择模型:作者完全依赖 Heckman 的参数正态假设,未讨论更灵活的选择模型。
值得研究者去查的问题:为什么作者没有引用或讨论 IPW 作为替代方案?在 EHR 场景下,IPW 需要估计每个个体的入选概率,而 Heckman 只需要建模选择方程——两者的数据需求差异是什么?是否存在已发表的 EHR 偏差校正工作使用 IPW 而未被作者引用?
张力¶
未见明显对立引用。作者引用的工作之间没有在略不同条件下得出相反结论的情况。唯一的潜在张力是:作者声称"little work has been done"(很少工作做过),但 EHR 选择偏差本身"well documented"(已被充分记录)——这两者之间的落差正是作者要填补的 gap,而非文献间的矛盾。
二、最核心、最简单的例子 / 数学问题¶
第一步:把符号、模型、可观测数据交代清楚¶
符号:
- \(Y\):结果变量(如心血管疾病患病指示变量或连续风险评分)。这是感兴趣的 estimand 的一部分——我们想估计其在目标人群中的均值 \(E[Y]\) 或与协变量 \(X\) 的关联。
- \(X\):结果方程中的协变量向量(如年龄、性别、临床指标)。可观测。
- \(Z\):选择方程中的协变量向量(如人口学、社会经济地位、医疗转诊模式)。可观测(或可从外部数据源获取)。注意 \(Z\) 可能包含 \(X\) 的子集,也可能包含 \(X\) 之外的变量(排除性约束变量)。
- \(S\):样本选择指示变量,\(S=1\) 表示个体进入 EHR 样本,\(S=0\) 表示未进入。可观测(我们知道谁在样本里)。
- \(\rho\):选择方程误差项与结果方程误差项的相关系数。不可观测,是 Heckman 模型的核心参数——若 \(\rho \neq 0\),则存在选择偏差。
- \(\beta\):结果方程中的回归系数(关联系数的 estimand)。
- \(\gamma\):选择方程中的回归系数。
- \(\lambda(\cdot)\):逆米尔斯比率(inverse Mills ratio),\(\lambda(u) = \phi(u)/\Phi(u)\),其中 \(\phi\) 和 \(\Phi\) 分别是标准正态的密度和分布函数。
模型(Heckman 两阶段):
选择方程(潜变量形式):
结果方程(仅在 \(S=1\) 时观测到 \(Y\)):
误差项假设:
可观测数据:研究者观测到 \((Y, X, Z, S)\) 对 \(S=1\) 的个体(即 EHR 中的患者),以及 \((X, Z, S=0)\) 对未进入样本的个体(如果可以从外部数据源获得选择方程中 \(Z\) 的分布信息)。关键点:\(Y\) 仅在 \(S=1\) 时被观测,而 \(Z\) 可能对所有个体(或至少其分布)已知。
关键识别条件: 1. 选择方程和结果方程的误差项服从联合正态(参数假设)。 2. 存在至少一个变量在 \(Z\) 中但不在 \(X\) 中(排除性约束),否则模型仅靠分布假设识别,非常脆弱。 3. \(Z\) 的分布(或至少其与 \(S\) 的联合分布)在非样本个体上可知或可估计。
第二步:讲最小内核¶
最小特例:假设我们只有一个二值结果 \(Y \in \{0,1\}\)(如是否患心血管疾病),一个结果协变量 \(X\)(如年龄),一个选择协变量 \(Z\)(如社区中位收入,作为 SDOH 代理),且 \(Z\) 与 \(X\) 不重叠(满足排除性约束)。目标:估计 \(E[Y]\)(患病率)和 \(\beta\)(年龄与患病率的关联)。
问题退化为什么:如果我们天真地用 EHR 样本计算患病率 \(\bar{Y}_{\text{EHR}} = \frac{1}{n}\sum_{i:S_i=1} Y_i\),由于 \(S\) 与 \(Y\) 相关(例如,更健康的个体更少就医),\(\bar{Y}_{\text{EHR}}\) 是 \(E[Y]\) 的有偏估计。Heckman 校正的核心是:利用选择方程估计每个个体进入样本的概率,然后在校正结果方程时纳入这一信息。
为什么成立(直觉):在联合正态假设下,给定 \(S=1\) 时 \(Y\) 的条件期望为:
第二项 \(\rho \sigma_Y \lambda(Z\gamma)\) 就是选择偏差的解析表达式。若 \(\rho = 0\)(无选择偏差),则退化为普通回归;若 \(\rho \neq 0\),则忽略 \(\lambda(Z\gamma)\) 项会导致遗漏变量偏差。Heckman 的两步法就是:第一步用 Probit 回归估计 \(\gamma\),得到 \(\hat{\lambda}\);第二步在结果方程中加入 \(\hat{\lambda}\) 作为回归元,得到 \(\beta\) 的一致估计。
最小内核的数学命题:在联合正态假设和排除性约束下,两步估计量 \((\hat{\beta}, \hat{\rho})\) 是 \(\beta\) 和 \(\rho\) 的一致估计量(Heckman, 1979)。本文的贡献在于:将 \(Z\) 具体化为 SDOH 变量,并模拟验证在 EHR 场景下该方法的有限样本表现。
本文的一般化:作者将上述框架推广到多种设定——连续结果与二值结果、不同的选择机制强度(\(\rho\) 的大小)、不同的 SDOH 变量组合、以及结果均值和关联系数两个目标。但核心机制与最小特例完全相同。
三、这篇论文做了什么¶
三句话¶
① 研究了什么问题:EHR 数据因非随机抽样导致的选择偏差,能否通过纳入 SDOH 作为选择协变量的 Heckman 型方法得到有效校正?
② 核心工具 / 方法:一系列基于 Heckman 两阶段模型的偏差校正方法——第一阶段用 Probit 建模 EHR 纳入概率(以 SDOH 为协变量),第二阶段在结果方程中纳入逆米尔斯比率以校正偏差;同时估计校正后的结果均值和关联系数。
③ 主要结论:在多种模拟设置下,所提出的方法能有效降低关联系数和结果均值的偏差;在纽约市 EHR 网络中估计心血管疾病患病率及其与危险因素的关联时,校正后的估计与已知流行病学模式一致。
关键设定与假设¶
- 选择方程:\(P(S=1|Z) = \Phi(Z\gamma)\),即 Probit 模型。\(Z\) 包含 SDOH 变量(人口学、社会经济地位、医疗转诊模式等)。
- 结果方程:\(Y = X\beta + \varepsilon_Y\),\(X\) 为临床协变量。
- 联合正态假设:\((\varepsilon_S, \varepsilon_Y)\) 服从二元正态分布,相关系数为 \(\rho\)。这是 Heckman 模型的标准假设,也是本文方法有效性的关键前提。
- 排除性约束:\(Z\) 中至少有一个变量不在 \(X\) 中(即影响选择但不直接影响结果)。作者在模拟中设定 SDOH 变量满足此条件。
- 相比已有文献:本文没有放宽 Heckman 模型的任何理论假设,而是将 SDOH 作为 \(Z\) 的具体实现,解决了"选择变量不可得"的实际障碍。这是应用层面的适配,而非理论创新。
主要结果¶
- 模拟研究:作者在多种设置下比较了朴素估计(直接用 EHR 样本回归)与 Heckman 校正估计。结果显示:
- 当 \(\rho \neq 0\)(存在选择偏差)时,朴素估计的偏差随 \(\rho\) 增大而增大;Heckman 校正显著降低偏差。
- 校正效果在结果均值(患病率)上尤为明显——朴素估计可能严重低估或高估患病率,取决于选择机制的方向。
- 关联系数的校正效果相对温和,但仍优于朴素估计。
-
方法的有效性依赖于选择方程的正确设定和排除性约束的满足。
-
真实数据应用:纽约市 EHR 网络数据。作者估计了心血管疾病患病率及其与危险因素(如高血压、糖尿病、吸烟等)的关联。校正后的患病率估计与外部基准(如行为风险因素监测系统 BRFSS 数据)更为接近,而未校正的 EHR 估计存在明显偏差。
证明路线与技术技巧¶
本文为应用型论文,无新定理证明。其"技术"在于:
- Heckman 两步法的实施细节:第一步 Probit 回归估计 \(\gamma\),计算逆米尔斯比率 \(\hat{\lambda}_i = \phi(Z_i\hat{\gamma})/\Phi(Z_i\hat{\gamma})\);第二步将 \(\hat{\lambda}_i\) 作为额外回归元加入结果方程。标准误需校正(因 \(\gamma\) 是估计值),作者使用 Heckman 提出的渐近方差公式或 bootstrap。
- 结果均值的校正:\(E[Y]\) 的估计不是简单地对 \(Y\) 求平均,而是利用校正后的回归模型预测所有个体的 \(Y\)(包括未进入样本的个体),再取平均。这需要知道(或估计)\(Z\) 在目标人群中的分布。
- 模拟设计:作者系统变化 \(\rho\)、样本量、SDOH 变量的预测力、排除性约束的强度等,以刻画方法的适用边界。
- 真实数据中的 SDOH 构建:将社区层面的 SDOH 数据(如中位收入、教育水平、保险覆盖率)与个体层面的 EHR 记录匹配,作为 \(Z\) 的代理。
🔎 结论是否比证明窄¶
- 作者在摘要和引言中声称方法能"correcting biases in both the association coefficient and the outcome mean",但模拟结果仅在特定设定下验证了这一点。当选择方程设定错误(如遗漏关键 SDOH 变量)或排除性约束不满足时,校正效果可能退化甚至恶化——作者在模拟中可能部分涉及,但结论表述未充分限定这些条件。
- 作者声称"augments the utility of EHRs for public health inferences",但真实数据应用仅展示了点估计的变化,未提供与外部基准的正式统计比较(如置信区间是否重叠、差异是否显著)。
- 本文未讨论未观测混杂(unmeasured confounding)与选择偏差的交互——即使校正了选择偏差,EHR 中的关联估计仍可能因未观测混杂而有偏。作者未在结论中明确这一限制。
四、开放问题¶
-
选择方程的正确设定:本文依赖 SDOH 变量作为 \(Z\),但哪些 SDOH 变量应进入选择方程?模型选择标准是什么?——扎根于作者对"most of these factors are unavailable in EHRs"的讨论,以及模拟中对 \(Z\) 构成的敏感性分析(若有)。
-
排除性约束的合理性:本文假设存在至少一个变量影响选择但不影响结果。在 EHR 场景中,哪些 SDOH 变量天然满足这一条件?如何检验?——扎根于 Heckman 模型的标准识别条件在 EHR 场景下的适用性。
-
与 IPW 或倾向得分方法的比较:作者未讨论 IPW 作为替代方案。在 EHR 场景下,Heckman 型与 IPW 型校正的数据需求、假设强度和有限样本表现有何差异?——扎根于引言中未提及的竞争路线。
-
半参数推广:本文依赖二元正态假设。若放松该假设,能否用半参数方法(如 Newey 等人的系列估计器)识别选择偏差?——扎根于 Heckman 模型的正态假设这一关键前提。
-
纵向 EHR 数据中的选择偏差:本文处理的是横截面设定。当 EHR 数据跨越多个时间点、个体可能中途退出或进入时,选择机制如何建模?——扎根于作者在真实数据应用中使用的横截面患病率估计。
提示:要确认上述某条是否是真 gap,建议去读 EHR 偏差校正子领域近期约 5 篇论文的引言——若多篇都指向同一问题(如"SDOH 代理变量的选择标准"),则为共识性 gap;若各篇给出的答案互相矛盾,则为机会型 gap。
Maintained by 陈星宇 · Homepage · Source on GitHub