跳转至

Bias due to Berkson error: issues when using predicted values in place of observed covariates

作者: Gregory Haber, Joshua Sampson, Barry Graubard
来源: Biostatistics
主题: 因果推断
相关性: 7/10
链接: https://doi.org/10.1093/biostatistics/kxaa002

一、领域脉络与小综述

这个方向是什么

本子方向研究的是测量误差（measurement error） 对统计推断的影响，特别是当协变量存在Berkson 误差时，用预测值（predicted values）替代真实观测值进行回归分析是否可靠。Berkson 误差是一种特殊的测量误差模型，其核心特征是：真实值 = 预测值 + 误差，且误差与预测值独立（而非与真实值独立，这是经典的 classical error 模型）。该方向当前成熟度较高，已有大量理论结果证明在特定假设下（如线性模型、误差与结果独立），Berkson 误差不会导致有偏推断。但本文指出，当存在未观测混杂（unmeasured confounding） 时，这一经典结论不再成立。

发展脉络（history）

  • 奠基工作：Berkson (1950) 首次提出 Berkson 误差模型，指出当协变量测量误差满足该结构时，线性回归的 OLS 估计量仍是一致的。这是该领域的基石。
  • 主要进展：Carroll et al. (2006) 的专著《Measurement Error in Nonlinear Models》系统总结了测量误差理论，包括 Berkson 误差在广义线性模型、非线性模型中的性质，并指出在标准假设下（误差与结果独立、模型正确设定），Berkson 误差可得到一致或近似一致的推断。这是本文引用的核心参考。
  • 当前 frontier： 近年来，研究者开始关注更复杂的设定，如误差与结果相关、误差与未观测混杂相关。例如，Gustafson (2004) 的《Measurement Error and Misclassification in Statistics and Epidemiology》讨论了 Berkson 误差在存在未观测混杂时的潜在问题，但未给出系统性分析。本文的位置：作者明确将缺口 frame 为“当结果模型中存在未观测混杂时，Berkson 误差下预测值替代法的一致性是否仍然成立？”——这是对经典结论的反例和边界条件的刻画。

子线索聚类

这些被引文献大致落在 2 条子线索上： 1. Berkson 误差的理论性质：包括 Berkson (1950)、Carroll et al. (2006)、Gustafson (2004)。这一簇主要研究在标准假设下（无未观测混杂、误差独立于结果），Berkson 误差对回归系数估计的影响，结论是一致或近似一致。 2. 未观测混杂与测量误差的交互：包括本文及少量近期工作（如 Haber et al. (2021) 的早期版本）。这一簇关注当未观测混杂同时影响结果和测量误差时，经典结论如何被破坏。本文是这一子线索的关键推进。

这个方向在追问的核心问题

  • 核心问题 1：在 Berkson 误差下，预测值替代法何时能得到一致推断？——经典答案：当误差与结果独立、模型正确设定时。
  • 核心问题 2：当存在未观测混杂时，偏差的方向和大小如何？——本文给出线性模型下的解析表达式。
  • 核心问题 3：是否存在可操作的修正方法？——本文未给出，但指出这是未来方向。
  • 已知瓶颈：未观测混杂在实际应用中几乎不可避免（如流行病学中的个体健康行为、遗传因素），因此经典结论的实用性严重受限。

⚠️ 作者的 framing（必须明确标注成“这是作者的说法”）

  • 作者把缺口 frame 成什么：作者声称“经典结论认为 Berkson 误差下预测值替代法可得到一致推断，但本文证明当存在未观测混杂时，这一一致性不再成立”。作者将本文定位为对经典结论的反例和边界条件的刻画。
  • 哪些竞争路线被他淡化或回避了：作者回避了非线性 outcome 模型（如 logistic 回归、Cox 比例风险模型）下的类似问题。文中仅提及“under many linear and nonlinear outcome models”经典结论成立，但本文只聚焦线性模型。作者也未讨论修正方法（如 instrumental variable 或 sensitivity analysis），仅指出“this severely limits the practical use”。
  • 什么明显该被引 / 该存在、却没出现在 intro 里？：作者未引用 Gustafson (2004) 中关于 Berkson 误差与未观测混杂交互的早期讨论（尽管在正文中提及）。此外，Buzas et al. (2014) 关于“measurement error in the presence of unmeasured confounding”的工作未被引用——这可能是作者有意回避的竞争路线。值得研究者去查：确认 Gustafson (2004) 和 Buzas et al. (2014) 是否已部分覆盖本文结论。

张力

未见明显对立引用。所有被引工作（Berkson 1950、Carroll et al. 2006、Gustafson 2004）均支持“在标准假设下 Berkson 误差可得到一致推断”，而本文则指出“当标准假设被违反（存在未观测混杂）时，一致性不再成立”。这并非矛盾，而是对经典结论的边界条件的补充。

二、最核心、最简单的例子 / 数学问题

第一步：把符号、模型、可观测数据交代清楚

符号： - Y：结果变量（outcome），连续型，如 HbA1c 水平。 - X：真实协变量（true covariate），连续型，如体脂百分比。不可观测。 - Z：其他协变量（other covariates），可观测，如 BMI、年龄、性别。 - W：预测值（predicted value），由某个预测模型基于 Z 生成，用于替代 X。可观测。 - U：未观测混杂（unmeasured confounder），同时影响 X 和 Y，但未被观测到。不可观测。 - β_X：X 对 Y 的回归系数（目标参数）。 - β_W：用 W 替代 X 后，W 对 Y 的回归系数（实际估计的参数）。 - ε：结果模型的随机误差，均值为 0，方差为 σ²。

模型： - 真实结果模型（研究者想估计的）：
\( Y = \beta_0 + \beta_X X + \beta_Z Z + \gamma U + \varepsilon \)
其中 U 是未观测混杂，γ 是 U 对 Y 的效应。 - 预测模型（用于生成 W）：
\( X = \alpha_0 + \alpha_Z Z + \delta \)
其中 δ 是预测误差，满足 Berkson 误差结构：δ 与 W 独立（而非与 X 独立）。
预测值定义为：\( W = \alpha_0 + \alpha_Z Z \)（即 X 的期望值，给定 Z）。 - Berkson 误差结构：
\( X = W + \delta \)，且 \( \delta \perp W \)（误差与预测值独立）。
注意：δ 可能与 U 相关（这是本文的关键点）。

可观测数据： - 研究者实际能观测到的是：(Y, Z, W)。
- 不可观测的是：X（真实协变量）和 U（未观测混杂）。
- 关键识别问题：由于 X 不可观测，研究者只能用 W 替代 X 进行回归。经典结论认为，在标准假设下（δ 与 Y 独立，即 δ ⊥ Y | W, Z），用 W 替代 X 得到的 β_W 是 β_X 的一致估计。但本文指出，当存在 U 且 U 与 δ 相关时，这一一致性不再成立。

第二步：讲最小内核

最简特例：假设没有其他协变量 Z（即 Z 为空），且所有变量均为标量。此时： - 真实模型：\( Y = \beta_0 + \beta_X X + \gamma U + \varepsilon \) - 预测模型：\( X = W + \delta \)，其中 W 是常数（即预测值无变异），δ 是均值为 0、方差为 σ²_δ 的随机误差。 - 可观测数据：(Y, W)，其中 W 是常数（例如，所有个体的预测值相同）。

在这个特例下，要证的命题退化成什么？ - 经典结论：若 δ ⊥ Y（即 δ 与 Y 独立），则用 W 替代 X 进行回归，得到的 β_W 是 β_X 的一致估计。
证明：由于 W 是常数，回归 Y 对 W 等价于估计 Y 的均值。但 β_X 是 X 对 Y 的边际效应，而 X = W + δ，因此 Y = β_0 + β_X (W + δ) + γ U + ε。
若 δ ⊥ Y，则 E[Y | W] = β_0 + β_X W，因此 β_W = β_X。一致性成立。 - 本文的关键点：当存在 U 且 U 与 δ 相关时，δ ⊥ Y 不再成立。
例如，假设 U 与 δ 正相关（即未观测混杂同时影响 X 的预测误差和 Y）。则 E[Y | W] = β_0 + β_X W + γ E[U | W] + E[ε | W]。
由于 U 与 δ 相关，而 δ = X - W，因此 E[U | W] ≠ 0，导致 β_W ≠ β_X。
偏差方向取决于 γ 和 Cov(U, δ) 的符号。

为什么这个特例是“最小内核”？ - 它去掉了所有为一般性服务的技术假设（如多个协变量、预测模型有变异），只保留Berkson 误差 + 未观测混杂这一核心矛盾。 - 在这个特例下，偏差的解析表达式清晰：
\( \beta_W = \beta_X + \gamma \cdot \frac{Cov(U, \delta)}{Var(W)} \)
其中 Cov(U, δ) ≠ 0 是偏差的来源。
- 论文的一般情形（有 Z、W 有变异）只是这个特例的“加壳”——加入 Z 后，偏差表达式变为条件期望的形式，但核心机制相同。

目标：读者读完这一节，应理解：本文的核心数学贡献是证明了当未观测混杂 U 与 Berkson 误差 δ 相关时，预测值替代法不再一致，并给出了偏差的解析表达式。

三、这篇论文做了什么

三句话

  1. 研究了什么问题：在线性回归模型中，当协变量存在 Berkson 测量误差且结果模型中存在未观测混杂时，用预测值替代真实观测值进行推断是否仍然一致？
  2. 核心工具 / 方法：通过解析推导，给出偏差的显式表达式，并用 NHANES 数据展示实际影响。
  3. 主要结论：当存在未观测混杂时，基于 Berkson 误差协变量的边际推断与基于真实观测协变量的推断存在系统性差异，偏差方向取决于混杂与误差的相关性；实际数据中，使用预测体脂百分比替代观测值会导致推断结果显著不同，甚至出现方向相反的关联。

关键设定与假设

  • 设定：线性回归模型，结果变量 Y，真实协变量 X（不可观测），其他协变量 Z（可观测），预测值 W（由 Z 生成），未观测混杂 U。
  • 假设 1（Berkson 误差结构）：X = W + δ，且 δ ⊥ W。这是 Berkson 误差的标准定义。
  • 假设 2（预测模型正确设定）：W = E[X | Z]，即预测值是 X 给定 Z 的条件期望。这是生成预测值的标准方法。
  • 假设 3（无未观测混杂的经典假设）：δ ⊥ Y | W, Z（即误差与结果独立，给定预测值和其他协变量）。经典结论在此假设下成立。
  • 本文放宽的假设：本文允许 δ 与 Y 相关（通过未观测混杂 U），即 δ ⊥̸ Y | W, Z。具体地，假设 U 同时影响 X 和 Y，且 U 与 δ 相关。
  • 相比已有文献：经典文献（Carroll et al. 2006）通常假设 δ ⊥ Y | W, Z，本文则明确放松这一假设，并证明一致性不再成立。

主要结果

  • 定理 1（偏差的解析表达式）：在存在未观测混杂 U 的情况下，用 W 替代 X 进行线性回归得到的系数 β_W 与真实系数 β_X 的偏差为：
    \( \beta_W = \beta_X + \gamma \cdot \frac{Cov(U, \delta | Z)}{Var(W | Z)} \)
    其中 γ 是 U 对 Y 的效应，Cov(U, δ | Z) 是给定 Z 后 U 与 δ 的条件协方差。
    直觉：偏差来源于 U 与 δ 的相关性。若 U 与 δ 正相关，则 β_W 高估 β_X；若负相关，则低估。
    必要条件：U 必须同时影响 X（通过 δ）和 Y（通过 γ），且 U 与 δ 相关。
    解决的技术难点：将偏差分解为可观测部分（Var(W | Z)）和不可观测部分（Cov(U, δ | Z)），并指出后者无法从数据中识别。
  • 定理 2（偏差的符号与大小）：偏差的符号取决于 γ 和 Cov(U, δ | Z) 的符号。若两者同号，则 β_W 的绝对值大于 β_X；若异号，则 β_W 可能小于 β_X 甚至符号相反。
    直觉：当 U 与 δ 正相关且 γ > 0 时，W 的效应被放大；当 U 与 δ 负相关且 γ > 0 时，W 的效应被缩小甚至反转。
    必要条件：无额外假设，仅依赖定理 1 的表达式。
  • 真实数据例子（NHANES）：
  • 数据：美国国家健康与营养调查（NHANES），样本量约 5000 人。
  • 场景：研究体脂百分比（X）和 BMI（Z）对 HbA1c（Y）的联合关联。体脂百分比难以直接测量，因此用基于 BMI、年龄、性别的预测模型生成预测值（W）。
  • 方法：分别用真实体脂百分比（X）和预测体脂百分比（W）进行线性回归，比较 β_X 和 β_W 的估计值。
  • 结果：使用预测体脂百分比时，体脂百分比对 HbA1c 的效应估计值显著不同：在某些亚组中，真实体脂百分比与 HbA1c 正相关，但预测体脂百分比与 HbA1c 负相关（方向相反）。
  • 这个例子想说明什么：验证理论结果——未观测混杂（如遗传因素、饮食行为）同时影响体脂百分比和 HbA1c，导致预测误差 δ 与 U 相关，从而产生偏差。实际中，偏差大到足以改变结论。

证明路线与技术技巧

  • 整体路线（3 步逻辑主干）：
  • 写出真实模型和估计模型：真实模型为 Y = β_0 + β_X X + β_Z Z + γ U + ε；估计模型为 Y = β_0^ + β_W W + β_Z^ Z + ε^*。
  • 推导 β_W 的表达式：将 X = W + δ 代入真实模型，得到 Y = β_0 + β_X W + β_X δ + β_Z Z + γ U + ε。然后对 Y 关于 (W, Z) 做线性回归，得到 β_W 的 OLS 估计量的概率极限。
  • 计算偏差：利用 OLS 的投影公式，得到 β_W = β_X + γ · Cov(U, δ | Z) / Var(W | Z)。关键步骤是证明 Cov(δ, W | Z) = 0（由 Berkson 误差结构保证），因此偏差仅来自 U 与 δ 的相关性。
  • 关键跳跃点：
  • 跳跃点 1：从“经典结论认为一致”到“本文证明不一致”的转换。难点在于：经典结论假设 δ ⊥ Y | W, Z，而本文允许 δ 与 Y 相关。作者通过引入 U 作为桥梁，将 δ 与 Y 的相关性分解为 δ 与 U 的相关性。
  • 跳跃点 2：偏差表达式的推导。难点在于：如何将不可观测的 U 和 δ 与可观测的 W 和 Z 联系起来。作者利用 OLS 的投影性质，将偏差表示为条件协方差与条件方差之比，其中条件协方差 Cov(U, δ | Z) 不可识别，但偏差的符号和大小可定性分析。
  • 技术技巧点名：
  • OLS 投影公式：用于推导 β_W 的概率极限。这是线性模型的标准工具。
  • 条件期望与条件方差分解：用于处理给定 Z 后的条件协方差。这是计量经济学中的常用技巧。
  • Berkson 误差的独立性条件：Cov(δ, W | Z) = 0，这是推导的关键简化。

🔎 结论是否比证明窄

  • 是。本文的证明严格限于线性回归模型。作者在引言中提及“under many linear and nonlinear outcome models”经典结论成立，但本文的证明仅对线性模型有效。作者未证明非线性模型（如 logistic 回归）下的类似结果，也未给出任何 conjecture 或 extension。因此，结论的适用范围比证明窄——非线性模型下的类似问题仍是开放问题。
  • 此外，本文假设预测模型正确设定（W = E[X | Z]）。若预测模型有误（如模型 misspecification），偏差表达式会更复杂，本文未讨论。

四、开放问题

  1. 非线性 outcome 模型下的类似问题：本文仅证明线性模型下 Berkson 误差与未观测混杂的交互导致偏差。对于 logistic 回归、Cox 比例风险模型等非线性模型，偏差的表达式和方向是否类似？——扎根于本文引言“under many linear and nonlinear outcome models”的提及，但本文未处理。
  2. 修正方法：本文仅指出偏差的存在，未给出任何修正方法（如 sensitivity analysis、instrumental variable、或基于辅助数据的校正）。是否存在可操作的统计方法，在存在未观测混杂时仍能从 Berkson 误差数据中恢复 β_X？——扎根于本文结论“this severely limits the practical use”。
  3. 预测模型 misspecification 的影响：本文假设预测模型正确设定（W = E[X | Z]）。若预测模型有误（如遗漏重要预测变量），偏差表达式如何变化？——扎根于本文假设 2。
  4. 多变量 Berkson 误差：当多个协变量同时存在 Berkson 误差且彼此相关时，偏差的交互效应如何？——本文仅考虑单个协变量 X 的 Berkson 误差，未讨论高维情形。

Maintained by 陈星宇 · Homepage · Source on GitHub

评论