Measurement Error and Nonlinear Confounding: Structural Equation Modeling Versus Double Machine Learning¶
作者: Eunjeong Song, Sehee Hong
主题: 因果推断
相关性: 7/10
链接: https://arxiv.org/abs/2611.01375
一、领域脉络与小综述¶
这个方向是什么¶
本文所处的子方向是因果推断中"潜变量混淆"(latent confounding)的处理,具体而言:当混淆变量是一个无法直接观测的构念(construct,如"动机""能力"),只能通过带有测量误差的指标(indicators)间接测量时,研究者应如何估计处理变量 T 对结果 Y 的因果效应?这个问题的根本张力在于:校正测量误差(通过测量模型将潜变量从指标中提取出来)与灵活学习函数形式(不预设混淆变量与 T、Y 之间的函数关系)往往难以兼得。传统上,结构方程模型(SEM)属于前者,而基于机器学习的因果推断方法(如 DML)属于后者。本文的核心贡献是:在同一个数据生成机制下同时存在两种误差源(测量误差 + 非线性混淆)时,推导出两种方法的总体偏差(population bias)的解析表达式,并据此定义"交叉信度"(crossover reliability)——即当指标信度高于该阈值时,忽略测量误差的 DML 反而比线性 SEM 偏差更小。这是一个典型的"两种范式碰撞"的比较研究,其成熟度处于方法比较与偏差分析阶段,而非提出全新的估计量。
发展脉络(history)¶
-
奠基工作:测量误差导致混淆校正不足。本文引用的核心奠基性文献是 Croon (2002) 与 Rosseel & Loh (2024) 的"structural-after-measurement"(SAM)框架。Croon 指出,用带误差的指标(如 sum score)直接作为协变量进行回归或倾向得分调整,会产生"测量诱导的混淆"(measurement-induced confounding)——即调整变量中的测量误差使得部分混淆未被移除。Rosseel & Loh (2024) 进一步系统化了这一思想,提出先估计测量模型、再用潜变量估计值进行后续分析的 SAM 方法。这条线索确立了"测量误差必须显式建模"的 SEM 传统。
-
主要进展:DML 的兴起与正交化思想。Chernozhukov et al. (2018) 提出双机器学习框架,通过 Neyman 正交得分和交叉拟合(cross-fitting),使得处理效应的估计对 nuisance 参数的估计误差具有一阶不敏感性。Bach et al. (2022) 提供了 DoubleML 的 Python 实现,使其成为实证研究的标准工具。这条线索确立了"函数形式可以完全灵活"的 ML 传统。但 DML 的框架假设调整变量 X 就是真正的混淆变量,并未考虑 X 本身是潜变量的带误差测量。
-
当前 frontier:两种范式的碰撞与调和。本文所处的 frontier 是:当数据生成机制同时包含测量误差和非线性混淆时,两种范式各自的偏差来源是什么?哪个更严重?本文的直接对话对象是 Perrett & Kanopka (2026) 的"measurement-induced confounding"工作,该工作指出用带误差的协变量进行因果调整会产生偏差。本文的推进在于:将非线性混淆纳入同一框架,并证明存在一个交叉信度阈值,使得两种方法的偏差大小排序发生反转。此外,Bach et al. (2024) 关于 DML 超参数调优的研究被本文引用,用以说明"预测误差最小化"与"因果估计偏差最小化"之间的张力——这为本文中 DML 的有限样本偏差(learning cost)提供了背景。
-
本文的位置:本文不是提出新估计量,而是在统一的 DGP 下推导两种方法的解析偏差,并用蒙特卡洛验证。其理论贡献在于偏差分解公式(式 4 和式 5)和交叉信度的定义;其实证贡献在于 46 种条件的系统比较,包括对模型选择策略(SEM-Select)的评估。
子线索聚类¶
-
线索 A:测量误差与因果推断(Croon 2002; Rosseel & Loh 2024; Perrett & Kanopka 2026; Gilbert 2025; Sengewald & Pohl 2019)。这一簇的核心问题是:当混淆变量或结果变量带有测量误差时,因果效应的估计会产生什么偏差?Sengewald & Pohl (2019) 专门研究了"衰减偏差的补偿与放大"机制,是本文式 (4) 中偏差分解的直接理论来源。Gilbert (2025) 则处理了结果变量测量误差的情形,与本文的混淆变量测量误差形成互补。
-
线索 B:DML 的理论与实现(Chernozhukov et al. 2018; Bach et al. 2022; Bach et al. 2024)。这一簇的核心问题是:如何用机器学习估计 nuisance 参数并保持对处理效应的有效推断?Bach et al. (2024) 的发现——预测误差最小的超参数并不必然导致因果估计偏差最小——是本文中"learning cost"概念的经验基础。
-
线索 C:SEM 中的非线性效应与模型选择(Klein & Moosbrugger 2000; Brandt et al. 2020; Satorra & Bentler 2001, 2010; Mooijaart & Satorra 2009)。这一簇处理潜变量交互/非线性项的估计(LMS 方法)以及模型选择问题。Mooijaart & Satorra (2009) 的发现——协方差矩阵被非线性项精确复现,因此卡方检验无法检测遗漏的非线性——是本文 SEM-Select 策略的理论依据,也是其局限性的来源。
这个方向在追问的核心问题¶
- 测量误差与函数形式误设,哪个偏差来源更严重? 本文的回答是:取决于信度。信度低时,SEM 的测量误差校正优势显著;信度高时,DML 的函数形式灵活性优势显著。交叉信度给出了精确的阈值。
- 能否同时校正测量误差和学习非线性? 本文的 SEM-Q(二次潜变量模型)是一个尝试,但它在三次非线性下几乎无效,说明这一问题的难度。
- 模型选择策略能否可靠地在两种方法之间切换? 本文的 SEM-Select 策略(基于 scaled difference test)在二次形式下有效,但在三次形式下失效,因为卡方检验对某些非线性形式不敏感(Mooijaart & Satorra 2009)。
⚠️ 作者的 framing(这是作者的说法)¶
作者将缺口 frame 为:"已有研究分别证明了测量误差会导致偏差(线索 A)和非线性误设会导致偏差(线索 B),但没有研究在同一个 DGP 下比较这两种偏差的相对大小,也没有给出一个可操作的判据(交叉信度)来指导方法选择。" 作者淡化的竞争路线包括:(1) 将测量误差纳入 DML 框架的"测量误差稳健"估计量(如基于重复测量的校正),本文仅在讨论部分提及;(2) 贝叶斯方法或全信息似然法,这些方法可以同时处理测量误差和非线性,但计算成本高且同样需要指定函数形式。什么明显该被引、却没出现在 intro 里? 本文未引用 proximal causal inference 文献(如 Miao et al. 2018 虽在参考文献中,但仅作为未来方向提及),而 proximal inference 正是处理"潜变量混淆 + 代理变量"的另一种主流框架,与本文的 SEM 路径形成直接竞争。此外,关于测量误差的经典计量经济学文献(如 Carroll et al. 2006 的 Measurement Error in Nonlinear Models)也未在 intro 中作为方法论基础出现。
张力¶
未见明显对立引用。但存在一个隐含张力:线索 A 强调"测量误差必须校正"(SEM 的立场),线索 B 强调"函数形式必须灵活"(DML 的立场),而本文的交叉信度表明这两种立场各有其适用的信度区间。这一张力不是矛盾,而是互补——但作者没有进一步讨论:当信度处于交叉点附近时,两种方法的偏差几乎相等,此时应如何选择?这是一个未被回答的问题。
二、最核心、最简单的例子 / 数学问题¶
第一步:符号、模型、可观测数据¶
潜变量与测量模型(式 1): - \(U\):潜混淆变量(latent confounder),标准正态,\(U \sim N(0,1)\)。这是不可观测的。 - \(u_j\)(\(j=1,2,3\)):\(U\) 的三个指标(indicators),\(u_j = \lambda_j U + \epsilon_j\),\(\epsilon_j \sim N(0,\theta_j)\)。这是可观测的。 - \(\lambda_j\):第 \(j\) 个指标的因子载荷(factor loading)。 - \(\theta_j\):第 \(j\) 个指标的误差方差(unique variance)。 - 指标方差归一化为 1,即 \(\lambda_j^2 + \theta_j = 1\)。 - 信度(reliability):\(\omega = (\sum_j \lambda_j)^2 / \{(\sum_j \lambda_j)^2 + \sum_j \theta_j\}\),即指标均值(或最优加权组合)的方差中由 \(U\) 解释的比例。\(\omega \in [0,1]\),\(\omega\) 越高,测量误差越小。
结构模型(式 2–3): - \(T\):处理变量(连续),\(T = \gamma_T U + \kappa_T g(U) + \mathbf{b}_T' \mathbf{Z} + \zeta_T\),\(\zeta_T \sim N(0,1)\)。 - \(Y\):结果变量,\(Y = \beta T + \gamma_Y U + \kappa_Y g(U) + \mathbf{b}_Y' \mathbf{Z} + \zeta_Y\),\(\zeta_Y \sim N(0,1)\)。 - \(\beta\):目标参数(estimand),即 \(T\) 对 \(Y\) 的因果效应。 - \(g(U)\):\(U\) 的非线性函数,代表非线性混淆。设计中使用 \(g(U) = U^2 - 1\)(二次)、饱和型 \(g(U) = U^2/(1+U^2)\)(中心化)、以及 \(g(U) = U^3 - 3U\)(三次,奇函数)。\(g\) 与 \(U\) 不相关(中心化),但 \(g(U)\) 与 \(U\) 的函数(如 \(U^2\))相关。 - \(\gamma_T, \kappa_T, \gamma_Y, \kappa_Y\):混淆强度系数。设计值:\(\gamma_T = \gamma_Y = 0.50\),\(\kappa_T = \kappa_Y\) 使得非线性部分方差为 0.18。 - \(\mathbf{Z} = (Z_1, \ldots, Z_{10})\):10 个可观测协变量,标准正态,与 \(U\) 独立(除 \(Z_1\) 在相关条件下与 \(U\) 相关)。 - \(\zeta_T, \zeta_Y\):结构误差,\(N(0,1)\)。
可观测数据:研究者能观测到 \((T, Y, \mathbf{Z}, u_1, u_2, u_3)\),但观测不到 \(U\)。因此,任何基于观测数据的估计都必须决定如何处理 \(U\) 的不可观测性。
两种估计策略: 1. SEM(结构方程模型):显式设定测量模型(式 1)和结构模型(式 2–3),用潜变量 \(U\) 进行估计。线性 SEM(SEM-L)假设 \(\kappa_T = \kappa_Y = 0\)(即忽略非线性);二次 SEM(SEM-Q)加入 \(U^2\) 项。 2. DML(双机器学习):将指标(或指标均值)作为可观测的代理变量直接放入调整集 \(X\),用机器学习(梯度提升)学习条件均值 \(E(T|X)\) 和 \(E(Y|X)\),然后通过部分线性模型估计 \(\beta\)。
第二步:最小内核¶
核心问题:当 \(U\) 不可观测、只能看到带误差的指标时,SEM-L 和 DML 各自的偏差是多少?哪个更小?
最小设定:去掉所有协变量 \(\mathbf{Z}\)(或令其与 \(U\) 独立),去掉 \(T\) 对 \(Y\) 的直接效应以外的所有路径,只保留核心混淆结构。此时:
- 真实模型:\(T = \gamma_T U + \kappa_T g(U) + \zeta_T\),\(Y = \beta T + \gamma_Y U + \kappa_Y g(U) + \zeta_Y\)。
-
SEM-L 的偏差(式 5):由于 \(g(U)\) 与 \(U\) 不相关,线性 SEM 的测量模型和结构模型都能精确复现协方差矩阵(Mooijaart & Satorra 2009),因此 SEM-L 的估计收敛到:
\[b_L = \frac{\kappa_T \kappa_Y \text{Var}(g)}{\psi_T + \kappa_T^2 \text{Var}(g)}\]这个偏差不依赖于信度 \(\omega\),只取决于非线性混淆的强度。直觉:线性 SEM 把 \(g(U)\) 的效应"吸收"到了误差项中,但由于 \(g(U)\) 与 \(U\) 不相关,这个吸收不影响 \(U\) 的线性效应估计,只产生一个与 \(\kappa_T \kappa_Y\) 成正比的常数偏差。 -
DML 的偏差(式 4):DML 用指标 \(X\)(均值或原始指标)作为调整集。由于测量误差,\(X\) 只包含 \(U\) 的部分信息。设 \(\tau^2 = \text{Var}(U - E(U|X))\) 为 \(U\) 中未被 \(X\) 解释的方差,则:
\[b_X = \frac{\gamma_T \gamma_Y \tau^2 + \kappa_T \kappa_Y V}{\psi_T + \gamma_T^2 \tau^2 + \kappa_T^2 V}\]其中 \(V = \text{Var}(g(U) - E(g(U)|X))\) 是 \(g(U)\) 中未被 \(X\) 解释的方差。当 \(X\) 是均值且测量平行时,\(\tau^2 = 1 - \omega\)。这个偏差随信度 \(\omega\) 增加而减小(因为 \(\tau^2\) 和 \(V\) 都减小)。 -
交叉信度:令 \(b_L = b_X\),解出 \(\omega^*\)。在对称设计(\(\gamma_T = \gamma_Y\),\(\kappa_T = \kappa_Y\))下,\(\omega^*\) 有闭式解(式 6)。当 \(\omega < \omega^*\) 时,SEM-L 偏差更小;当 \(\omega > \omega^*\) 时,DML 偏差更小。直觉:信度低时,测量误差是主要偏差源,SEM 的测量模型校正占优;信度高时,非线性误设是主要偏差源,DML 的灵活性占优。
为什么这个内核是"最小"的:它剥离了协变量、非平行测量、非对称系数等所有复杂性,只保留两种偏差源的竞争。式 (4) 和式 (5) 的推导只需要:(i) 联合正态性(保证条件期望线性);(ii) \(g(U)\) 与 \(U\) 不相关(保证线性 SEM 精确拟合协方差矩阵);(iii) 测量误差独立于结构误差。这三个条件缺一不可,而本文的所有扩展(协变量、非平行载荷、相关协变量)都是在不破坏这三个条件的前提下加入的。
三、这篇论文做了什么¶
三句话¶
- 研究了什么问题:当混淆变量是潜变量(只能通过带误差的指标测量)且其效应是非线性的时候,线性 SEM 和代理变量 DML 两种估计策略各自的总体偏差是多少?是否存在一个信度阈值(交叉信度),使得两种方法的偏差大小排序发生反转?
- 核心工具/方法:在联合正态假设下,解析推导两种方法的总体偏差(式 4 和式 5),定义交叉信度 \(\omega^*\);用 46 种条件的蒙特卡洛模拟验证偏差公式的预测,并比较 SEM-L、SEM-Q、SEM-Select、DML 四种策略的偏差、RMSE 和覆盖率。
- 主要结论:交叉信度预测了排序反转,且在 \(N=1000\) 时与模拟一致;DML 的有限样本偏差(learning cost)使交叉信度上移 0.03–0.05;二次 SEM 在正确设定时无偏,在饱和非线性下能消除线性 SEM 偏差的三分之二,但在三次非线性下几乎无效;SEM-Select 在二次形式下有效,但在三次形式下失效。
关键设定与假设¶
- 联合正态性:\((U, \mathbf{Z}, \text{indicators}, T, Y)\) 联合正态。这是式 (4) 推导的关键——它保证了 \(E(U|X)\) 是线性的,且 \(U - E(U|X)\) 与 \(X\) 独立。作者在 Limitations 中承认,对非正态潜变量该推导不成立。
- \(g(U)\) 与 \(U\) 不相关:非线性项是"纯非线性"的,与 \(U\) 正交。这保证了线性 SEM 能精确复现协方差矩阵(A.4),从而式 (5) 成立。对三次形式 \(g(U) = U^3 - 3U\),这自然成立(正态分布的三阶矩为零);对二次形式 \(g(U) = U^2 - 1\),这也成立。
- 测量误差独立:\(\epsilon_j\) 独立于所有结构变量。这是测量模型可识别性的标准假设。
- 无直接效应:指标 \(u_j\) 对 \(T\) 和 \(Y\) 没有直接效应(即测量误差不直接影响结果)。这是 SEM 中"测量模型"与"结构模型"分离的标准假设。
- 同质性:处理效应 \(\beta\) 对所有个体相同(无异质性处理效应)。DML 的部分线性模型隐含这一假设。
- DML 的 nuisance 估计一致性:梯度提升对条件均值的估计在 \(N \to \infty\) 时收敛到真值,但有限样本下有偏(learning cost)。
相比已有文献的放宽/强化: - 相比 Croon (2002) 和 Rosseel & Loh (2024),本文同时考虑了测量误差和非线性混淆,而前者只关注测量误差。 - 相比 Perrett & Kanopka (2026) 的 measurement-induced confounding,本文显式推导了偏差的解析表达式,而非仅通过模拟展示偏差存在。 - 相比 Chernozhukov et al. (2018) 的 DML 理论框架,本文不假设调整变量无测量误差,而是将测量误差视为 DML 的固有缺陷并量化其后果。 - 强化:本文假设 \(g(U)\) 与 \(U\) 不相关,这比允许任意相关的设定更简单,但也限制了结论的适用范围(作者在 Limitations 中承认)。
主要结果¶
理论结果: - 式 (4):代理变量 DML 的总体偏差 \(b_X\),分解为线性混淆残留(\(\gamma_T \gamma_Y \tau^2\))和非线性混淆残留(\(\kappa_T \kappa_Y V\))两项,分母为 \(T\) 的条件方差。当 \(X\) 包含指标均值时,\(\tau^2 = 1 - \omega\);当 \(X\) 包含原始指标时,\(\tau^2 = 1 - \omega_{\text{opt}}\)。 - 式 (5):线性 SEM 的总体偏差 \(b_L\),只取决于非线性混淆强度 \(\kappa_T \kappa_Y \text{Var}(g)\),与信度无关。 - 式 (6):对称设计下的交叉信度 \(\omega^* = \frac{\sqrt{\gamma^4 + 8\kappa^2\gamma^2} - \gamma^2}{4\kappa^2}\)。当 \(\omega < \omega^*\) 时 SEM-L 更优,\(\omega > \omega^*\) 时 DML 更优。 - 扩展:相关协变量情形下,\(\omega^*\) 随协变量对 \(U\) 的预测力下降(式 7);非平行载荷下,DML 的偏差由 \(\omega_{\text{opt}}\) 而非 \(\omega\) 决定。
模拟结果(\(N=1000\),500 次重复): - 偏差的模拟值与式 (4)、(5) 的预测值之差在 0.005 以内(除三次形式在 \(\omega=0.93\) 时差 0.015)。 - 交叉信度预测的排序反转在模拟中全部得到验证:\(\omega=0.63\) 时 SEM-L 偏差更小,\(\omega=0.93\) 时 DML 偏差更小。 - DML 的 learning cost(模拟偏差减式 (4) 预测值)在 \(N=1000\) 时为 0.005–0.046,在 \(N=250\) 时为 0.031–0.043;它使有限样本交叉信度从 0.67 上移至 0.74–0.84 之间。 - SEM-Q 在二次形式下无偏(偏差 ≤ 0.007),在饱和形式下偏差 0.050–0.051(约为 SEM-L 的三分之一),在三次形式下偏差 0.128–0.145(几乎等于 SEM-L 的 0.153)。 - SEM-Select 在二次形式下偏差 0.010–0.030(接近 SEM-Q),但在三次形式下偏差 0.139–0.148(接近 SEM-L),因为 scaled difference test 在 71–86% 的重复中未能拒绝线性模型。 - 覆盖率:SEM-L 在非线性形式下覆盖率降至 0.00–0.52;DML 在低信度下覆盖率降至 0.00–0.20;SEM-Q 在正确设定时覆盖率 0.94–0.96。
真实例子与应用¶
本文为纯模拟研究,没有真实数据应用。作者在 Discussion 中给出了一个数值示例(tutoring program 的例子),但仅用于说明交叉信度的计算,不是真实数据分析。模拟设计中的参数(如 \(\gamma_T = \gamma_Y = 0.50\),\(\kappa_T = \kappa_Y\) 使非线性方差为 0.18)基于教育心理学研究中常见的效应量。
🔎 结论是否比证明窄¶
- 式 (4) 的推导依赖联合正态性,但作者在摘要和结论中将其表述为"代理变量 DML 的总体偏差",未明确限定正态性条件。Limitations 中承认"对非正态潜变量,推导不成立",但正文中的表述可能让读者高估其普适性。
- 式 (5) 的"与信度无关"结论只在 \(g(U)\) 与 \(U\) 不相关时成立。作者在 A.4 中证明了这一点,但摘要中的表述"线性 SEM 的偏差不依赖于信度"可能被误解为普遍结论。
- learning cost 的测量:作者将 DML 模拟偏差与式 (4) 预测值之差归因于"learning cost",但未提供理论证明(如收敛速率或偏差的渐近展开)。这是一个经验观察,不是严格推导。
- SEM-Select 的结论:作者发现 scaled difference test 在三次形式下失效,但未讨论替代的模型选择策略(如基于信息准则或交叉验证的方法)。因此,"SEM-Select 不可靠"的结论可能只适用于这一特定检验。
四、开放问题¶
-
非正态潜变量下的偏差公式:式 (4) 和式 (5) 的推导依赖联合正态性。对非正态潜变量(如偏态分布、离散分布),偏差的解析表达式是什么?模拟中是否仍存在交叉信度?——扎根于 Limitations:"The derivations hold for the model of Equations 1–3 under joint normality"。
-
learning cost 的理论刻画:作者经验性地发现 DML 的有限样本偏差(learning cost)使交叉信度上移,但未给出理论解释。能否用高阶渐近(如 Edgeworth 展开)或非参数收敛速率来刻画 learning cost 对偏差的影响?——扎根于 B.3 和 Results:"the additional bias from learning them is the cost of learning, measured in the simulation as the DML bias minus Equation 4"。
-
异质性处理效应下的比较:本文假设处理效应 \(\beta\) 对所有个体相同。若存在异质性处理效应(如 \(T\) 与 \(U\) 的交互),SEM 和 DML 的偏差公式如何变化?交叉信度是否仍然存在?——扎根于式 (2)–(3) 的线性同质性设定。
-
proximal causal inference 的桥接:本文的 Limitations 提到 proximal inference (Miao et al. 2018) 作为未来方向。能否将本文的偏差分析框架扩展到 proximal 设定,即当存在多个代理变量但无有效工具变量时,比较 SEM、DML 和 proximal 估计量的偏差?——扎根于 Discussion:"how proximal inference compares"。
-
模型选择策略的改进:scaled difference test 在三次形式下失效,是否存在更可靠的模型选择策略(如基于交叉验证的预测误差比较,或基于 bootstrap 的置信区间重叠检验)?——扎根于 Results 中 SEM-Select 在三次形式下的表现。
-
更一般的非线性形式:本文只考虑了二次、饱和、三次三种形式。对更一般的非线性(如非单调、多峰),交叉信度是否仍然存在?其数值是否对函数形式敏感?——扎根于 Table 1 和 Figure 2 的参数扫描。
提示:若要确认上述某条是否为真 gap,建议检索近 5 年(2021–2026)关于"measurement error + causal machine learning"的文献(如 Journal of Causal Inference, Psychometrika, Biometrika),看是否已有研究:(a) 推导了非正态潜变量下的偏差公式;(b) 提出了测量误差稳健的 DML 变体;(c) 将 proximal inference 与 SEM 框架结合。若多篇文献都指向同一问题,则为共识性 gap;若各文献给出不同答案,则为争议性 gap——两者都是值得切入的点。
Maintained by 陈星宇 · Homepage · Source on GitHub