跳转至

A Statistical Test to Reject the Structural interpretation of a Latent Factor Model

作者: Tyler J. VanderWeele, Stijn Vansteelandt
来源: Journal of the Royal Statistical Society Series B
主题: 因果推断
相关性: 7/10
链接: 期刊页 · arXiv

一、领域脉络与小综述

这个方向是什么

这个子方向要解决的根本问题是：在潜变量模型中，当我们观测到一组指标变量（indicators）之间存在强相关性、且一个单维潜变量能很好地拟合其协方差结构时，我们能否进一步断言——这个潜变量是因果效应的唯一载体，而指标变量本身对后续结果没有直接因果作用？ 换句话说，因子分析通常只能告诉我们“一个潜变量足以解释指标间的相关性”，但无法告诉我们“这个潜变量就是因果机制的核心”。本文试图填补的正是这个“从统计拟合到因果解释”之间的逻辑鸿沟。当前这个方向的成熟度较低——大多数因子分析实践者默认地（implicitly）接受了这种结构性解释，但几乎没有统计检验来正式地拒绝它。

发展脉络（history）

奠基工作：因子分析（Bollen, 1989）和结构方程模型（SEM）的传统框架确立了“反射性测量模型”（reflective measurement model）——即潜变量是原因，指标是结果。这个框架隐含地假设：指标之间的相关性完全由潜变量解释，且指标对任何外部结果的影响都必须通过潜变量中介。Pearl (2009) 的因果图框架用非参数结构方程和 faithfulness 假设，为这种“结构性解释”提供了形式化语言。

主要进展：VanderWeele (2020, 2021) 连续发表了两篇概念性论文，系统批评了反射性和形成性测量模型在因果解释上的缺陷。他论证：即使一个单维潜变量能很好地拟合数据，也不能排除“指标本身具有直接因果效力”的可能性。VanderWeele & Batty (2020) 进一步展示了“维度不确定性”问题——如果两个潜变量之间存在因果效应，单波次因子分析可能错误地收敛到一个单因子模型。这些工作为本文提供了概念基础，但都是理论论证，没有给出可操作的统计检验。

当前 frontier：Kummerfeld & Ramsey (2016) 提出了 FOFC 算法，能从观测指标中可靠地推断测量模型（即哪些指标对应哪个潜变量），但他们的方法不涉及对“结构性解释”的检验。Sullivant et al. (2008) 的 trek separation 准则为高斯图模型中的协方差矩阵子矩阵秩条件提供了图论刻画，这为本文的检验统计量构造提供了技术工具。

本文的位置：本文是第一个将“结构性解释”的检验形式化为可操作的统计检验的工作。它利用协方差约束——如果结构性解释成立，则指标变量与后续结果之间的偏协方差矩阵必须满足特定的秩条件——构造了一个似然比检验。这填补了从概念批评到实证检验的空白。

子线索聚类

  1. 因子分析与测量模型的理论基础（Bollen, 1989; Ho, 2006; Putnick & Bornstein, 2016）：关注测量不变性、模型拟合指标等传统问题，不涉及因果解释。
  2. 因果图与结构方程的形式化（Pearl, 2009; Sullivant et al., 2008）：提供因果解释的形式化语言和图论工具，但主要关注识别而非检验。
  3. 对测量模型因果解释的批评（VanderWeele, 2020, 2021; VanderWeele & Batty, 2020）：概念性地论证了因子分析不能保证因果解释，但未提供检验。
  4. 测量模型的学习与选择（Kummerfeld & Ramsey, 2016; Silva et al., 2006; Spirtes et al., 2000）：关注从数据中推断测量模型的结构，而非检验其因果解释。

这个方向在追问的核心问题

  1. 识别问题：给定一个拟合良好的因子模型，能否从观测数据中识别出“指标无直接因果作用”这一假设？
  2. 检验问题：如果识别是可能的，如何构造一个有效的统计检验？
  3. 稳健性问题：当结构性解释被拒绝时，我们还能对潜变量与结果之间的关联给出什么因果解释？
  4. 推广问题：这些检验能否推广到非高斯、非线性的设定？

当前主流方法与已知瓶颈：主流方法（如 SEM 中的卡方检验、CFI/TLI 等拟合指标）只能检验“一个潜变量是否足以解释指标间的协方差”，无法检验“指标是否对后续结果有直接效应”。瓶颈在于：潜变量不可观测，使得直接检验“指标无直接因果作用”似乎不可能。本文的核心贡献就是证明这个检验实际上是可能的。

⚠️ 作者的 framing

这是作者的说法：作者把缺口 frame 成“因子分析实践者默认地（implicitly）接受了结构性解释，但从未检验过它”。他们声称本文是第一个提供正式检验的工作。竞争路线（如 SEM 中的模型比较、测量不变性检验）被淡化或回避——作者指出测量不变性检验只能部分缓解“指标在不同组间有不同效应”的问题，但“无法确保指标与潜变量之间的关联在不同结果中保持一致”。什么明显该被引/该存在、却没出现在 intro 里？ 本文没有引用任何关于“负控制检验”（negative control）或“近端因果推断”（proximal causal inference）的文献——这些文献直接处理“用观测数据检验不可观测的因果假设”的问题，与本文的检验思路有深层类比。这是一个值得研究者去查的问题：近端因果推断中的负控制检验能否为本文的检验提供更一般的半参数框架？

张力

未见明显对立引用。所有被引工作基本一致地认为：因子分析不能保证因果解释，但此前没有人提供检验。

二、最核心、最简单的例子 / 数学问题

第一步：把符号、模型、可观测数据交代清楚

符号： - 指标变量：\(X_1, X_2, \dots, X_p\)，是研究者实际观测到的 \(p\) 个指标（如生活满意度量表中的 5 个问题）。 - 潜变量：\(L\)，是一个不可观测的单维潜变量（如“生活满意度”这个构念）。 - 后续结果：\(Y\)，是研究者关心的后续结果变量（如全因死亡率）。 - 协变量：\(C\)，是可能存在的背景协变量（如年龄、性别、社会经济地位）。 - 协方差矩阵：\(\Sigma\)，是观测变量 \((X_1, \dots, X_p, Y, C)\) 的总体协方差矩阵。 - 因子载荷：\(\lambda_i\)，是 \(X_i\) 对 \(L\) 的回归系数（在反射性模型中，\(X_i = \lambda_i L + \epsilon_i\)）。 - 残差：\(\epsilon_i\)，是指标 \(X_i\) 中不能被 \(L\) 解释的部分，假设与 \(L\) 独立。

模型（反射性测量模型 + 结构性解释）： - 测量模型：\(X_i = \lambda_i L + \epsilon_i\)，其中 \(i = 1, \dots, p\)，\(\epsilon_i\) 相互独立且与 \(L\) 独立。 - 结构性解释（即要检验的假设 \(H_0\)）：指标 \(X_i\) 对后续结果 \(Y\) 没有直接因果作用。这意味着 \(Y\) 与 \(X_i\) 之间的任何关联都必须通过 \(L\) 中介。用条件独立语言：\(Y \perp X_i \mid L, C\) 对所有 \(i\) 成立。 - 数据生成机制（在 \(H_0\) 下）：\(L\) 影响 \(X_i\) 和 \(Y\)，但 \(X_i\) 不影响 \(Y\)（除了通过 \(L\)）。

可观测数据：研究者能观测到的是 \((X_1, \dots, X_p, Y, C)\) 的独立同分布样本。不可观测的是潜变量 \(L\)。想要检验但观测不到的是“\(X_i\) 对 \(Y\) 无直接因果作用”这一假设——因为 \(L\) 不可观测，我们无法直接检验条件独立 \(Y \perp X_i \mid L, C\)。

第二步：讲最小内核

最简特例：假设 \(p = 2\)（只有两个指标 \(X_1, X_2\)），没有协变量 \(C\)，且所有变量服从联合高斯分布。结构性解释 \(H_0\) 断言：\(Y \perp X_1 \mid L\) 且 \(Y \perp X_2 \mid L\)。在这个高斯设定下，条件独立等价于偏相关系数为零。

核心思路：虽然 \(L\) 不可观测，但 \(H_0\) 对可观测变量的协方差矩阵施加了可检验的约束。具体来说，在 \(H_0\) 下，\(Y\) 与 \((X_1, X_2)\) 的偏协方差矩阵（给定 \(L\) 后）的秩为 0——因为 \(Y\) 与每个 \(X_i\) 在给定 \(L\) 后独立。但更关键的是，这个约束可以转化为可观测协方差矩阵的秩条件。

推导（最简情形）： 1. 在 \(H_0\) 下，\(Y\) 只通过 \(L\) 与 \(X_i\) 相关。因此，\(Y\) 与 \(X_i\) 的协方差可以写成：

\[\text{Cov}(Y, X_i) = \text{Cov}(Y, \lambda_i L + \epsilon_i) = \lambda_i \text{Cov}(Y, L)\]
因为 \(\epsilon_i\) 与 \(Y\) 独立（在 \(H_0\) 下，\(Y\) 只通过 \(L\) 影响，而 \(\epsilon_i\) 与 \(L\) 独立，所以 \(\epsilon_i\) 与 \(Y\) 独立）。 2. 因此，\(Y\) 与 \((X_1, X_2)\) 的协方差向量 \((\text{Cov}(Y, X_1), \text{Cov}(Y, X_2))\) 是 \((\lambda_1, \lambda_2)\) 的倍数（乘以 \(\text{Cov}(Y, L)\)）。 3. 同理，\(X_1\) 与 \(X_2\) 的协方差 \(\text{Cov}(X_1, X_2) = \lambda_1 \lambda_2 \text{Var}(L)\)。 4. 现在考虑 \(Y\) 与 \((X_1, X_2)\) 的偏协方差矩阵（给定 \(X_1\) 或 \(X_2\) 后）。更直接地，考虑矩阵：
\[M = \begin{pmatrix} \text{Cov}(Y, X_1) & \text{Cov}(Y, X_2) \\ \text{Cov}(X_1, X_2) & \text{Var}(X_2) \end{pmatrix}\]
在 \(H_0\) 下，这个矩阵的秩为 1（因为第一行是第二行的倍数）。更一般地，考虑 \(Y\) 与所有 \(X_i\) 的协方差矩阵 \(\Sigma_{YX}\)（大小为 \(1 \times p\)）和 \(X\) 的协方差矩阵 \(\Sigma_{XX}\)（大小为 \(p \times p\)）。在 \(H_0\) 下，\(\Sigma_{YX}\) 是 \(\Sigma_{XX}\) 的行空间的元素——即存在一个 \(p\) 维向量 \(\beta\) 使得 \(\Sigma_{YX} = \beta^T \Sigma_{XX}\)，且 \(\beta\) 是因子载荷的某种函数。

可检验的约束：在 \(H_0\) 下，矩阵

\[\Sigma_{Y,X} \Sigma_{XX}^{-1} \Sigma_{X,Y}\]
的秩为 1（因为 \(\Sigma_{YX}\) 是秩 1 矩阵 \(\lambda \text{Cov}(Y, L)\) 与 \(\Sigma_{XX}\) 的某种组合）。更精确地说，在 \(H_0\) 下，\(\Sigma_{Y|X}\)（给定 \(X\) 后 \(Y\) 的条件方差）等于 \(\text{Var}(Y) - \Sigma_{YX} \Sigma_{XX}^{-1} \Sigma_{XY}\)，但这个条件方差本身没有秩约束。真正的约束是：在 \(H_0\) 下，\(\Sigma_{YX}\) 的秩为 1（因为所有 \(X_i\) 与 \(Y\) 的协方差都通过同一个潜变量 \(L\) 中介）。

检验统计量：因此，检验 \(H_0\) 等价于检验“\(\Sigma_{YX}\) 的秩为 1”这个假设。在 \(p=2\) 时，这等价于检验 \(\text{Cov}(Y, X_1) / \text{Cov}(Y, X_2) = \text{Cov}(X_1, X_2) / \text{Var}(X_2)\) 这个比率约束。在一般 \(p\) 下，这等价于检验 \(\Sigma_{YX}\) 的所有 \(2 \times 2\) 子矩阵的行列式为零。本文的似然比检验正是基于这个秩约束构造的。

为什么这个特例抓住了核心：即使在这个最简单的设定下，核心思想已经完整呈现——结构性解释对可观测协方差矩阵施加了秩约束，这个约束可以被检验。一般情形（有协变量 \(C\)、非高斯分布、多个潜变量）只是在这个核心思想上添加技术细节。

三、这篇论文做了什么

三句话

  1. 研究了什么问题：在因子分析框架下，检验“潜变量是因果效应的唯一载体、指标变量本身无直接因果作用”这一结构性解释是否可被观测数据拒绝。
  2. 核心工具/方法：利用结构性解释对可观测协方差矩阵施加的秩约束，构造一个似然比检验统计量，其零分布对应于约束模型（结构性解释成立）与无约束模型（结构性解释不成立）的拟合优度比较。
  3. 主要结论：该检验在模拟中具有良好的有限样本性质，并在生活满意度量表（SWLS）与全因死亡率关联的真实数据分析中强烈拒绝了单维潜变量的结构性解释。

关键设定与假设

完整设定（在第二节最小记号基础上补充）： - 指标变量：\(X_1, \dots, X_p\)，是潜变量 \(L\) 的反射性指标。 - 潜变量：\(L\)，是单维的（本文主要关注单因子情形，但讨论部分提到可推广到多因子）。 - 后续结果：\(Y\)，是研究者关心的结果变量。 - 协变量：\(C\)，是可能存在的背景协变量。 - 结构性解释 \(H_0\)：\(Y \perp X_i \mid L, C\) 对所有 \(i\) 成立。这意味着指标对结果没有直接因果作用，所有关联都通过潜变量中介。 - 分布假设：本文主要在高斯假设下工作（因为似然比检验需要似然函数），但讨论部分提到可以用半参数方法放松这个假设。

关键假设： 1. 反射性测量模型：\(X_i = \lambda_i L + \epsilon_i\)，其中 \(\epsilon_i\) 相互独立且与 \(L\) 独立。这是因子分析的标准假设。 2. 无测量不变性：本文不假设测量不变性（即因子载荷在不同组间或不同结果间相同），这比传统 SEM 更宽松。 3. 无直接效应（\(H_0\)）：指标对结果无直接因果作用。这是要检验的假设。 4. 高斯性（主要设定）：所有变量联合高斯分布。这允许使用似然比检验。 5. 无混杂（简化设定）：在主要推导中，假设没有未观测到的混杂因素影响 \(L\) 和 \(Y\)。作者在讨论中承认这个限制。

相比已有文献的放宽/强化： - 放宽：不假设测量不变性，不假设因子载荷已知。 - 强化：假设高斯性（传统 SEM 也常做这个假设，但本文的检验可能对非高斯性敏感）。

主要结果

定理 1（核心识别结果）：在 \(H_0\) 下，可观测协方差矩阵 \(\Sigma\) 满足一个特定的秩约束。具体来说，矩阵 \(\Sigma_{YX} - \Sigma_{YC} \Sigma_{CC}^{-1} \Sigma_{CX}\) 的秩为 1（在单因子情形下）。这个秩约束是 \(H_0\) 的必要条件（但不是充分条件——可能存在其他模型也满足这个约束）。

直觉：这个秩约束意味着，在控制了协变量 \(C\) 后，\(Y\) 与所有 \(X_i\) 的偏协方差向量是共线的——因为它们都通过同一个潜变量 \(L\) 中介。如果这个秩大于 1，则说明至少有两个独立的“通道”连接 \(Y\) 和 \(X_i\)，这违反了结构性解释。

必要条件：这个秩约束成立需要 \(p \geq 2\)（至少两个指标）且 \(Y\) 与 \(L\) 相关（否则 \(\Sigma_{YX}\) 为零矩阵，秩为 0，也满足约束，但这是退化情形）。

解决的技术难点：潜变量 \(L\) 不可观测，所以不能直接检验 \(Y \perp X_i \mid L, C\)。作者通过将条件独立转化为可观测协方差矩阵的秩约束，绕过了这个障碍。

定理 2（检验统计量的渐近分布）：在 \(H_0\) 和高斯假设下，似然比检验统计量 \(T = -2 \log(\Lambda)\) 渐近服从卡方分布，自由度等于秩约束的个数（在单因子情形下为 \(p-1\)）。

直觉：无约束模型（允许指标对 \(Y\) 有直接效应）有 \(p\) 个额外的参数（每个指标对 \(Y\) 的直接效应），而约束模型（\(H_0\)）将这些参数限制为通过一个共同潜变量中介，因此自由度减少 \(p-1\)。

必要条件：样本量足够大，使得协方差矩阵的估计是稳定的。作者在模拟中检验了有限样本性质。

解决的技术难点：秩约束是非线性约束，传统的似然比检验理论不能直接应用。作者通过将约束重新参数化为“\(\Sigma_{YX}\) 的秩为 1”这个可微约束，然后使用标准的约束似然比检验理论。

证明路线与技术技巧

整体路线（3-5 步逻辑主干）：

  1. 步骤 1：将结构性解释转化为协方差约束。在 \(H_0\) 下，\(Y\) 与 \(X_i\) 的协方差完全由 \(L\) 中介，因此 \(\Sigma_{YX}\) 的秩为 1（在控制 \(C\) 后）。这个转化是关键跳跃——它把不可检验的条件独立假设变成了可检验的协方差矩阵秩条件。

  2. 步骤 2：构造约束模型与无约束模型的似然函数。在高斯假设下，无约束模型允许 \(\Sigma_{YX}\) 是任意 \(p\) 维向量（秩最多为 \(p\)），而约束模型要求 \(\Sigma_{YX}\) 的秩为 1。两个模型都通过最大似然估计拟合。

  3. 步骤 3：计算似然比统计量。\(T = -2 \log(\Lambda) = -2 (\ell_{\text{约束}} - \ell_{\text{无约束}})\)，其中 \(\ell\) 是最大对数似然。

  4. 步骤 4：推导渐近分布。在 \(H_0\) 下，\(T\) 渐近服从 \(\chi^2_{p-1}\)。这个推导利用了标准似然比检验理论，因为秩约束是一个光滑的（可微的）参数约束。

  5. 步骤 5：有限样本校正。作者在模拟中检验了卡方近似的准确性，并讨论了小样本下的可能校正（如 Bartlett 校正）。

关键跳跃点： - 从条件独立到秩约束：这是最核心的跳跃。作者利用了高斯分布下条件独立等价于偏相关系数为零这一事实，然后通过代数操作将“所有偏相关系数为零”转化为“\(\Sigma_{YX}\) 的秩为 1”。这个跳跃依赖于高斯性——在非高斯设定下，条件独立不一定等价于协方差矩阵的秩条件。 - 秩约束的可微参数化：秩为 1 的约束是非线性的，但作者通过将其参数化为 \(\Sigma_{YX} = \alpha \beta^T\)（其中 \(\alpha\) 是 \(1 \times 1\) 标量，\(\beta\) 是 \(p \times 1\) 向量），将其转化为一个可微的约束，从而可以使用标准似然比检验理论。

技术技巧点名： - 似然比检验：核心推断工具，用于比较约束模型与无约束模型的拟合优度。 - 秩约束的因子分解：将秩为 1 的矩阵分解为两个向量的外积，这是处理秩约束的标准技巧。 - 影响函数：作者提到，协方差的非参数影响函数（Hines et al., 2022）可以用于构造半参数版本的检验统计量，但本文主要在高斯框架下工作。 - trek separation（Sullivant et al., 2008）：虽然本文没有直接使用，但 trek separation 准则为更一般的图模型中的协方差矩阵秩条件提供了理论基础。

真实例子与应用

数据：生活满意度量表（SWLS）与全因死亡率关联的数据，来自健康与退休研究（HRS），样本量 \(N = 12,998\)。SWLS 包含 5 个指标（\(p=5\)），每个指标是 1-7 分的李克特量表。结果变量 \(Y\) 是 4 年后的全因死亡率（二值变量）。

方法应用： 1. 首先，作者用标准因子分析确认一个单因子模型能很好地拟合 SWLS 的 5 个指标（CFI > 0.95, RMSEA < 0.06）。 2. 然后，作者应用本文提出的检验，检验“SWLS 的 5 个指标对全因死亡率无直接因果作用”这一结构性解释。 3. 检验统计量 \(T = 34.2\)，在 \(\chi^2_4\) 分布下 \(p < 0.001\)，强烈拒绝了结构性解释。

结果：检验表明，即使一个单因子模型能很好地拟合 SWLS 的指标间协方差，也不能认为“生活满意度”这个潜变量是因果效应的唯一载体。指标本身（如对生活的具体方面的满意度）可能对死亡率有直接因果作用。

这个例子想说明什么： 1. 验证理论：展示了一个真实场景中，因子分析拟合良好但结构性解释被拒绝的情况。 2. 展示实用性：说明这个检验对量表开发和使用有直接启示——即使一个量表通过了传统的因子分析验证，也不能自动假设其指标是“纯”的反射性指标。 3. 警示实践者：作者在讨论中指出，这个结果对“用 SWLS 总分作为暴露变量进行因果推断”的做法提出了质疑——因为指标可能有直接效应，总分可能掩盖了重要的异质性。

🔎 结论是否比证明窄

是。有几个地方结论比证明窄： 1. 高斯假设：证明严格在高斯假设下进行，但结论在讨论中被泛化为“可以推广到非高斯设定”。作者提到可以用半参数方法（如基于影响函数的估计）来放松这个假设，但没有给出具体证明。具体语句：讨论部分“The test can also be extended to non-normal settings using semiparametric methods...”。 2. 单因子情形：证明主要针对单因子模型，但结论在讨论中被泛化为“可以推广到多因子模型”。作者提到多因子情形下秩约束变为“\(\Sigma_{YX}\) 的秩等于因子数”，但没有给出具体证明。具体语句：讨论部分“The approach can be extended to multiple factors...”。 3. 无混杂假设：证明假设没有未观测到的混杂因素影响 \(L\) 和 \(Y\)，但结论在讨论中承认这个限制，并说“在存在未观测混杂时检验可能失效”。具体语句：讨论部分“The test may be sensitive to unmeasured confounding...”。

四、开放问题

  1. 半参数推广：本文的检验严格依赖于高斯假设。能否在非参数或半参数设定下构造一个类似的检验，不假设分布形式，仅基于协方差矩阵的秩约束？这需要用到 efficient influence function 和 debiased machine learning 技术（Hines et al., 2022）。扎根点：讨论部分“The test can also be extended to non-normal settings using semiparametric methods...”。

  2. 多因子模型：本文主要针对单因子模型。在多因子情形下，结构性解释对应的秩约束变为“\(\Sigma_{YX}\) 的秩等于因子数 \(k\)”。如何构造检验 \(H_0: \text{rank}(\Sigma_{YX}) = k\) 对 \(H_1: \text{rank}(\Sigma_{YX}) > k\)？这涉及到秩选择问题，与因子分析中的“因子数选择”有深层联系。扎根点：讨论部分“The approach can be extended to multiple factors...”。

  3. 未观测混杂的敏感性分析：本文的检验在存在未观测混杂时可能失效（因为未观测混杂可以创造额外的“通道”连接 \(Y\) 和 \(X_i\)，即使结构性解释成立）。能否发展一个敏感性分析框架，量化未观测混杂对检验结果的影响？扎根点：讨论部分“The test may be sensitive to unmeasured confounding...”。

  4. 与近端因果推断的连接：本文的检验思路与近端因果推断（proximal causal inference）中的负控制检验有深层类比——两者都试图用观测数据检验关于不可观测变量的假设。能否将本文的检验重新解释为一种负控制检验，并利用近端因果推断的理论工具（如桥函数、双稳健估计）来构造更一般的检验？扎根点：本文没有引用任何近端因果推断文献，这是一个值得研究者去查的 gap。

Maintained by 陈星宇 · Homepage · Source on GitHub

评论