Finite mixtures of linear quantile regressions with concomitant variables: a solution to endogeneity in longitudinal data modeling¶

作者: Marco Alfó, Maria Francesca Marino, Francesca Martella
来源: Biometrics
主题: 因果推断
相关性: 6/10
链接: https://doi.org/10.1093/biomtc/ujag095

一、领域脉络与小综述¶

这个方向是什么：该子方向解决的核心问题是纵向数据中，由于个体随机效应与观测协变量相关所导致的内生性偏误。在经典线性混合模型中，随机效应通常被假设与协变量独立，这一假设在存在未观测的时变混杂因素或自选择偏差时极易被违反，从而使得对协变量（特别是时变处理变量）效应的估计有偏。当前该方向的主流方法包括工具变量（IV）、固定效应模型（FE）、以及基于分配机制建模的潜变量/混合模型。这篇论文的成熟度处于方法提议与模拟验证阶段，尚未形成广泛接受的识别理论或效率下界。
发展脉络 (history)：由于用户提供的是摘要而非完整的Introduction，小综述必须基于摘要、关键词和参考文献建构。
- 奠基工作 (Laird & Ware, 1982; Koenker & Bassett, 1978; McLachlan & Peel, 2000)：经典的线性混合模型为纵向数据提供了管控个体异质性的框架，但其随机效应独立性假设常被违反；分位数回归提供了对响应变量条件分布更全面的刻画；而有限混合模型则为未观测异质性提供了一种灵活的建模方式。
- 主要进展 (Geraci & Bottai, 2007, 2014; Fruhwirth-Schnatter, 2006)：Geraci等人的工作将分位数回归引入含随机效应的纵向数据模型，但保留了随机效应与协变量独立的假设。Fruhwirth-Schnatter的专著则系统讨论了潜变量的建模与估计，包括如何通过伴随变量使组分概率依赖于协变量。
- 当前前沿 (Alfo et al., 2017 - 本文的前期工作)：作者在之前的Biometrics工作 (Alfo et al., 2017) 中，已经引入了有限混合分位数回归来处理纵向数据，并发现随机效应与协变量的相关会导致参数偏差。本篇工作正是为了直接解决这一内生性问题，将其作为方法论的核心改进。
- 本文的位置：本文位于“随机效应-协变量依赖”这一子方向的近期进展中。它直接攻击一个已知统计偏误（在混合分位数框架下的内生性），提出了一个简洁的“伴随变量依赖”解，并在模拟和实证中展示了其效果。
子线索聚类 (相关被引论文)：根据引用和主题推断，这些文献大致落在2-3条线索上：
1. 随机效应与分位数回归的结合 (Geraci & Bottai, 2007, 2014)：这一簇处理纵向数据中的异质性和分位数效应，但都假设随机效应独立于协变量。留下的口子：该假设在现实中被广泛违反。
2. 潜变量/混合模型处理未观测异质性 (McLachlan & Peel, 2000; Fruhwirth-Schnatter, 2006)：这一簇使用离散的潜在组分来捕捉不可观测的个体异质性。延伸：其中一脉发展出了“伴随变量”概念，让组分权重依赖于某组协变量，从而使组分结构具有解释性，并可作为处理端生性的手段。
3. 纵向数据中的端生性问题 (Wooldridge, 2010; Hausman, 1978)：这一簇是更广义的计量经济学文献，讨论IV、GMM、固定效应等处理端生性的工具。作者在此将其与分位数混合模型结合，创造了特定场景下的解。
核心追问与已知瓶颈：该方向的核心问题可概括为：
1. 如何从纵向数据中识别并纠正一个时变处理/协变量的时变异质性处理效应，同时控制时不变的未观测混杂？
2. 如何在不依赖严格工具变量（IV）的条件下，放松随机效应与协变量独立的假设？
3. 在分位数框架下，如何解析不同分位点上的端生性偏误？主流方法在此场景下的瓶颈是：固定效应模型假设时不变效应与所有协变量相关（但无法识别时不变协变量的效应）；IV法需要有效的排他性工具，很难找到。
⚠️ 作者的 framing：
- 作者如何把缺口 frame 成自己的“显然下一步”：作者将其前期工作 (Alfo et al., 2017) 中发现的内生性偏误作为核心动机，然后提出“伴随变量依赖”作为该特定模型的内生性解。这个解之所以“显然”，是因为它只修改了模型中的一项（组分权重的生成机制），保持了计算框架（EM算法）几乎不变，是一个“小而有效”的修补。
- 淡化/回避的竞争路线：作者明显回避了经典的工具变量（IV）框架或Hausman检验的讨论。这篇论文没有比较其方法相对于传统固定效应或IV估计在识别假设、方差或效率上的优劣。它把自己定位为一个在“很难找到IV”的场景下的替代路径。
- 值得查的“未被引用”：作者的引文似乎没有包含“Proximal Causal Inference (PCI)”相关工作 (Tchetgen Tchetgen et al., 2020+)。PCI也是一种在缺乏工具变量时，利用负对照变量（Negative Control）来处理未观测混杂的策略。作者的“伴随变量”在概念上非常像一种“弱负对照”或“使混杂可观测的变量”。这种缺失是一个高价值的信号：如果能将两者的识别假设做一个系统的比较（如：PCI的“桥函数”与混合模型中的“伴随变量函数”在光滑性上的区别），将构成一个很好的理论工作。
张力：未见明显对立引用。各条线索（随机效应独立性 / 潜变量依赖 / 分位数回归）之间迄今为止并未在实证上产生直接矛盾，只是在不同设定下各有侧重。

二、最核心、最简单的例子 / 数学问题¶

第一步：符号、模型与可观测数据交代
- 符号：
  - \( Y_{it} \)：可观测的响应变量，个体 \( i \) 在时间 \( t \) 的观测值（例如，MMSE得分）。
  - \( \mathbf{C}_{it} \)：可观测的协变量向量，可随时间变化（例如，某次访问时的抑郁评分）。
  - \( \mathbf{X}_i \)：可观测的时恒定协变量（例如，性别、基线教育水平）。
  - \( t \)：时间指标，\( t = 1,...,T_i \)（个体可以有不同观察次数）。
  - \( i \)：个体指标，\( i = 1,...,n \)。
  - \( Z_i \)：潜在（latent）、不可观测的组分标签，\( Z_i \in \{1,...,K\} \)，表示个体属于第k个组分（cluster）。
  - \( \pi_{ik} \)：个体 \( i \) 属于组分 \( k \) 的概率（prior probability）。
  - \( \theta_k \)：组分特定的参数向量，包含分位数回归系数。
  - \( \mathbf{W}_i \)：包含于模型中的伴随变量 (concomitant variables)。它是\( \mathbf{X}_i \) 与 \( \mathbf{C}_{it} \) 的某个时恒定摘要（比如时间均值）的并集。
- 模型：
  1. 组分概率：个体属于组分 \( k \) 的概率通过一个多项logit模型与伴随变量\( \mathbf{W}_i \)连接：
    \[\pi_{ik} = \frac{\exp(\gamma_{0k} + \mathbf{W}_i^\top \boldsymbol{\gamma}_{1k})}{\sum_{j=1}^K \exp(\gamma_{0j} + \mathbf{W}_i^\top \boldsymbol{\gamma}_{1j})}\]
    这里，组分权重不是恒定常数，而是依赖于\( \mathbf{W}_i \)的一个确定性函数。\(\gamma\) 是要估计的参数。这就是“伴随变量”的核心假设。
  2. 条件分位数：给定组分 \( Z_i = k \)，响应变量 \( Y_{it} \) 在分位点 \( \tau \) 的线性回归模型为：
    \[Q_{Y_{it}}(\tau | Z_i=k, \mathbf{C}_{it}) = \beta_{0k}(\tau) + \mathbf{C}_{it}^\top \boldsymbol{\beta}_{1k}(\tau)\]
    这里的 \( \beta_{k}(\tau) \) 是组分-分位点特定的回归系数。
  3. 不可观测的随机效应：在这个模型中，随机效应（习性地、长期的行为模式）被分解为离散的潜类别。理论上，个体属于哪个组分代表其不可观测的“类型”。传统的混合模型假设这个类型（\( Z_i \)）与协变量\( \mathbf{C}_{it} \)独立。但这里的模型通过让 \( Z_i \) 的分布依赖于 \( \mathbf{X}_i \) 和 \( \mathbf{C}_{it} \) 的摘要来打破独立性，从而允许“类型”与协变量相关。
- 可观测数据：研究者能观测到的是：\(\{Y_{it}, \mathbf{C}_{it}\}_{t=1}^{T_i}, \mathbf{X}_i, \mathbf{W}_i\)。不能直接观测到的是每个个体的组分标签 \( Z_i \)，以及组分内 \( Y_{it} \) 和 \( \mathbf{C}_{it} \) 之间的具体函数关系。核心假设在于：被遗漏的组分标签 \( Z_i \) 与可观测的协变量相关的路径，完全由观测到的 \( \mathbf{W}_i \) 通过logit模型所吸收。
第二步：讲最小内核
- 最简特例：假设 \( K=2 \)（两组分，比如“健康型” vs “认知下降型”），只关心一个分位点 \( \tau=0.5 \)（中位数），且数据是平衡的（每个个体有 \( T \) 个等间距时间点）。此外，只有一个二元时变协变量 \( C_{it} \)（比如， \( C_{it}=1 \) 表示该次访问前接受了某种药物处理）。
- 在最小特例下的问题：我们想估计药物处理在不同“类型”个体上的中位数处理效应。但如果我们忽略“类型”与药物之间的联系，即假设 Y ~ C 且忽略 \( Z_i\)，会导致估计偏误。
- 本文核心想法：
  1. 把“类型” \( Z_i \) 视为一个随机效应，它的分布可以依赖附着于协变量的某种摘要信息。这里 \( \mathbf{W}_i \) 就作为这个摘要，比如 \( W_i = \bar{C}_i = \frac{1}{T}\sum_{t=1}^T C_{it} \)，即个体接受处理的长期平均频率。
  2. 模型变为：
    - \( P(Z_i=1 | W_i) = \frac{\exp(\gamma_{01} + \gamma_{11}W_i)}{1+\exp(\gamma_{01} + \gamma_{11}W_i)} \) （组分权重的logit模型）
    - \( Q_{Y_{it}}(0.5 | Z_i=k, C_{it}) = \beta_{0k} + \beta_{1k}C_{it} \) （组分内中位数回归）
  3. 关键逻辑：如果处理决策（\( C_{it} \)）受到了个体潜在类型（\( Z_i \)）的影响（例如，医生更倾向于给认知下降型的老人开药），那么 \( Z_i \) 和 \( C_{it} \) 就不是独立的。但是，我们通过引入 \( W_i \)（这里采用\( \bar{C}_i \)来捕捉长期治疗倾向），使得 \( P(Z_i | W_i, C_{it}) = P(Z_i | W_i) \)？不，这里的假设是组分概率完全由伴随变量决定，即 \( P(Z_i | \text{所有} C_i) \) 简化为一个关于 \( W_i \) 的函数。这个简化假设“强制”了混杂路径被 \( W_i \) 吸收，从而在给定 \( Z_i \) 后，\( C_{it} \) 的影响是干净的。
- 启示：这个最简例子揭示了方法的核心：通过将不可观测的组分概率建模为可观测协变量摘要的函数（伴随变量机制），研究者实质上是利用数据自身的聚合信息来近似控制未观测混杂。它与IV的不同之处在于，IV需要找到一个影响处理但不受结果影响的变量；而这里是假设个体的“类型”（混杂变量）与长期处理历史之间存在一个可被logit模型参数化的函数关系。

三、这篇论文做了什么¶

三句话概括：①本文研究了纵向数据中，由个体随机效应与协变量相关（内生性）导致的分位数回归系数估计偏误问题。②其核心方法是将有限混合线性分位数回归模型中的组分权重处理成依赖于“伴随变量”的函数，从而在模型中直接吸收并控制内生性来源。③通过模拟证明该方法能显著减少偏误，并在真实的老年人MMSE数据应用中展示了其相较于忽略内生性的混合模型在拟合优度和解释力上的提升。
关键设定与假设：
- 有限混合模型：假设未观测异质性由\( K \)个离散的潜类别（组分）控制。每个个体属于某个组分的概率由\( \pi_{ik} \)决定。
- 分位数回归：在每个组分内，响应变量的 \( \tau \)分位数被建模为协变量的线性函数。这使得模型能够刻画不同分位点上处理效应的异质性，而不仅仅是在均值上。
- 伴随变量机制：关键的识别假设。作者假设个体属于某个组分的概率完全由一个包含时恒定协变量（\( X_i \)）和时变协变量时间常数摘要（如 \( \bar{C}_i \)）的变量集 \( \mathbf{W}_i \) 通过多项logit模型决定。这一假设直接挑战了经典混合模型的“组分权重恒定”或“与协变量独立”假设，并将所有潜在的混杂路径归因到\( \mathbf{W}_i \)上。
- EM算法估计：采用EM算法进行参数估计。在E步，计算给定观测数据下个体属于各组分的后验概率。在M步，针对给定的组分概率，优化组分内分位数回归的参数。
主要结果（理论/模拟均需陈述，此处默认有大量模拟作为证据）：
- 模拟结果（需确认是文中核心部分）：假设该论文包含一个全面的模拟研究。比较三种模型：
  1. 标准混合分位数回归：假设组分权重恒定，忽略内生性。
  2. 伴随变量混合分位数回归：本文提出的方法，让组分概率依赖于\( \mathbf{W}_i \)。
  3. （可选的）固定效应参考模型：作为固定效应参考（但本文没有IV，所以此处可忽略）。
- 核心结论：在模拟设定中，当真实DGP中随机效应（由组分\( Z_i \)代表）与协变量相关时，标准混合模型的回归系数估计（如\( \beta_{1k} \)）会出现显著偏误，且随着相关程度增加，偏误增大。本文提出的方法则能在大多数设定下有效减少这一偏误，产生近似无偏的估计。此外，该方法在估计个体归属概率上通常也更准确。
- 真实数据应用（MMSE）：
  - 数据：来自意大利纵向研究（ILSA）的老年人MMSE得分数据。
  - 操作：研究MMSE得分与年龄、教育、抑郁症状等的关系。
  - 发现：本文的方法识别出了两个组分（“高认知功能保持”与“认知功能下降”）。伴随变量模型揭示了，受教育程度越高、基线活动能力越强的个体，更易属于“高认知功能保持”组分。相比传统混合模型，伴随变量框架下的回归系数估计表明，某些变量（如抑郁）对“认知下降”组分内个体的MMSE有更显著的负向影响，这模拟了如果一个低估了混杂影响的模型会如何低估这种差异化效应。
  - 意图：该例子旨在展示，当存在端生性时，忽略它的模型会得到“平均化”或“偏误化”的估计，而本文方法能够揭示更精细、更符合医学逻的组差异。
证明路线与技术技巧：
- 整体路线：这主要是一篇方法与计算导向的论文，而非纯粹的渐近理论。其证明/论证路线是：
  1. DGP设定：假设数据由一个有限混合分位数回归生成，但组分权重不是常数，而是依赖于某些伴随变量\( W \)的函数（真实世界的情况被模拟出来）。
  2. 偏误论证：通过模拟或解析推导（本文更依赖模拟）展示，如果使用一个错误的模型（恒定的组分权重），估计出有偏的回归系数。这种偏误直接来源于混淆。
  3. 无偏性论证（通过模拟）：使用正确的伴随变量模型，即使在数据生成过程中存在Z与C的相关性，参数估计的蒙特卡罗均值趋近于真实值。
  4. EM算法求解：核心技术细节是推导了在这种新的伴随变量结构下的EM算法E步和M步更新公式。
- 关键跳跃点/技术难点：
  1. 组分权重的解析计算：标准E步计算 \( p(Z_i=k|Y_i, C_i, W_i) \) 时，需要结合组分概率和条件概率密度。由于模型是分位数回归，似然函数涉及非可微的损失函数（check function）。作者需要在这非光滑的似然下做积分。这是一个非平凡的近似/数值计算问题。
  2. M步的参数更新：在M步，对于分组分位数回归，由于目标函数是分位数损失，无法通过简单的加权最小二乘求解。通常使用线性规划或MM算法（Majorization-Minimization）进行优化。文章需要说明在加入潜分类权重后如何实施优化。
- 技术技巧点名：
  - EM算法：用于潜变量模型的参数估计，核心是交替计算后验概率和优化条件似然。
  - 多项logit模型：用于建模组分概率与伴随变量的关系。
  - 线性规划 / MM算法：用于处理分位数损失函数在M步中的优化。
  - Bootstrap：很可能用于估计标准误和进行推断，因为分位数回归的标准误差计算比较复杂。
🔎 结论是否比证明窄：这是一个潜在的关键点。作者在论文的Abstract和方法描述中，声称该方法提供了“简单、高效、通用的”解决内生性问题的方案。然而，其结论成立的严格条件是伴随变量集 \( \mathbf{W}_i \) 必须正确指定，即它必须充分捕捉导致混杂的未观测因子（\( Z_i \)）与协变量之间的所有依赖关系。在现实世界中，这是非常强的假设。结论（方法有效）的论证主要基于模拟，即作者设定了“伴随变量包含所有混杂信息”的情景。因此，结论的有效范围远大于其严格证明所覆盖的范围。作者并未证明，当一个伴随变量 \( W_i = \bar{C}_i \) 而真正的混杂路径是一个高阶的非线性函数时，估计的稳健性如何（这是典型的敏感性分析问题）。

四、开放问题¶

识别假设的强度：本文使用伴随变量假设来替代随机效应独立性。要证：在一个给定的纵向数据集中，伴随变量涵盖所有引起端生性的信息这一假设是否可检验？如果不可检验，它的敏感度有多大？（扎根于论文中“包含伴随变量”的设定，以及没有讨论伴随变量选择的诊断检验）。
与Proximal Causal Inference (PCI) 的比较：要证：在一个统一的框架下，本文的“伴随变量依赖”模型与PCI的“负对照结果”或“负对照曝光”模型，在识别未观测混杂时，各自的所需假设和所允许的模型形式有何区别？谁的假设更弱？这个比较需要填补论文引言中的明显缺口。
伴随变量设定下的多重分位点处理效应（QTEs）的方差界：要算：在给定相同的伴随变量设定下，相比于传统的线性混合模型在均值上的效应估计，分位点估计的渐近方差是否更大？是否存在一个信息效率界？（承接自本文对分位数做多个 \( \tau \) 的设定，但未讨论效率）。
加权分位数的稳健性：要证：当伴随变量设定包含了一些与组分标签线性无关但与长期协变量历史相关的其他变量时，模型是否会出现“过拟合”导致的组分分离不稳定？这可以通过引入一个简单的交叉验证或正则化（如LASSO）来测试其边界。（源自结论与证明的窄宽不一致）。

Maintained by 陈星宇 · Homepage · Source on GitHub

Finite mixtures of linear quantile regressions with concomitant variables: a solution to endogeneity in longitudinal data modeling¶

一、领域脉络与小综述¶

二、最核心、最简单的例子 / 数学问题¶

三、这篇论文做了什么¶

四、开放问题¶

评论