Autoregressive Model With Spatial Dependence and Missing Data¶

作者: Jing Zhou, Jin Liu, Feifei Wang, Hansheng Wang
来源: Journal of Business & Economic Statistics
主题: 经济理论 / 应用
相关性: 3/10
机构绿灯: Peking University（US News 前 50，免分进入精读）
链接: https://doi.org/10.1080/07350015.2020.1766471

一、领域脉络与小综述¶

这个方向是什么¶

本文研究的子方向是带有空间相关误差项的自回归模型在数据缺失下的估计问题。其根本的科学问题是：当时间序列数据（如空气质量监测站点的逐日观测）同时存在空间相关性（相邻站点的误差项相关）和数据缺失（某些站点在某些时间点没有记录）时，如何一致地估计自回归系数和空间相关系数？该方向当前成熟度中等——空间自回归模型（SAR）和缺失数据下的逆概率加权（IPW）各自有成熟理论，但二者的联合处理（即同时考虑空间相关误差和缺失）在本文之前缺乏系统研究。

发展脉络（history）¶

从引言和参考文献串成的线索如下：

奠基工作：空间自回归模型（SAR）。Anselin (1988) 和 Lee (2004) 建立了空间计量经济学的基础框架——将空间权重矩阵引入回归误差结构，并用拟极大似然（QML）或广义矩估计（GMM）进行估计。这些工作假设数据完全观测。
主要进展：缺失数据下的估计。Little & Rubin (2002) 系统化了缺失数据理论，Robins, Rotnitzky & Zhao (1995) 提出了逆概率加权（IPW）估计方程，在可忽略缺失（MAR）下得到相合估计。但这些工作通常假设观测独立或仅时间相关，未考虑空间相关。
当前 frontier：空间数据缺失的处理。Wang & Lee (2013) 研究了空间自回归模型中因变量缺失的问题，但假设误差项独立同分布（即无空间相关）。本文作者指出，当误差项存在空间相关时，Wang & Lee (2013) 的方法不再适用——因为 IPW 的权重估计和 GMM 的矩条件都会因空间相关而失效。
本文的位置：作者将上述两条线合并，提出一个两步估计框架：先用 IPW 修正缺失偏差（第一步），再对修正后的残差用 GMM 估计空间相关系数（第二步）。这是首次在误差项空间相关的设定下处理缺失数据。

子线索聚类¶

这些被引文献大致落在两条子线索上：

空间自回归模型的估计方法（Anselin 1988, Lee 2004, Kelejian & Prucha 1999, 2010）：核心是 QML 和 GMM 两类方法。GMM 的优势在于不需要指定误差分布，对空间相关结构更稳健。本文采用 GMM 路线。
缺失数据下的因果/回归推断（Little & Rubin 2002, Robins et al. 1995, Wang & Lee 2013）：核心是 IPW 和多重插补。本文采用 IPW 路线，因为其与 GMM 的矩估计框架自然兼容。

这个方向在追问的核心问题¶

问题 1：当缺失机制由完全观测的协变量决定（MAR）时，IPW 权重的一致估计是否受空间相关误差影响？——本文证明：只要缺失模型正确指定，IPW 权重估计本身不受误差空间相关的影响（因为缺失模型只依赖完全观测的协变量）。
问题 2：空间相关误差下，IPW 修正后的残差是否仍满足 GMM 所需的矩条件？——本文证明：经过 IPW 加权后，残差的期望为零，但方差-协方差矩阵仍具有空间结构，因此 GMM 的矩条件成立，但需调整渐近方差。
问题 3：两步估计量的渐近方差如何解析表达？——本文给出了封闭形式的方差公式，避免了 bootstrap。

⚠️ 作者的 framing（必须明确标注成"这是作者的说法"）¶

作者把缺口 frame 成："现有空间自回归模型文献（如 Wang & Lee 2013）假设误差独立同分布，但实际数据（如空气质量监测）中误差往往空间相关；同时，缺失数据文献（如 Robins et al. 1995）假设观测独立，不适用于空间数据。因此，需要一种同时处理空间相关误差和缺失数据的方法。"——这是作者的说法。

什么明显该被引/该存在、却没出现在 intro 里？：作者没有引用任何关于空间数据缺失机制的非可忽略（NMAR） 的文献，也没有讨论空间权重矩阵的估计误差（通常空间权重矩阵是预先指定的，但实际中可能未知）。此外，双重稳健（DR）估计（如 Bang & Robins 2005）在缺失数据文献中很常见，但本文只用了 IPW，未尝试 DR 扩展。这些是值得研究者去查的问题。

张力¶

未见明显对立引用。所有被引工作都在各自的设定下成立，没有在相同条件下得出相反结论的。

二、最核心、最简单的例子 / 数学问题¶

第一步：把符号、模型、可观测数据交代清楚¶

符号： - \( i = 1, \dots, n \)：空间单元（如空气质量监测站点）。 - \( t = 1, \dots, T \)：时间点（如逐日观测）。 - \( y_{it} \)：响应变量（如 PM2.5 浓度），部分可观测（有些 \( (i,t) \) 缺失）。 - \( x_{it} \)：\( p \times 1 \) 协变量向量，完全观测（无缺失）。 - \( \beta \)：\( p \times 1 \) 自回归系数向量，待估参数。 - \( \rho \)：空间相关系数（标量），待估参数。 - \( W \)：\( n \times n \) 空间权重矩阵，已知（如基于地理距离或邻接关系预先指定）。 - \( \varepsilon_{it} \)：误差项，不可观测，假设空间相关但时间独立。 - \( r_{it} \)：缺失指示变量，\( r_{it} = 1 \) 表示 \( y_{it} \) 被观测到，\( r_{it} = 0 \) 表示缺失。可观测。 - \( \pi_{it} = P(r_{it} = 1 \mid x_{it}) \)：缺失概率（倾向得分），由逻辑回归模型 \( \text{logit}(\pi_{it}) = x_{it}^\top \gamma \) 决定，\( \gamma \) 是待估参数。

模型： - 自回归模型：\( y_{it} = x_{it}^\top \beta + u_{it} \)，其中 \( u_{it} \) 是空间相关误差。 - 空间误差结构：\( u_t = (u_{1t}, \dots, u_{nt})^\top \)，满足 \( u_t = \rho W u_t + \varepsilon_t \)，即 \( u_t = (I_n - \rho W)^{-1} \varepsilon_t \)。这里 \( \varepsilon_t = (\varepsilon_{1t}, \dots, \varepsilon_{nt})^\top \) 是独立同分布的噪声，均值为 0，方差为 \( \sigma^2 I_n \)。 - 缺失机制：\( r_{it} \) 与 \( y_{it} \) 条件独立给定 \( x_{it} \)（可忽略缺失，MAR），且 \( r_{it} \) 在时间上独立、在空间上独立（即给定 \( x_{it} \)，不同 \( (i,t) \) 的缺失是独立的）。

可观测数据： - 研究者实际能观测到的是：所有 \( x_{it} \)（完全观测），以及当 \( r_{it} = 1 \) 时的 \( y_{it} \)（部分观测）。缺失的 \( y_{it} \) 不可观测。 - 研究者想要但观测不到的是：完整的 \( y_{it} \) 序列（无缺失），以及误差项 \( u_{it} \) 和 \( \varepsilon_{it} \)。 - 识别依赖的假设：MAR 假设（缺失由完全观测的 \( x_{it} \) 决定）和空间权重矩阵 \( W \) 已知。

第二步：讲最小内核¶

最简特例：考虑 \( n = 2 \) 个空间单元，\( T = 1 \) 个时间点（即只有一次观测），且 \( p = 1 \)（只有一个协变量）。此时模型退化为：

\[y_1 = x_1 \beta + u_1, \quad y_2 = x_2 \beta + u_2,\]

其中 \( u = (u_1, u_2)^\top \) 满足空间结构：

\[u_1 = \rho w_{12} u_2 + \varepsilon_1, \quad u_2 = \rho w_{21} u_1 + \varepsilon_2,\]

这里 \( w_{12} = w_{21} = 1 \)（假设相邻），\( \varepsilon_1, \varepsilon_2 \) 独立同分布 \( N(0, \sigma^2) \)。空间权重矩阵 \( W = \begin{pmatrix} 0 & 1 \\ 1 & 0 \end{pmatrix} \)。

缺失情况：假设 \( y_1 \) 被观测到（\( r_1 = 1 \)），但 \( y_2 \) 缺失（\( r_2 = 0 \)）。缺失由 \( x_1, x_2 \) 决定：\( \text{logit}(\pi_i) = \gamma_0 + \gamma_1 x_i \)，且 \( \pi_i \) 已知（或可估计）。

核心思路： 1. 第一步（IPW 修正）：由于 \( y_2 \) 缺失，不能直接用 \( y_2 \) 估计 \( \beta \)。但我们可以用观测到的 \( y_1 \) 来估计 \( \beta \)，但需加权修正：用 \( 1/\pi_1 \) 作为权重，因为 \( y_1 \) 被观测到的概率是 \( \pi_1 \)。IPW 估计方程为：

\[\sum_{i=1}^2 \frac{r_i}{\pi_i} x_i (y_i - x_i \beta) = 0.\]

由于 \( r_2 = 0 \)，只有 \( i=1 \) 的项贡献：\( \frac{1}{\pi_1} x_1 (y_1 - x_1 \beta) = 0 \)，解得 \( \hat{\beta}_{\text{IPW}} = y_1 / x_1 \)（假设 \( x_1 \neq 0 \)）。这个估计是相合的，因为 \( E[r_1 y_1 / \pi_1] = E[y_1] \)（由 MAR 和 IPW 性质）。 2. 第二步（GMM 估计空间相关系数）：得到 \( \hat{\beta}_{\text{IPW}} \) 后，计算残差 \( \hat{u}_1 = y_1 - x_1 \hat{\beta}_{\text{IPW}} \)。但 \( u_2 \) 不可观测（因为 \( y_2 \) 缺失），所以不能直接用两个残差来估计 \( \rho \)。然而，空间结构提供了矩条件：由 \( u_1 = \rho u_2 + \varepsilon_1 \) 和 \( u_2 = \rho u_1 + \varepsilon_2 \)，可得 \( E[u_1 u_2] = \rho E[u_1^2] \)（在平稳性下）。但 \( u_2 \) 缺失，所以这个矩条件不可用。 关键技巧：作者利用空间权重矩阵的已知结构，构造一个仅依赖观测数据的矩条件。例如，考虑 \( E[u_1 (u_1 - \rho u_2)] = E[u_1 \varepsilon_1] = 0 \)，但 \( u_2 \) 缺失。替代方案：用 \( E[(u_1 - \rho u_2) (u_2 - \rho u_1)] = E[\varepsilon_1 \varepsilon_2] = 0 \)，但同样依赖 \( u_2 \)。因此，在 \( n=2, T=1 \) 且一个缺失的情况下，空间相关系数 \( \rho \) 不可识别——这是本文一般设定下需要 \( T \) 足够大（或 \( n \) 足够大）才能识别的原因。

这个最小内核揭示了什么：即使是最简单的 2 单元、1 时间点、1 缺失的情况，空间相关误差下的缺失数据估计也面临识别困难——空间相关引入了额外的未知参数（\( \rho \)），而缺失减少了可用于估计的信息。本文的一般设定（\( n \) 大、\( T \) 大）通过时间维度的重复观测和空间维度的多个单元来克服这一困难：时间上，误差项在时间上独立，所以不同时间点的残差提供了额外的矩条件；空间上，多个单元提供了空间相关结构的冗余信息。

三、这篇论文做了什么¶

三句话¶

研究了什么问题：带有空间相关误差项的自回归模型在响应变量缺失（MAR）下的一致估计问题。
核心工具/方法：两步估计法——第一步用逆概率加权（IPW）修正缺失偏差，得到自回归系数 \( \beta \) 的相合估计；第二步用广义矩估计（GMM）基于 IPW 修正后的残差估计空间相关系数 \( \rho \)。
主要结论：两步估计量是相合且渐近正态的；给出了渐近方差的解析表达式；模拟和实证（中国 43 个城市空气质量数据）验证了有限样本性能。

关键设定与假设¶

在第二节最小记号的基础上，补全完整设定：

模型：\( y_{it} = x_{it}^\top \beta + u_{it} \)，\( u_t = \rho W u_t + \varepsilon_t \)，其中 \( \varepsilon_t \sim (0, \sigma^2 I_n) \) 独立同分布，且与 \( x_{it} \) 独立。
空间权重矩阵：\( W \) 是 \( n \times n \) 已知矩阵，对角线为 0，行标准化（每行和为 1），且 \( I_n - \rho W \) 可逆（\( |\rho| < 1 \)）。
缺失机制：\( r_{it} \) 与 \( y_{it} \) 条件独立给定 \( x_{it} \)（MAR），且 \( r_{it} \) 在时间上独立、在空间上独立。缺失概率 \( \pi_{it} = P(r_{it} = 1 \mid x_{it}) \) 由逻辑回归模型 \( \text{logit}(\pi_{it}) = x_{it}^\top \gamma \) 决定，\( \gamma \) 是有限维参数。
相比已有文献的强化/放宽：
相比 Wang & Lee (2013)：放宽了误差独立同分布的假设，允许空间相关。
相比标准 IPW 文献（Robins et al. 1995）：放宽了观测独立的假设，允许空间相关误差，但保留了缺失指示变量在空间上独立的假设（这是一个强假设——实际中相邻站点的缺失可能相关，如同时断电）。
额外假设：\( n \) 固定，\( T \to \infty \)（即时间维度的渐近）；\( x_{it} \) 是平稳且强混合的；空间权重矩阵 \( W \) 的特征值有界。

主要结果¶

本文有两个核心定理：

定理 1（IPW 估计的相合性与渐近正态性）：在正则条件下，\( \hat{\beta}_{\text{IPW}} \xrightarrow{p} \beta \)，且 \( \sqrt{T}(\hat{\beta}_{\text{IPW}} - \beta) \xrightarrow{d} N(0, \Sigma_\beta) \)，其中 \( \Sigma_\beta \) 有解析表达式。直觉：IPW 权重 \( 1/\pi_{it} \) 修正了缺失偏差，使得加权后的估计方程期望为零；空间相关误差不影响相合性（因为期望为零），但影响渐近方差（因为残差在空间上相关，导致估计方程在空间上不独立）。必要条件：缺失模型正确指定（即逻辑回归模型是真实的）。
定理 2（GMM 估计的相合性与渐近正态性）：在定理 1 的条件下，\( \hat{\rho}_{\text{GMM}} \xrightarrow{p} \rho \)，且 \( \sqrt{T}(\hat{\rho}_{\text{GMM}} - \rho) \xrightarrow{d} N(0, \Sigma_\rho) \)。直觉：IPW 修正后的残差 \( \hat{u}_{it} = y_{it} - x_{it}^\top \hat{\beta}_{\text{IPW}} \) 是 \( u_{it} \) 的相合估计（因为 \( \hat{\beta}_{\text{IPW}} \) 相合），然后 GMM 利用空间结构（如 \( E[u_t^\top W^\top u_t] = 0 \) 等矩条件）来估计 \( \rho \)。解决的技术难点：IPW 第一步的估计误差会传播到第二步，作者通过两步估计的联合渐近理论（类似于 Newey & McFadden 1994 的两步 M-估计）处理了这种传播，给出了调整后的方差公式。

证明路线与技术技巧¶

整体路线（3-5 步逻辑主干）：

第一步：估计缺失概率。用完全观测的 \( x_{it} \) 和 \( r_{it} \) 通过最大似然估计逻辑回归参数 \( \gamma \)，得到 \( \hat{\pi}_{it} = \text{logit}^{-1}(x_{it}^\top \hat{\gamma}) \)。这一步是标准的，因为缺失模型只依赖完全观测的协变量，所以空间相关误差不影响 \( \hat{\gamma} \) 的相合性。
第二步：IPW 估计 \( \beta \)。构造加权最小二乘估计方程：
\[\sum_{t=1}^T \sum_{i=1}^n \frac{r_{it}}{\hat{\pi}_{it}} x_{it} (y_{it} - x_{it}^\top \beta) = 0.\]
解出 \( \hat{\beta}_{\text{IPW}} \)。证明相合性：利用 MAR 假设，\( E[r_{it} y_{it} / \pi_{it} \mid x_{it}] = E[y_{it} \mid x_{it}] \)，所以加权后的估计方程期望为零。渐近正态性：将估计方程在真实 \( \beta \) 处泰勒展开，利用中心极限定理处理空间相关误差的累积和。
第三步：计算 IPW 残差。\( \hat{u}_{it} = y_{it} - x_{it}^\top \hat{\beta}_{\text{IPW}} \)。
第四步：GMM 估计 \( \rho \)。构造矩条件 \( E[g(u_t, \rho)] = 0 \)，其中 \( g \) 是 \( u_t \) 和 \( \rho \) 的函数（如 \( u_t^\top W^\top u_t \) 或 \( u_t^\top W^\top W u_t \) 等）。用 \( \hat{u}_{it} \) 代替 \( u_{it} \)，得到样本矩 \( \bar{g}_T(\rho) = \frac{1}{T} \sum_{t=1}^T g(\hat{u}_t, \rho) \)，然后最小化 \( \bar{g}_T(\rho)^\top \Omega \bar{g}_T(\rho) \)（\( \Omega \) 是权重矩阵）。证明相合性：因为 \( \hat{u}_{it} \) 是 \( u_{it} \) 的相合估计，且 \( g \) 连续，所以 \( \bar{g}_T(\rho) \) 一致收敛到 \( E[g(u_t, \rho)] \)。渐近正态性：需处理两步估计的误差传播，通过联合影响函数展开将 \( \hat{\beta}_{\text{IPW}} \) 的估计误差纳入 \( \hat{\rho}_{\text{GMM}} \) 的渐近方差中。
第五步：方差估计。给出 \( \Sigma_\beta \) 和 \( \Sigma_\rho \) 的解析公式，用样本矩和空间权重矩阵的已知结构计算，避免 bootstrap。

关键跳跃点： - 最吃功夫的引理：证明 IPW 估计方程在空间相关误差下的渐近方差公式。难点在于：误差 \( u_{it} \) 在空间上相关（通过 \( W \)），但时间上独立，所以估计方程的方差是空间维度的累积和，需要利用 \( W \) 的谱分解或矩阵级数展开。作者的处理是：将 \( u_t = (I_n - \rho W)^{-1} \varepsilon_t \) 代入，将方差表示为 \( \varepsilon_t \) 的二次型，然后利用 \( \varepsilon_t \) 的独立同分布性质计算。 - 另一个跳跃点：GMM 矩条件的选择。作者使用了 Kelejian & Prucha (1999) 的经典矩条件（基于 \( u_t^\top W^\top u_t \)、\( u_t^\top W^\top W u_t \) 等），但需要验证这些矩条件在 IPW 修正后的残差下仍然成立。证明的关键是：IPW 修正不改变残差的空间结构（因为 \( \hat{\beta}_{\text{IPW}} \) 相合，且 \( x_{it} \) 与 \( u_{it} \) 独立），所以矩条件在概率极限下成立。

技术技巧点名： - 两步估计的联合渐近理论（Newey & McFadden 1994）：用于处理第一步 IPW 估计误差向第二步 GMM 的传播。 - 空间权重矩阵的谱分解：用于计算 \( u_t \) 的方差-协方差矩阵 \( \sigma^2 (I_n - \rho W)^{-1} (I_n - \rho W^\top)^{-1} \)，并推导渐近方差公式。 - 逆概率加权（IPW）：标准工具，但本文将其应用于空间相关误差的设定，并证明了其相合性不受空间相关影响。 - 广义矩估计（GMM）：标准工具，但本文将其与 IPW 结合，并处理了第一步估计误差。

真实例子与应用¶

数据：中国 43 个主要城市的空气质量监测数据，时间跨度为 2015 年 1 月 1 日至 2016 年 12 月 31 日（共 731 天）。响应变量 \( y_{it} \) 是城市 \( i \) 在第 \( t \) 天的 PM2.5 浓度（对数变换）。协变量 \( x_{it} \) 包括温度、湿度、风速、降水等气象变量（完全观测）。缺失数据：PM2.5 记录中有约 5% 的缺失（由于设备故障或维护），缺失机制由气象变量决定（MAR 假设合理）。

方法应用： - 空间权重矩阵 \( W \)：基于城市间的地理距离（反距离加权，行标准化）。 - 第一步：用逻辑回归估计缺失概率 \( \pi_{it} \)，协变量为温度、湿度、风速、降水。 - 第二步：IPW 加权最小二乘估计 \( \beta \)（自回归系数）。 - 第三步：计算 IPW 残差，用 GMM 估计空间相关系数 \( \rho \)。 - 作为对比，作者也报告了忽略缺失的完整观测分析（只使用完全观测的 \( (i,t) \)）和忽略空间相关的独立误差模型。

结果： - IPW+GMM 方法估计的 \( \rho \) 约为 0.35（95% CI: [0.28, 0.42]），表明城市间 PM2.5 存在中等程度的空间相关。 - 忽略缺失的完整观测分析估计的 \( \rho \) 偏小（约 0.20），因为缺失数据往往发生在高污染日（设备故障概率高），导致空间相关被低估。 - 忽略空间相关的独立误差模型估计的 \( \beta \) 标准误偏小（低估了约 30%），因为空间相关导致残差正相关，独立误差假设下的标准误公式不成立。

这个例子想说明什么：验证了本文方法在真实数据中的实用性——同时处理缺失和空间相关是必要的，忽略任何一个都会导致偏差或效率损失。具体地，缺失导致空间相关系数被低估（因为缺失机制与污染水平相关），而忽略空间相关导致自回归系数的标准误被低估。

🔎 结论是否比证明窄¶

窄的地方：作者在引言中声称方法适用于"一般空间相关误差"，但证明中假设缺失指示变量 \( r_{it} \) 在空间上独立（即给定 \( x_{it} \)，不同站点的缺失是独立的）。这个假设在实际中可能不成立（如区域性停电导致多个站点同时缺失）。作者在模拟中测试了空间相关缺失（通过一个空间潜变量生成 \( r_{it} \)），发现方法仍有一定稳健性，但没有理论保证。结论中未明确标注这一限制。
另一个窄的地方：作者假设空间权重矩阵 \( W \) 已知且固定。实际中，\( W \) 可能基于距离或邻接关系指定，但存在模型不确定性。作者在结论中提到了"\( W \) 的估计"作为未来工作，但未在本文中处理。
泛化的 claim：作者在摘要中说"适用于一般空间数据"，但证明只针对固定 \( n \)、\( T \to \infty \) 的渐近。对于 \( n \) 和 \( T \) 都大的面板数据（如 \( n = 1000, T = 10 \)），渐近性质可能不同。这是值得研究者去查的问题。

四、开放问题（点到为止，扎根具体语句）¶

空间相关缺失机制：本文假设缺失指示变量在空间上独立（"we assume that the missingness indicators are independent across spatial units given the covariates"）。如果缺失本身具有空间相关（如区域性设备故障），IPW 权重估计是否仍然相合？如何扩展？——扎根于本文第 2 节假设 3。
空间权重矩阵的估计：本文假设 \( W \) 已知（"the spatial weight matrix \( W \) is known and fixed"）。实际中，\( W \) 可能基于距离或邻接关系指定，但存在模型不确定性。如何同时估计 \( W \) 和 \( \rho \)？——扎根于本文第 5 节"Future work"。
双重稳健扩展：本文只用了 IPW，未尝试双重稳健（DR）估计（如结合结果回归模型）。DR 估计在空间相关误差下是否仍保持双重稳健性？——扎根于本文第 1 节引用 Robins et al. (1995) 但未讨论 DR。
有限样本下的 minimax 最优性：本文给出了渐近正态性，但未讨论估计量的 minimax 最优收敛速率。对于固定 \( n \)、\( T \to \infty \) 的设定，IPW+GMM 估计量是否达到半参数效率界？——扎根于本文定理 1 和 2 的方差公式，但未与效率界比较。

Maintained by 陈星宇 · Homepage · Source on GitHub