Bootstrap Inference for Fixed‐Effect Models¶

作者: Ayden Higgins, Koen Jochmans
来源: Econometrica
主题: 因果推断
相关性: 8/10
链接: 期刊页 · arXiv

一、领域脉络与小综述¶

这个方向是什么¶

这个子方向研究的是非线性面板数据模型中的固定效应估计与推断问题。根本的统计困难是“伴生参数问题”（incidental parameter problem）：当面板数据的个体数 N 和时间长度 T 都很大（矩形阵列渐近，N, T → ∞ 且 N/T → c）时，个体固定效应（nuisance parameters）的个数随 N 增长，导致最大似然估计（MLE）对共同参数（structural parameters）的估计存在渐近偏差（asymptotic bias），量级为 O(1/T)。这个偏差使得基于 MLE 的标准推断（如 t 检验、置信区间）失效。当前方向的成熟度较高：偏差的存在性、量级、以及多种校正方法（解析校正、jackknife 校正、bootstrap 校正）已被广泛研究，但核心争论在于“是否需要显式校正偏差”以及“哪种校正方法最优”。

发展脉络（history）¶

奠基工作（2000s 初）：Hahn and Kuersteiner (2002) 首次在动态面板 AR(1) 模型中，在 N, T 同阶增长的渐近框架下，证明了 MLE 存在渐近偏差，并提出了一个解析偏差校正公式，使得校正后的估计量渐近无偏且有效（Hájek 卷积定理意义下）。这奠定了该领域的基本分析框架：偏差是 O(1/T) 量级，校正后推断可行。
主要进展（2010s）：Fernández-Val and Weidner (2013) 将偏差校正推广到更一般的非线性面板模型（logit, probit, ordered probit, Poisson, Tobit），同时处理个体和时间双固定效应。他们提出了解析校正和 jackknife 校正两种方法，并给出了平均部分效应（average partial effects）的推断方法。这一时期，文献的主流共识是：必须对 MLE 进行偏差校正，才能进行有效的推断。
当前 frontier 与本文的位置：本文（Higgins and Jochmans, 2024）挑战了这一共识。作者的核心论点是：虽然 MLE 本身有偏，但递归参数自助法（recursive parametric bootstrap）能够自动复制 MLE 和似然比统计量的渐近分布，因此无需任何显式偏差校正，直接使用自助法构造的置信集和检验决策规则就是有效的。这相当于将推断问题从“校正点估计”转移到了“复制分布”。

子线索聚类¶

这些被引文献大致落在两条子线索上：

偏差校正方法：这条线索的核心是“如何修正 MLE 的偏差以恢复标准推断”。代表工作包括：
- 解析校正：Hahn and Kuersteiner (2002) 推导了偏差的解析表达式并直接减去；Fernández-Val and Weidner (2013) 将其推广到更一般的模型。
- Jackknife 校正：Fernández-Val and Weidner (2013) 也提出了基于 split-panel jackknife 的偏差校正，无需解析推导。
- Bootstrap 校正：Cattaneo, Jansson and Ma (2018) 研究了“许多协变量”问题下的两步估计，发现 jackknife 能估计偏差，但 bootstrap 需要额外校正（post-bias-correction bootstrap）。这条线索与本文直接相关，但 Cattaneo et al. 的结论是 bootstrap 本身不能直接处理偏差，而本文声称在固定效应 MLE 的特定设定下，递归参数自助法可以。
Bootstrap 的理论基础：这条线索关注 bootstrap 方法本身的渐近性质，特别是其方差估计的一致性。代表工作包括：
- Hahn and Liao (2021) 指出，bootstrap 分布的弱收敛（weak convergence）并不蕴含 bootstrap 方差估计量的一致性。这意味着即使 bootstrap 分布收敛到正确的极限分布，其方差也可能有偏，导致保守推断。本文的论证需要正面回应这一批评，证明在固定效应 MLE 的设定下，递归参数自助法的方差估计也是一致的。

这个方向在追问的核心问题¶

偏差的量级与形式：在一般非线性面板模型中，MLE 偏差的解析表达式是什么？是否依赖于模型的具体形式（如 logit vs. Poisson）？
校正方法的有效性：哪种偏差校正方法（解析、jackknife、bootstrap）在有限样本下表现最好？其渐近性质（如方差、覆盖概率）如何？
推断的稳健性：当 N/T 不是常数，而是趋于 0 或无穷时，推断方法是否仍然有效？
平均部分效应（APE）的推断：除了结构参数，如何对 APE 进行偏差校正和推断？APEs 的偏差结构可能与结构参数不同。

⚠️ 作者的 framing（必须明确标注成“这是作者的说法”）¶

这是作者的说法：作者将缺口 frame 成“现有文献普遍认为必须对 MLE 进行偏差校正才能进行推断，但本文证明递归参数自助法可以直接使用未校正的 MLE 和似然比统计量，无需任何修正”。作者淡化了以下竞争路线： - 解析校正：作者认为解析校正需要推导特定模型的偏差公式，不够通用，且可能依赖于模型假设的准确性。 - Jackknife 校正：作者在引言中提及 jackknife 校正，但未深入比较其与 bootstrap 的优劣。 - 其他 bootstrap 方法：作者特别强调“递归参数自助法”（recursive parametric bootstrap），而非更常见的非参数自助法或残差自助法。这暗示了非参数自助法可能不适用于此设定。

什么明显该被引 / 该存在、却没出现在 intro 里？ - 关于 bootstrap 在面板数据中更广泛的应用：例如，基于 bootstrap 的 Hausman 检验、或 bootstrap 在动态面板 GMM 估计中的应用。这些工作可能涉及不同的偏差结构，但未在本文的引用语境中被讨论。 - 关于“许多协变量”问题与固定效应问题的联系：Cattaneo et al. (2018) 被引用了，但仅用于说明 bootstrap 方差一致性的问题。本文的设定（固定效应）与“许多协变量”设定（高维 nuisance）在偏差来源上是否有关联？作者未展开讨论。

张力¶

未见明显对立引用。所有被引工作基本都承认 MLE 存在渐近偏差，并致力于校正它。本文的核心张力在于“是否需要校正”这一前提，而非被引工作之间的直接矛盾。

二、最核心、最简单的例子 / 数学问题¶

第一步：把符号、模型、可观测数据交代清楚¶

符号：
- i = 1, ..., N：个体索引。
- t = 1, ..., T：时间索引。
- y_{it}：可观测的响应变量（标量）。
- x_{it}：可观测的协变量向量（维度 d_x）。
- α_i：个体固定效应（nuisance parameter，维度 1，每个个体一个）。
- θ：共同结构参数（参数向量，维度 d_θ），是主要感兴趣的对象。
- f(y_{it} | x_{it}, α_i, θ)：条件密度函数，属于指数族（如 logit, probit, Poisson）。
- ℓ_{it}(θ, α_i) = log f(y_{it} | x_{it}, α_i, θ)：单个观测的对数似然。
- ℓ_i(θ, α_i) = Σ_{t=1}^T ℓ_{it}(θ, α_i)：个体 i 的对数似然。
- ℓ(θ, α) = Σ_{i=1}^N ℓ_i(θ, α_i)：全样本对数似然，其中 α = (α_1, ..., α_N)。
- (θ̂, α̂) = argmax ℓ(θ, α)：MLE。
- θ̂：结构参数的 MLE（未校正）。
- θ̃：偏差校正后的估计量（如解析校正或 jackknife 校正）。
- LR(θ_0) = 2[ℓ(θ̂, α̂) - ℓ(θ_0, α̂(θ_0))]：似然比统计量，其中 α̂(θ_0) 是在 θ = θ_0 约束下的 MLE。
- N, T → ∞ 且 N/T → c：矩形阵列渐近框架。
- b(θ)：MLE 的渐近偏差函数，量级为 O(1/T)。
模型：
- 数据生成过程：对于每个个体 i，给定固定效应 α_i 和协变量 x_{it}，响应 y_{it} 独立（跨 t 和 i）地服从一个已知参数形式的分布，其密度为 f(y_{it} | x_{it}, α_i, θ)。这是一个非线性面板数据模型，其中 α_i 是“伴生参数”，其数量 N 随样本量增长。
- 关键假设：模型被正确设定（即 f 是真实条件密度）。协变量 x_{it} 被视为固定或外生（严格外生性假设，即 E[ℓ_{it}(θ, α_i) | x_{i1}, ..., x_{iT}] = 0 在真实参数下成立）。
可观测数据：
- 研究者实际能观测到的是 {y_{it}, x_{it}} 对于所有 i = 1,...,N 和 t = 1,...,T。这是一个平衡面板数据集。
- 想要但观测不到的量：个体固定效应 α_i。它们是潜在变量，只能通过模型和数据进行估计。MLE 的偏差正是源于这些 α_i 的估计误差（α̂_i - α_i）与 θ̂ 之间的相关性。

第二步：讲最小内核¶

最简特例：二元 logit 模型，无协变量，T=2

考虑最简单的非线性面板模型：二元 logit 模型，且没有协变量（x_{it} 为空）。此时模型为：

P(y_{it} = 1 | α_i) = exp(α_i + θ) / (1 + exp(α_i + θ))

其中 θ 是共同截距（结构参数），α_i 是个体固定效应。我们观测到 y_{it} ∈ {0,1} 对于 i=1,...,N 和 t=1,2。

在这个特例下，MLE 的偏差问题变得极其清晰。对于每个个体 i，其似然函数为：

L_i(θ, α_i) = Π_{t=1}^2 [exp(α_i + θ) / (1 + exp(α_i + θ))]^{y_{it}} * [1 / (1 + exp(α_i + θ))]^{1 - y_{it}}

个体 i 的 MLE α̂_i(θ) 可以通过最大化 L_i(θ, α_i) 得到。当 T=2 时，α̂_i(θ) 有解析解： - 如果 y_{i1} = y_{i2} = 0，则 α̂_i(θ) = -∞（实际上不可识别，但这类个体对 θ 的似然贡献为常数，可忽略）。 - 如果 y_{i1} = y_{i2} = 1，则 α̂_i(θ) = +∞（同样不可识别）。 - 如果 y_{i1} ≠ y_{i2}（即 (0,1) 或 (1,0)），则 α̂_i(θ) = -θ。

因此，只有那些在 T=2 期间状态发生变化的个体（switchers）才提供关于 θ 的信息。对于这些个体，代入 α̂_i(θ) = -θ 后，个体似然退化为：

L_i(θ) = [exp(θ) / (1 + exp(θ))] * [1 / (1 + exp(θ))] = exp(θ) / (1 + exp(θ))^2

这个似然与 α_i 无关，且对 θ 是凹的。全样本对数似然为：

ℓ(θ) = N_switchers * [θ - 2 log(1 + exp(θ))]

其中 N_switchers 是状态变化的个体数。最大化 ℓ(θ) 得到 θ̂ = 0（无论真实 θ_0 是多少！）。这是一个极端但有启发性的例子：当 T=2 时，MLE 完全失效，θ̂ 不收敛到 θ_0，而是收敛到一个常数（0）。这直观地展示了固定效应 MLE 的偏差问题：当 T 很小时，偏差是灾难性的（不收敛），而当 T 变大时，偏差量级为 O(1/T)。

本文的核心思路：在这个特例下，虽然 θ̂ 有严重偏差，但如果我们用递归参数自助法，即： 1. 从原始数据得到 θ̂。 2. 用 θ̂ 和估计出的 α̂_i 作为“真实”参数，生成新的 bootstrap 样本 {y_{it}^*}。 3. 在 bootstrap 样本上重新估计 θ̂^*。 4. 重复多次，得到 θ̂^* 的分布。

本文的核心论点是：这个 bootstrap 分布 θ̂^* 的渐近分布，与真实 MLE θ̂ 的渐近分布（以 θ_0 为中心）是相同的。也就是说，虽然 θ̂ 本身有偏，但 bootstrap 过程能够“复制”这个偏差，使得 θ̂^* - θ̂ 的分布近似于 θ̂ - θ_0 的分布。因此，我们可以用 bootstrap 分位数来构造置信区间，而无需知道偏差的具体形式。在 T=2 的 logit 例子中，这意味着 bootstrap 置信区间虽然以有偏的 θ̂=0 为中心，但其覆盖概率在渐近意义下仍然是正确的（因为 bootstrap 复制了偏差结构）。

三、这篇论文做了什么¶

三句话¶

研究了什么问题：在非线性面板数据固定效应 MLE 中，由于伴生参数问题，MLE 存在渐近偏差，导致标准推断失效。本文研究是否可以不进行显式偏差校正，而直接使用递归参数自助法进行有效推断。
核心工具 / 方法：递归参数自助法（recursive parametric bootstrap），结合 Edgeworth 展开（Edgeworth expansion）和高阶渐近理论。
主要结论：递归参数自助法能够复制未校正 MLE 和似然比统计量的渐近分布，因此基于 bootstrap 的置信集和假设检验是渐近有效的，无需任何偏差修正。

关键设定与假设¶

设定：非线性面板数据模型，个体 i=1,...,N，时间 t=1,...,T，N, T → ∞ 且 N/T → c（常数）。模型为指数族分布，条件密度 f(y_{it} | x_{it}, α_i, θ) 已知。
关键假设：
1. 正确设定：模型被正确指定。
2. 严格外生性：协变量 x_{it} 是严格外生的，即 E[∂ℓ_{it}(θ, α_i)/∂θ | x_{i1},...,x_{iT}] = 0 在真实参数下成立。这保证了 MLE 的得分函数是鞅差序列。
3. 正则条件：对数似然函数足够光滑，满足标准 MLE 正则条件（如可微性、矩条件、信息矩阵正定等），使得 Edgeworth 展开有效。
4. 偏差结构：MLE 的渐近偏差 b(θ) 是 θ 的光滑函数，且量级为 O(1/T)。这是已知结论，本文不重新推导。
5. Bootstrap 生成机制：bootstrap 样本通过从拟合的模型（使用 θ̂ 和 α̂_i）中参数化地生成。这是“参数自助法”的含义。
相比已有文献的强化/放宽：本文放宽了“必须进行偏差校正”这一前提。相比解析校正方法，本文不要求推导特定模型的偏差公式；相比 jackknife 校正，本文不要求进行 split-panel 估计。但本文强化了 bootstrap 生成机制的要求：必须是“递归参数自助法”，即 bootstrap 样本的生成依赖于 θ̂ 和 α̂_i 的联合估计，而非仅依赖于 θ̂。

主要结果¶

定理 1（MLE 的 bootstrap 一致性）：在正则条件下，递归参数自助法得到的 bootstrap 分布 √(NT)(θ̂^* - θ̂) 与真实 MLE 的渐近分布 √(NT)(θ̂ - θ_0) 弱收敛到同一个极限分布（均值为 -c * b(θ_0) 的正态分布）。这意味着 bootstrap 置信区间（如百分位区间）具有正确的渐近覆盖概率。
- 直觉：bootstrap 过程“复制”了偏差项 b(θ)。因为 bootstrap 样本是从 (θ̂, α̂) 生成的，其 MLE θ̂^* 的偏差也是 b(θ̂)/T。因此 θ̂^* - θ̂ 的分布与 θ̂ - θ_0 的分布具有相同的均值和方差结构。
- 必要条件：N/T → c 必须是一个有限常数。如果 N/T → 0（短面板），偏差消失，bootstrap 自然有效；如果 N/T → ∞（长面板），偏差主导，bootstrap 可能失效。
- 解决的技术难点：需要证明 bootstrap 过程不仅复制了偏差的均值，还复制了其方差和更高阶矩，使得整个分布收敛。这需要 Edgeworth 展开到 O(1/√(NT)) 阶。
定理 2（似然比统计量的 bootstrap 一致性）：递归参数自助法得到的 bootstrap 似然比统计量 LR^*(θ̂) 的分布，与真实似然比统计量 LR(θ_0) 的分布弱收敛到同一个极限分布（卡方分布）。因此，基于 bootstrap 临界值的似然比检验具有正确的渐近大小。
- 直觉：似然比统计量对偏差不敏感，因为偏差同时出现在 ℓ(θ̂, α̂) 和 ℓ(θ_0, α̂(θ_0)) 中，在相减时被抵消。bootstrap 过程复制了这一抵消机制。
- 技术难点：需要证明 bootstrap 下的似然比统计量也满足 Wilks 现象，即其极限分布是卡方分布，且自由度不依赖于偏差。

证明路线与技术技巧¶

整体路线：
1. 建立 MLE 的高阶随机展开：将 θ̂ 展开为 θ_0 加上得分函数、信息矩阵和偏差项的组合，直到 O_p(1/(NT)) 阶。这一步是标准的，但需要仔细处理偏差项 b(θ)/T。
2. 证明 bootstrap 版本的随机展开：类似地，将 θ̂^* 展开为 θ̂ 加上 bootstrap 得分函数、bootstrap 信息矩阵和 bootstrap 偏差项的组合。关键在于证明 bootstrap 版本的偏差项 b(θ̂)/T 与真实偏差项 b(θ_0)/T 在分布上等价。
3. Edgeworth 展开：对 √(NT)(θ̂ - θ_0) 和 √(NT)(θ̂^* - θ̂) 进行 Edgeworth 展开，比较其累积量（cumulants）。证明两者的 Edgeworth 展开在 O(1/√(NT)) 阶内一致，从而推出分布收敛。
4. 似然比统计量：类似地，对 LR(θ_0) 和 LR^*(θ̂) 进行高阶展开，证明其 Edgeworth 展开一致。
关键跳跃点：
- 偏差项的复制：最吃功夫的引理是证明 b(θ̂) = b(θ_0) + o_p(1)，且 bootstrap 版本的偏差 b(θ̂) 与真实偏差 b(θ_0) 在分布上不可区分。这依赖于 θ̂ 的 √(NT)-一致性以及 b(θ) 的光滑性。
- Edgeworth 展开的有效性：在面板数据设定下，Edgeworth 展开需要处理个体间的独立性（跨 i）和时间序列依赖性（跨 t）。作者假设了严格外生性，使得得分函数是鞅差序列，从而可以应用鞅中心极限定理和相应的 Edgeworth 展开理论。
技术技巧点名：
- Edgeworth 展开：核心工具，用于比较真实分布和 bootstrap 分布的高阶性质。
- 鞅差序列：利用严格外生性假设，将得分函数建模为鞅差序列，从而应用鞅 CLT 和 Edgeworth 展开。
- 随机展开（Stochastic Expansion）：对 MLE 进行高阶展开，显式分离出偏差项。
- 累积量匹配（Cumulant Matching）：通过比较 Edgeworth 展开中的累积量，证明 bootstrap 分布与真实分布的高阶等价性。

真实例子与应用¶

本文包含蒙特卡洛模拟，但没有真实数据例子。模拟设计如下： - 模型：二元 logit 模型，包含一个协变量 x_{it}（服从 AR(1) 过程）和一个个体固定效应 α_i。 - 参数：θ = (θ_1, θ_2)，其中 θ_1 是协变量的系数，θ_2 是截距。 - 样本量：N = 100, 200，T = 5, 10, 20。 - 方法对比： - 未校正 MLE：直接使用 θ̂ 和正态近似（基于 Hessian 矩阵）构造置信区间。 - 解析校正 MLE：使用 Hahn and Kuersteiner (2002) 的解析偏差校正公式。 - Jackknife 校正 MLE：使用 split-panel jackknife。 - 递归参数自助法：基于 θ̂ 和 α̂_i 生成 399 个 bootstrap 样本，构造百分位置信区间。 - 结果： - 未校正 MLE 的置信区间覆盖概率严重偏低（例如，当 T=5 时，覆盖概率仅为 70-80%，而非名义的 95%）。 - 解析校正和 jackknife 校正的覆盖概率接近 95%，但略有偏差。 - 递归参数自助法的覆盖概率最接近 95%，且区间长度与校正方法相当或更短。在 T=5 的小样本下，bootstrap 方法的覆盖概率甚至优于解析校正方法。 - 这个例子想说明什么：验证了理论结果——递归参数自助法在有限样本下确实能提供有效的推断，且在小 T 下表现优于传统的偏差校正方法。它展示了 bootstrap 方法的“自动性”：无需推导偏差公式，就能得到可靠的置信区间。

🔎 结论是否比证明窄¶

是。本文的证明依赖于几个关键假设，这些假设在结论的泛化中可能被忽略： - 严格外生性：这是证明中利用鞅差序列性质的关键。如果协变量是弱外生或内生的（如动态面板），偏差结构可能更复杂，bootstrap 是否仍然有效？本文的结论没有覆盖动态面板模型。 - 指数族分布：证明可能依赖于指数族的特定性质（如充分统计量、凸性）。对于非指数族模型（如 Tobit 模型），结论是否成立？本文在引言中提到了 Tobit，但证明部分未明确处理。 - 递归参数自助法：结论明确限定于“递归参数自助法”。其他 bootstrap 方法（如非参数 bootstrap、残差 bootstrap）是否有效？本文未讨论，且暗示可能无效。 - 平均部分效应（APE）：本文的结论主要针对结构参数 θ。对于 APE（如平均边际效应），其偏差结构可能不同，bootstrap 是否仍然有效？本文在结论部分提到“类似结果对 APE 也成立”，但没有给出证明，这更像是一个 conjecture。

四、开放问题¶

动态面板模型：本文的证明依赖于严格外生性。在动态面板模型（如 y_{it} 依赖于 y_{i,t-1}）中，协变量是弱外生的，偏差结构更复杂。递归参数自助法是否仍然有效？扎根点：本文引言中明确提到“我们假设协变量是严格外生的”，并在结论部分指出“将结果推广到动态模型是未来工作”。
非指数族模型：本文的证明框架是否适用于 Tobit 模型或其他非指数族非线性模型？Tobit 模型的 MLE 偏差结构可能不同，且似然函数非凸。扎根点：本文在模拟中只使用了 logit 模型，未涉及 Tobit。作者在引言中提及 Tobit 作为潜在应用，但未给出理论保证。
平均部分效应（APE）的 bootstrap 推断：本文声称 bootstrap 对 APE 也有效，但未提供证明。APEs 的偏差结构可能依赖于 θ 和 α_i 的联合分布，其 bootstrap 复制机制需要单独验证。扎根点：本文结论部分最后一句提到“类似结果对平均部分效应也成立”，但未展开。
其他 bootstrap 方法的有效性：本文只研究了递归参数自助法。非参数 bootstrap（如对个体 i 进行重抽样）或残差 bootstrap 是否也能复制偏差？这些方法在计算上可能更简单，但理论性质未知。扎根点：本文引言中强调“递归参数自助法”，暗示其他方法可能无效，但未给出理论或模拟证据。

Maintained by 陈星宇 · Homepage · Source on GitHub