M-Estimation in Censored Regression Model under Endogeneity¶
作者: Swati Shukla, Subhra Sankar Dhar, Shalabh
主题: 因果推断
相关性: 7/10
链接: https://arxiv.org/abs/2611.09539
一、领域脉络与小综述¶
这个方向是什么¶
本文所处的子方向是含内生性的删失回归模型(censored regression with endogeneity)的半参数估计。其根本的统计问题是:当因变量存在删失(如 Tobit 模型)且解释变量与误差项相关(内生性)时,如何一致地估计回归系数。这一问题的难点在于,删失破坏了线性回归的矩条件,而内生性又使得普通最小二乘或简单的删失回归估计量不一致。该方向在劳动经济学(如工时供给模型)、健康经济学(如医疗支出)等领域有广泛的应用背景。当前该方向的成熟度较高,已有多种估计方法(如对称截断最小二乘、删失分位回归、控制函数法等),但缺乏一个统一的、允许灵活选择损失函数的估计框架,这正是本文试图填补的缺口。
发展脉络(history)¶
- 奠基工作:Powell (1986b) 提出的对称截断最小二乘(SCLS) 和 Powell (1986a) 提出的删失分位回归(CQR) 是删失回归模型半参数估计的基石。SCLS 利用误差分布的对称性构造矩条件,CQR 则利用分位回归对删失的鲁棒性。这两篇工作确立了"不依赖误差分布具体形式"的估计思路。
- 内生性处理的引入:Blundell & Powell (2007) 将分位回归扩展到内生解释变量的情形,提出了删失分位回归的工具变量方法。Das (2002) 和 Chernozhukov et al. (2015) 进一步发展了删失回归中处理内生性的半参数方法,其中 Chernozhukov et al. (2015) 提出的 CQIV 估计量结合了删失分位回归与控制函数方法,是本文最直接的前作。
- 控制函数方法的系统化:Smith & Blundell (1986) 和 Rivers & Vuong (1988) 将控制函数方法引入 Tobit 模型,通过在第一阶段回归中提取内生变量的残差作为控制变量,从而在第二阶段消除内生性。这一方法成为本文的核心技术基础。
- M-估计框架的推广:Honoré (1992) 将 Powell 的 SCLS 推广到固定效应面板数据,展示了 M-估计框架在删失模型中的灵活性。Lee (1992) 提出的缩尾均值估计量(WME) 使用 Huber 损失函数,是本文框架的一个特例。
- 本文的位置:本文在上述工作的基础上,将控制函数方法与一个一般的 M-估计框架结合,允许损失函数在一个广泛的 Lipschitz 类中任意选择,从而将 SCLS、CQR、WME 等现有估计量统一为特例,并首次将 Hampel 和 Tukey biweight 等非凸、redescending 损失函数引入删失回归。
子线索聚类¶
- 基于对称性/截断的估计:Powell (1986b) 的 SCLS、Honoré (1992) 的固定效应推广。这条线索利用误差分布的对称性构造矩条件,对删失的机制要求较强(对称性),但对误差分布的具体形式不敏感。
- 基于分位回归的估计:Powell (1986a) 的 CQR、Blundell & Powell (2007)、Chernozhukov et al. (2015) 的 CQIV。这条线索利用分位回归对删失的鲁棒性,可以刻画解释变量对响应变量不同分位点的影响,但估计效率通常低于基于完整分布信息的估计量。
- 基于控制函数/工具变量的估计:Smith & Blundell (1986)、Rivers & Vuong (1988)、Das (2002)、Chernozhukov et al. (2015)。这条线索通过第一阶段回归提取内生变量的外生变异,是处理内生性的主流方法。
- 基于鲁棒损失函数的 M-估计:Huber (1964)、Andrews et al. (1972)、Lee (1992)。这条线索关注损失函数的选择对估计量鲁棒性和效率的影响,本文是这一线索在删失+内生性设定下的系统化推广。
这个方向在追问的核心问题¶
- 如何在删失和内生性同时存在时构造一致的估计方程? 当前主流方法是控制函数法,但该方法对第一阶段模型的设定(线性、参数形式)有较强依赖,且对误差分布的要求(对称性或分位条件)限制了其适用范围。
- 如何选择损失函数以平衡鲁棒性和效率? 现有估计量(如 SCLS、CQR)各自对应特定的损失函数,但缺乏一个统一框架来比较和选择。本文提出的 Lipschitz 损失类提供了一个理论平台,但损失函数的最优选择准则(如最小化渐近方差或最大化最坏情况下的效率)仍未解决。
- 如何对非凸损失函数(如 Hampel、Tukey)建立渐近理论? 非凸损失函数具有良好的鲁棒性,但其目标函数可能有多重局部极小值,且其渐近分析需要处理非光滑、非单调的得分函数。本文声称建立了这类估计量的渐近正态性,但证明细节和正则条件的充分性值得仔细审视。
⚠️ 作者的 framing(必须明确标注成"这是作者的说法")¶
作者在引言中将其贡献框架为:"我们提出一个一般的 M-估计框架,将控制函数方法与一类 Lipschitz 损失函数结合,从而统一了现有的删失回归估计量,并允许使用此前未研究的鲁棒损失函数。" 作者将缺口定位为"缺乏一个统一的、允许灵活选择损失函数的估计框架",并强调其框架的一般性和鲁棒性。作者淡化了以下竞争路线的潜在优势:(i) 完全参数化的极大似然方法(如 Tobit 的 MLE)在误差分布正确时效率更高;(ii) 基于矩不等式的部分识别方法(如 Hong & Tamer 2003)在识别假设更弱时更稳健。作者也未讨论其框架对第一阶段模型误设的敏感性——这是控制函数法的已知弱点。
张力¶
未见明显的对立引用。但存在一个微妙的张力:Powell (1986b) 的 SCLS 依赖误差分布的对称性,而 Chernozhukov et al. (2015) 的 CQIV 依赖分位条件(即给定控制变量后,误差的某个分位为零)。这两种条件在一般情况下不可比,本文的框架试图通过损失函数的选择来统一它们,但是否有一个损失函数能同时满足两种条件,作者没有明确说明。
二、最核心、最简单的例子 / 数学问题¶
第一步:符号、模型、可观测数据¶
- 参数 / 估计目标:
- \(\beta_0 = (\alpha_0^\top, \gamma_{1,0}, \gamma_{2,0})^\top \in \mathbb{R}^{p+2}\):第二阶段的回归系数,是本文的核心估计目标。
- \(\delta_0 \in \mathbb{R}^{p+1}\):第一阶段(内生变量对工具变量的回归)的系数,属于辅助参数。
- \(c\):已知的删失阈值(本文设为 0,不失一般性)。
-
\(c_\rho > 0\):损失函数 \(\rho\) 的缩尾阈值,是估计量定义中的调节参数。
-
随机变量 / 样本:
- \(Y_i\):观测到的响应变量,满足 \(Y_i = \max\{X_i^\top \beta_0 + \varepsilon_i, 0\}\),其中 \(X_i = (\tilde{X}_i^\top, W_i, \vartheta_i(\delta_0))^\top\)。
- \(\tilde{X}_i \in \mathbb{R}^p\):外生解释变量。
- \(W_i \in \mathbb{R}\):内生解释变量。
- \(Z_i = (\tilde{X}_i^\top, Z_{1,i})^\top \in \mathbb{R}^{p+1}\):工具变量(包含外生解释变量和额外的工具 \(Z_{1,i}\))。
- \(\vartheta_i(\delta_0) = W_i - Z_i^\top \delta_0\):第一阶段回归的误差项,即控制函数。
- \(\varepsilon_i\):第二阶段的结构误差,满足 \(E[\psi(\varepsilon_i) | X_i] = 0\)(\(\psi\) 为损失函数的导数)。
-
\(\{(Y_i, \tilde{X}_i, W_i, Z_i)\}_{i=1}^n\):可观测的 i.i.d. 样本。
-
潜在 / 不可观测量:
- \(\varepsilon_i\):结构误差,不可直接观测。
- \(\vartheta_i(\delta_0)\):第一阶段误差,不可直接观测,但可通过第一阶段回归的残差 \(e_i(\hat\delta_n) = W_i - Z_i^\top \hat\delta_n\) 来估计。
- \(Y_i^* = X_i^\top \beta_0 + \varepsilon_i\):潜变量(uncensored latent outcome),当 \(Y_i^* > 0\) 时 \(Y_i = Y_i^*\),否则 \(Y_i = 0\)。
第二步:最小内核¶
核心命题(最小内核):假设我们有一个删失回归模型 \(Y_i = \max\{X_i^\top \beta_0 + \varepsilon_i, 0\}\),其中 \(X_i\) 与 \(\varepsilon_i\) 相关(内生性)。我们有一个工具变量 \(Z_i\),通过第一阶段回归 \(W_i = Z_i^\top \delta_0 + \vartheta_i\) 提取控制函数 \(\vartheta_i\)。我们想要估计 \(\beta_0\)。
最简特例:\(p=0\)(无外生解释变量),\(W_i\) 是唯一解释变量,\(Z_{1,i}\) 是唯一的工具变量。模型简化为:
- 第一阶段:\(W_i = \delta_0 Z_i + \vartheta_i\),其中 \(Z_i \in \mathbb{R}\)。
- 第二阶段:\(Y_i = \max\{\gamma_{1,0} W_i + \gamma_{2,0} \vartheta_i + \varepsilon_i, 0\}\),其中 \(\gamma_{2,0}\) 是控制函数的系数。
为什么这个特例是核心:在这个特例中,内生性完全由 \(\gamma_{2,0} \neq 0\) 刻画(即 \(\vartheta_i\) 进入第二阶段方程)。如果我们忽略 \(\vartheta_i\) 直接对 \(Y_i\) 回归 \(W_i\),估计量不一致。控制函数方法的关键步骤是:
- 第一阶段:用 \(Z_i\) 回归 \(W_i\),得到残差 \(\hat\vartheta_i = W_i - \hat\delta_n Z_i\)。
- 第二阶段:将 \(\hat\vartheta_i\) 作为额外的解释变量加入删失回归,最小化 \(\sum_{i=1}^n \rho(Y_i - \max\{\gamma_1 W_i + \gamma_2 \hat\vartheta_i, c_\rho\})\)。
这个特例下的数学问题:证明当 \(n \to \infty\) 时,\(\hat\beta_n(\rho, \hat\delta_n) \to \beta_0(\rho, \delta_0)\)(一致性),且 \(\sqrt{n}(\hat\beta_n - \beta_0) \Rightarrow N(0, \Sigma^{-1}D(\Sigma^{-1})^\top)\)(渐近正态性)。难点在于目标函数 \(\rho(Y_i - \max\{X_i^\top \beta, c_\rho\})\) 关于 \(\beta\) 不光滑(因为 \(\max\) 函数的存在),且 \(\hat\vartheta_i\) 是第一阶段估计量,引入了额外的随机性。
本文的证明思路(在特例下): 1. 一致性:利用 Powell (1986b) 和 Honoré (1992) 的经典技巧——将目标函数分解为"可微部分"和"不可微部分",利用 Lipschitz 连续性(Assumption 3.1)和一致大数定律(Theorem A.1, Jennrich 1969)证明目标函数的一致收敛,再利用识别条件(Assumption 3.3)和 Argmin 定理(Theorem A.2, Amemiya 1973)得到 \(\hat\beta_n \to \beta_0\)。 2. 渐近正态性:关键步骤是证明得分函数在 \(\beta_0\) 处的"近似可微性"。由于 \(\max\) 函数的存在,得分函数在 \(\beta_0\) 处可能不连续。本文利用 Assumption 3.6(控制 \(X^\top \beta_0\) 接近 \(c_\rho\) 的概率)来"平滑"这一不连续性,然后利用经验过程理论(Theorem A.3, Pakes & Pollard 1989)建立渐近正态性。核心技巧是引入第一阶段估计量 \(\hat\delta_n\) 的渐近展开,将 \(\hat\beta_n\) 的渐近方差分解为"自身方差"(\(D_2\))和"第一阶段估计带来的方差"(\(\Sigma_{2,\delta_0}\Omega_1\Sigma_{2,\delta_0}^\top\))。
一句话总结:本文在数学上干的事情是——在一个非光滑的 M-估计框架下,证明了两阶段估计量(第一阶段 OLS + 第二阶段删失 M-估计)的联合渐近正态性,并给出了可估计的渐近协方差矩阵。
三、这篇论文做了什么¶
三句话¶
- 研究了什么问题:在含内生解释变量的删失回归模型中,如何通过一个一般的 M-估计框架(允许任意 Lipschitz 损失函数)来一致且渐近正态地估计回归系数。
- 核心工具 / 方法:控制函数法(第一阶段 OLS 提取内生变量的残差)+ 非光滑 M-估计(第二阶段最小化 Lipschitz 损失函数),并利用经验过程理论(Pakes & Pollard 1989)处理目标函数的非光滑性。
- 主要结论:所提出的估计量类 \(\{\hat\beta_n(\rho, \hat\delta_n): \rho \in \mathcal{L}\}\) 是强一致的且渐近正态的,渐近协方差矩阵具有清晰的"两阶段"结构(自身方差 + 第一阶段估计方差),且该框架将 SCLS、CQR、WME 等现有估计量统一为特例。
关键设定与假设¶
- 模型:\(Y_i = \max\{X_i^\top \beta_0 + \varepsilon_i, 0\}\),\(X_i = (\tilde{X}_i^\top, W_i, \vartheta_i(\delta_0))^\top\),\(W_i = Z_i^\top \delta_0 + \vartheta_i\)。
- 损失函数类 \(\mathcal{L}\)(Assumption 3.1):Lipschitz 连续、偶函数、\(\rho(0)=0\)。这一假设保证了目标函数的一致收敛性,且允许非凸损失(如 Hampel、Tukey)。
- 误差分布(Assumption 3.2):\(\varepsilon\) 给定 \(X\) 后条件分布绝对连续、对称、严格单峰。对称性用于保证矩条件 \(E[\psi(\varepsilon)|X]=0\) 成立。
- 参数空间(Assumption 3.4):\(\mathcal{B}\) 紧致,\(\beta_0\) 为内点。
- 矩条件(Assumption 3.5):解释变量和工具变量有界(\(\|X\| \le K_0\),\(\|Z\| \le K_1\)),保证大数定律和中心极限定理的适用。
- 光滑性条件(Assumption 3.6):\(X^\top \beta_0\) 的分布在 \(c_\rho\) 附近不能太稠密(\(P(|X^\top \beta_0 - c_\rho| \le t) \le k_1 t\)),这是处理非光滑目标函数的关键。
- 与已有文献的比较:相比 Chernozhukov et al. (2015) 的分位回归方法,本文不要求误差的特定分位条件,而是要求对称性(与 Powell 1986b 一致),但通过损失函数的选择可以覆盖分位回归作为特例。相比 Lee (1992) 的 WME,本文将损失函数从 Huber 推广到更广泛的 Lipschitz 类。
主要结果¶
- Theorem 3.1(强一致性):在 Assumptions 2.1-2.2 和 3.1-3.5 下,\(\hat\beta_n(\rho, \hat\delta_n) \xrightarrow{a.s.} \beta_0(\rho, \delta_0)\)。证明依赖于 Lemma A.1(第一阶段估计量的一致性)和 Lemma A.2(目标函数的一致收敛性)。
- Theorem 3.2(渐近正态性):在 Theorem 3.1 的条件和 Assumptions 3.6-3.8 下,\(\sqrt{n}(\hat\beta_n - \beta_0, \hat\delta_n - \delta_0)^\top \Rightarrow N(0, \Sigma^{-1}D(\Sigma^{-1})^\top)\)。其中 \(\Sigma\) 是目标函数的二阶导(Hessian)矩阵,\(D\) 是得分函数的协方差矩阵。关键结构:\(\Sigma\) 是分块下三角矩阵(因为第一阶段估计不影响第二阶段目标函数的 Hessian),\(D\) 是分块对角矩阵(因为第一阶段和第二阶段得分的协方差为零,见 (A.33))。
- Theorem 3.3(协方差矩阵的一致性估计):\(\hat\Sigma\) 和 \(\hat D\) 是 \(\Sigma\) 和 \(D\) 的一致估计,从而可以构造渐近有效的置信区间和假设检验。
证明路线与技术技巧¶
- 整体路线:
- 第一步:证明第一阶段估计量 \(\hat\delta_n\) 的强一致性(Lemma A.1),利用 OLS 的经典理论。
- 第二步:证明第二阶段目标函数 \(Q_n(\beta, \hat\delta_n)\) 在 \(\beta \in \mathcal{B}\) 上一致收敛到 \(Q(\beta, \delta_0)\)(Lemma A.2)。这里的关键是处理 \(\hat\delta_n\) 的随机性——通过 Lipschitz 连续性将 \(\hat\delta_n\) 与 \(\delta_0\) 的差异"吸收"到可控制的项中。
- 第三步:利用 Argmin 定理(Theorem A.2)和识别条件(Assumption 3.3)得到 \(\hat\beta_n\) 的一致性。
- 第四步:证明得分函数 \(J_n(\beta, \delta)\) 在 \((\beta_0, \delta_0)\) 处的渐近正态性。这里的关键是处理目标函数的非光滑性——通过 Assumption 3.6 控制"不可微区域"的概率,然后利用经验过程理论(Theorem A.3)建立 \(J_n\) 的随机等度连续性(stochastic equicontinuity)。
-
第五步:将 \(J_n\) 在 \((\hat\beta_n, \hat\delta_n)\) 处做一阶展开,结合 \(J_n(\hat\beta_n, \hat\delta_n) \approx 0\),解出 \(\sqrt{n}(\hat\beta_n - \beta_0)\) 的线性表示,从而得到渐近正态性。
-
关键技巧:
- 非光滑目标函数的处理:本文没有直接对 \(\rho\) 求导,而是利用 Lipschitz 连续性(Assumption 3.1)和"缩尾"结构(\(c_\rho\))来构造得分函数。当 \(\rho\) 在 \(c_\rho\) 处不可导时(如 Huber 在 \(|\cdot|=\lambda\) 处),通过 Assumption 3.6 控制 \(X^\top \beta_0\) 落在 \(c_\rho\) 附近的概率,使得不可导点的影响在渐近意义下可忽略。
- 两阶段估计的联合渐近分布:本文没有分别处理两个阶段的渐近性,而是将 \((\hat\beta_n, \hat\delta_n)\) 视为一个联合估计量,通过构造联合得分函数 \(J_n(\beta, \delta)\) 和联合 Hessian \(\Sigma\),直接推导联合渐近正态性。这避免了 Delta method 的繁琐,且清晰地展示了第一阶段估计对第二阶段估计方差的影响(\(\Sigma_{2,\delta_0}\Omega_1\Sigma_{2,\delta_0}^\top\) 项)。
- 经验过程理论的应用:Theorem A.3(Pakes & Pollard 1989)是处理非光滑 M-估计的标准工具。本文验证了该定理的所有条件,特别是通过 Euclidean class 和平方可积包络(envelope)来验证随机等度连续性。
真实例子与应用¶
本文的实证部分为模拟研究(Monte Carlo),没有真实数据应用。模拟设定为: - 数据生成:\(W_i = \delta_0 + \delta_1 X_i + \delta_2 Z_i + \vartheta_i\),\(Y_i = \max\{\beta_0 + \beta_1 X_i + \beta_2 W_i + \beta_3 \vartheta_i + \varepsilon_i, 0\}\)。 - 误差分布:\(\varepsilon\) 分别取 \(N(0,1)\)、\(t_3\)、\(Cauchy(0,1)\)、以及两个污染分布(0.8 Laplace(0,1) + 0.2 Laplace(0,5) 和 0.9 \(t_1\) + 0.1 \(t_2\))。 - 样本量:\(n \in \{100, 200, 400, 500, 600, 800, 1000\}\)。 - 比较的估计量:CRQ(删失分位回归)、SCLS(对称截断最小二乘)、WME(Huber 缩尾均值)、HME(Hampel)、TME(Tukey biweight)。 - 主要发现: - 在正态误差下,SCLS 表现最好(最低 MSE),WME 次之。 - 在重尾误差(Cauchy、污染分布)下,TME 和 HME 表现最好,SCLS 的 MSE 急剧增大(在 Cauchy 下 \(n=100\) 时 MSE 高达 365.78)。 - WME 在所有分布下都表现稳定,是"最安全"的选择。 - 所有估计量的 MSE 随 \(n\) 增大而减小,支持一致性。
🔎 结论是否比证明窄¶
- 明确窄于证明的结论:Theorem 3.1 和 3.2 的证明依赖于 \(\hat\delta_n\) 是 OLS 估计量(Lemma A.1 的证明使用了 OLS 的显式表达式)。但作者在引言和结论中声称框架适用于"第一阶段模型"的一般设定,没有证明当第一阶段使用非 OLS 估计量(如分位回归或非线性最小二乘)时结论是否成立。
- 隐含但未证明的结论:Theorem 3.2 的渐近协方差矩阵表达式(3.11)中,\(\Sigma_{2,\delta_0}\) 和 \(\Omega_1\) 的估计需要 \(\hat C_\psi\) 一致估计 \(C_\psi\)。作者在 Theorem 3.3 中声称 \(\hat C_\psi\) 是一致的,但没有给出 \(\hat C_\psi\) 的具体构造(是核密度估计还是数值微分?),也没有讨论带宽选择。
- 模拟结论的推广性:模拟只考虑了单个内生变量和单个工具变量的情形,且工具变量 \(Z\) 与内生变量 \(W\) 的相关性固定(\(\delta_2 = 3\))。没有模拟弱工具变量的情形,而弱工具变量是控制函数法的已知痛点。
四、开放问题¶
- 第一阶段估计量的推广:本文的证明依赖于 OLS 作为第一阶段估计量。能否将框架推广到第一阶段使用非线性估计量(如 Tobit 或分位回归)的情形?这需要重新推导 Lemma A.1 和 Lemma A.2 中的收敛速度条件。
- 损失函数的自适应选择:模拟显示不同误差分布下最优损失函数不同(正态下 SCLS 最优,重尾下 TME 最优)。能否基于数据自适应地选择损失函数(如通过最小化渐近方差的估计)?这需要推导不同损失函数下渐近方差的显式表达式。
- 弱工具变量下的行为:本文的模拟和理论都假设工具变量与内生变量有较强相关性。在弱工具变量下,控制函数法的有限样本偏差可能很大。本文的框架能否扩展到弱工具变量情形?这可能需要引入正则化或偏误校正。
- 删失比例的敏感性:模拟中删失比例约为 18-20%。当删失比例很高(如 50% 以上)时,非凸损失函数(Hampel、Tukey)的优化问题可能更严重,且 Assumption 3.6 的条件可能更难满足。高删失比例下的行为值得进一步研究。
- 推断方法:本文只给出了渐近正态性,没有讨论有限样本下的推断方法(如 bootstrap 或野 bootstrap)。考虑到目标函数的非光滑性,标准 bootstrap 可能失效,需要研究专门的推断方法。
提示:若要确认上述问题是否为真 gap,建议阅读 Chernozhukov et al. (2015) 和 Honoré & Hu (2004) 的引言与结论部分,看他们是否已讨论过类似问题;同时检索近 5 年关于"censored regression endogeneity"的文献,看是否有后续工作已经解决了这些问题。
Maintained by 陈星宇 · Homepage · Source on GitHub