Endogenous Quantile Regression with Measurement Error in Dependent Variable¶
作者: Xuanjing Su
主题: 因果推断
相关性: 7/10
链接: https://arxiv.org/abs/2605.20601
一、领域脉络与小综述¶
这个方向是什么¶
本文研究的根本问题是:在观测数据中,当因变量(结果变量)存在测量误差且回归元(自变量)存在内生性时,如何识别和估计条件分位数回归中的系数函数。这是一个结合了三个经典难题的交叉领域:分位数回归(刻画异质性效应)、测量误差(观测数据污染)、内生性(因果推断的核心障碍)。该方向当前处于方法论发展阶段——已有文献分别处理"分位数回归+内生性"(如控制函数法、工具变量分位数回归)和"分位数回归+因变量测量误差"(如 Hausman et al. 2021),但两者同时存在时的识别与估计问题尚未被系统解决。
发展脉络¶
- 奠基工作:Koenker and Bassett (1978) 提出经典分位数回归,为刻画协变量对结果分布不同位置的影响提供了基础工具。这是整个领域的起点,但其假设回归元外生且结果无测量误差。
- 内生性处理的两条路线:
- 工具变量法:Chernozhukov and Hansen (2005) 提出 IV 分位数回归模型,通过工具变量识别内生变量对结果分位数的影响,其核心是"秩相似性"(rank similarity)假设。
- 控制函数法:Newey et al. (1999) 和 Imbens and Newey (2009) 发展三角系统中的控制函数方法,通过第一阶段的约简式残差作为控制变量,恢复条件独立性。Imbens and Newey (2009) 证明了在非参数三角系统中,结构函数的可识别性不依赖函数形式假设。
- 测量误差处理:
- 协变量测量误差:Wei and Carroll (2009) 提出纠偏估计方程处理分位数回归中协变量的测量误差;Schennach (2008) 用工具变量处理非线性模型中的测量误差;Chesher (2017) 研究测量误差对分位数回归的影响机制。
- 因变量测量误差:Hausman (2001) 指出因变量测量误差在存在异方差时会导致分位数回归严重偏误。Hausman et al. (2021) 是本文最直接的先驱——他们证明在线性分位数回归中,当回归元与潜在异质性独立时,即使因变量存在加性测量误差,系数函数仍可识别,并提出筛极大似然估计(SMLE)。
- 当前 frontier:Doty and Song (2023) 在动态生产函数框架下考虑因变量测量误差的分位数识别,但他们的设定中条件独立假设使得潜在分位数异质性在控制函数后变为外生。Callaway et al. (2021) 处理了双向测量误差但未考虑内生性。
- 本文位置:本文是 Hausman et al. (2021) 的直接推广——将"回归元与异质性独立"这一关键假设替换为"通过控制函数恢复条件独立性",从而同时处理内生性和因变量测量误差。
子线索聚类¶
- 分位数回归中的内生性(Chernozhukov and Hansen 2005; Lee 2007; Imbens and Newell 2009):核心问题是回归元与潜在异质性相关时如何恢复结构分位数函数。
- 测量误差对分位数回归的影响(Hausman 2001; Chesher 2017; Wei and Carroll 2009):核心问题是观测误差如何扭曲分位数回归的估计量,以及如何纠偏。
- 因变量测量误差的识别与估计(Hausman et al. 2021; Callaway et al. 2021; Doty and Song 2023):这是最接近本文的子线索,核心问题是利用分布假设(如误差独立、混合分布)恢复潜在结果的分布。
- Copula 方法在经济计量中的应用(Burda et al. 2011; Khaled and Kohn 2017; Qu and Lu 2021):为建模潜在异质性与控制变量之间的依赖结构提供灵活工具。
这个方向在追问的核心问题¶
- 识别问题:在同时存在内生性和测量误差时,结构分位数函数是否可识别?需要什么样的支撑条件(如大支撑工具变量、分布假设)?
- 估计问题:如何构造计算可行且具有良好有限样本性质的估计量?筛维度和光滑参数如何选择?
- 推断问题:如何获得可靠的置信区间?Bootstrap 是否有效?
- 效率问题:估计量是否达到半参数效率界?测量误差和内生性各自对效率的损失有多大?
⚠️ 作者的 framing¶
这是作者的说法:作者将缺口 frame 为"Hausman et al. (2021) 的独立假设在实际中几乎不可能满足,因此需要引入工具变量和控制函数来处理内生性"。作者声称其贡献在于:(i) 在非参数条件下证明了同时存在内生性和因变量测量误差时的全局可识别性;(ii) 提出了两步筛极大似然估计量并建立了渐近理论;(iii) 通过 copula 灵活建模依赖结构。作者淡化了以下竞争路线:(a) 工具变量分位数回归(Chernozhukov and Hansen 2005)——作者认为该方法无法处理因变量测量误差;(b) 完全非参数方法——作者认为其受维数灾难和收敛速率限制。值得研究者去查的问题:作者没有引用或讨论 Shen (2002) 关于测量误差分位数回归的贝叶斯方法,也没有讨论 Hu and Schennach (2008) 的非参数测量误差模型——这些可能是竞争路线。
张力¶
未见明显对立引用。但存在一个微妙的张力:Hausman et al. (2021) 的识别策略依赖于"回归元与异质性独立",而本文的控制函数方法需要"工具变量与异质性独立"(通过条件独立性)。这两种假设在不同实证场景下各有合理性,但作者没有讨论哪种假设更可检验或更稳健。
二、最核心、最简单的例子 / 数学问题¶
第一步:符号、模型、可观测数据¶
符号清单:
| 符号 | 含义 | 类型 |
|---|---|---|
| \(Y^*\) | 潜在(真实)结果变量 | 潜在变量(不可观测) |
| \(Y\) | 观测到的结果变量 | 可观测随机变量 |
| \(X = (X_1, Z_1')'\) | 回归元向量,\(X_1\) 为连续内生变量,\(Z_1\) 为外生协变量 | 可观测随机向量 |
| \(Z = (Z_1', Z_2')'\) | 工具变量向量,\(Z_2\) 为排除性工具 | 可观测随机向量 |
| \(\varepsilon\) | 测量误差 | 不可观测随机变量 |
| \(U \sim \text{Uniform}[0,1]\) | 潜在异质性(秩变量) | 潜在变量(不可观测) |
| $V = F_{X_1 | Z}(X_1, Z)$ | 控制变量 |
| \(\beta_0(\cdot) = (\beta_{0,1}(\cdot), \ldots, \beta_{0,d_x}(\cdot))'\) | 分位数系数函数 | 目标参数(函数) |
| \(f_\varepsilon(\cdot)\) | 测量误差密度 | 目标参数(函数) |
| $f_{U | V}(\cdot | \cdot)$ |
| \(\tau \in (0,1)\) | 分位数水平 | 固定常数 |
| \(n\) | 样本量 | 常数 |
| \(J_n\) | 筛维度(B样条基函数个数) | 随 \(n\) 增长的常数 |
| \(K_n\) | 第一阶段级数维度 | 随 \(n\) 增长的常数 |
模型(三角系统 + 测量误差):
- 结果方程:\(Y = Y^* + \varepsilon = X'\beta_0(U) + \varepsilon\)
- 其中 \(U \sim \text{Uniform}[0,1]\) 是潜在异质性(可理解为"不可观测的秩")
- \(x'\beta_0(\cdot)\) 对每个 \(x\) 关于 \(u\) 严格递增
-
\(\varepsilon \perp\!\!\!\perp (Y^*, X, Z)\),\(\mathbb{E}[\varepsilon] = 0\)
-
第一阶段方程(内生变量生成机制):
- \(X_1 = h(Z, \eta)\),其中 \(h\) 对 \(\eta\) 严格递增,\(Z \perp\!\!\!\perp (\eta, U)\)
-
控制变量 \(V = F_{X_1|Z}(X_1, Z) = F_\eta(\eta) \sim \text{Uniform}[0,1]\)
-
关键条件独立性:\(X \perp\!\!\!\perp U \mid V\)(由 Imbens and Newey 2009 的三角系统结构保证)
可观测数据:\(\{(Y_i, X_i, Z_i)\}_{i=1}^n\),i.i.d. 样本。
目标:识别并估计 \(\beta_0(\tau)\)(对每个 \(\tau \in (0,1)\)),以及分布参数 \(f_\varepsilon\) 和 \(f_{U|V}\)。
第二步:最小内核¶
核心命题(Proposition 2.1 的简化版):
在 \(\varepsilon \perp\!\!\!\perp (Y^*, X, Z)\) 和 \(X \perp\!\!\!\perp U \mid V\) 下,观测到的条件密度满足:
为什么这是最小内核:这个公式表明,观测到的 \(Y\) 的条件分布是"测量误差密度"与"潜在结果密度"的卷积,其中潜在结果密度由 \(\beta_0(\cdot)\) 和 copula 密度 \(f_{U|V}\) 决定。识别问题就转化为:能否从观测到的卷积中唯一地解出 \((\beta_0(\cdot), f_\varepsilon, f_{U|V})\)?
最简例子(\(d_x = 1\),即只有一个内生变量 \(X_1\),无外生协变量):
假设: - \(X_1 = Z + \eta\),其中 \(Z \sim \text{Uniform}[0,1]\),\(\eta \sim \text{Uniform}[0,1]\),\(Z \perp\!\!\!\perp \eta\) - \(U = \Phi(\rho A + \sqrt{1-\rho^2}B)\),其中 \(A, B \sim N(0,1)\) 独立,\(\eta = \Phi^{-1}(V)\) 与 \(A\) 相关(通过 \(\rho\)) - \(\varepsilon \sim N(0, \sigma^2)\) - \(\beta_0(u) = 1 + 2u\)(线性函数)
此时观测到的条件密度为:
识别直觉:当 \(X_1\) 取不同值时,\(x_1\beta_0(u)\) 在 \(u\) 上产生不同的"拉伸"。通过观察 \(Y\) 在不同 \(x_1\) 下的分布变化,可以反推出 \(\beta_0(\cdot)\) 的形状。测量误差 \(\varepsilon\) 的作用是"模糊"了 \(Y^*\) 的分布,但通过假设 \(\varepsilon\) 的分布形式(如混合高斯),可以利用其可加性和独立性进行反卷积。
为什么难:这是一个反卷积问题——观测到的密度是目标密度的卷积。反卷积问题在统计上是出了名的困难,尤其是在不知道 \(\varepsilon\) 分布的情况下。本文的识别策略依赖于:(i) \(\beta_0(\cdot)\) 的单调性;(ii) 大支撑工具变量(保证 \(V\) 的支撑覆盖 \([0,1]\));(iii) \(\varepsilon\) 的特征函数非零(保证反卷积可行)。
三、这篇论文做了什么¶
三句话¶
- 研究问题:在三角系统中,当因变量存在加性测量误差且回归元内生时,如何非参数识别和估计条件分位数回归的系数函数 \(\beta_0(\cdot)\)。
- 核心方法:提出两步筛极大似然估计(2SSMLE)——第一步用参数或非参数方法估计控制变量 \(V\),第二步通过 copula 权重将生成的 \(\hat{V}\) 纳入筛似然最大化,同时估计 \(\beta_0(\cdot)\)、测量误差分布参数 \(\sigma\) 和 copula 参数 \(\rho\)。
- 主要结论:在非参数条件下,\((\beta_0(\cdot), f_\varepsilon, f_{U|V})\) 全局可识别;2SSMLE 具有一致性和渐近正态性(收敛速率 \((n\kappa_{J_n})^{-1/2}\),其中 \(\kappa_{J_n}\) 刻画问题的病态程度);蒙特卡洛模拟显示该方法相比现有方法(QR、CFQR、SMLE)大幅降低偏差。
关键设定与假设¶
- Assumption 1(X 的矩条件):\(\mathbb{E}[XX']\) 非奇异,\(\mathbb{E}\|X\|^{2+\epsilon} < \infty\)。保证设计矩阵的稳定性。
- Assumption 2(β 的单调性):\(\beta_0 \in \mathcal{M}\),其中 \(\mathcal{M}\) 是闭的有界函数空间,且 \(x'\beta_0(u)\) 对 \(u\) 严格递增。这是识别的关键——单调性将"秩"与"分位数"联系起来。
- Assumption 3(测量误差):\(\varepsilon\) 连续、零均值、独立于 \((X, Z, Y^*)\),且特征函数非零(\(\phi_\varepsilon(s) \neq 0\) 对所有 \(s\))。特征函数非零保证反卷积可行。
- Assumption 4(copula 与支撑):\((U,V)\) 的联合分布由某个 copula \(C(u,v)\) 描述,具有连续密度;共同支撑条件:\(V|X=x\) 的支撑等于 \(V\) 的支撑(对几乎所有 \(x\))。这个条件比 Imbens and Newey (2009) 的对应条件更强,是本文识别策略的核心。
- Assumption 5(参数化):\(f_\varepsilon\) 和 \(f_{U|V}\) 已知到有限维参数 \((\sigma, \gamma)\)。这是估计阶段的关键简化——识别是非参数的,但估计是半参数的。
- Assumption 6(筛空间):B样条筛空间,\(r \geq \max_k [p_k] + 1\)。
相比已有文献的放宽/强化: - 相比 Hausman et al. (2021):放宽了"回归元与 \(U\) 独立"为"通过控制变量条件独立";强化了需要大支撑工具变量。 - 相比 Imbens and Newey (2009):放宽了无测量误差的假设;强化了共同支撑条件(Imbens and Newey 允许 \(V\) 的支撑依赖于 \(x\),本文要求全支撑)。
主要结果¶
Theorem 2.1(全局可识别性):在 Assumptions 1-4 下,\((\beta_0(\cdot), f_{0,\varepsilon}, f_{0,U|V})\) 是唯一生成观测分布 \(F_{Y|X,V}\) 的参数组合。
证明路线(从附录 7.3 重构): 1. 第一步:利用共同支撑条件,对任意 \(x\),\(V\) 的支撑覆盖 \([0,1]\)。因此可以取 \(v\) 的极限值(\(v \to 0\) 或 \(v \to 1\)),此时 \(U|V=v\) 的分布退化到 \(U\) 的端点。 2. 第二步:在 \(v \to 0\) 的极限下,\(U\) 以概率 1 取最小值(因为 \(x'\beta_0(u)\) 单调),此时 \(Y\) 的条件分布退化为 \(x'\beta_0(0) + \varepsilon\) 的分布。通过反卷积,可以识别 \(\beta_0(0)\) 和 \(f_\varepsilon\)。 3. 第三步:固定 \(f_\varepsilon\) 后,对任意 \(v\),观测分布 \(F_{Y|X,V}(\cdot|x,v)\) 是 \(f_\varepsilon\) 与 \(f_{x'\beta_0(U)|V}(\cdot|v)\) 的卷积。利用反卷积和单调性,可以逐点恢复 \(x'\beta_0(u)\) 和 \(f_{U|V}(u|v)\)。 4. 第四步:通过改变 \(x\),利用 \(\mathbb{E}[XX']\) 非奇异,从 \(x'\beta_0(u)\) 中解出 \(\beta_0(u)\)。
关键技巧:共同支撑条件使得"取极限 \(v \to 0\)"成为可能,这本质上是用工具变量的极端值来"锚定"潜在异质性的端点。这是一个非常巧妙的识别策略。
Theorem 4.1(一致性):在 Assumptions 5-7 下,\(\hat{\theta}^p_n \xrightarrow{p} \theta_0\)(在度量 \(d\) 下)。
Theorem 4.2(渐近正态性):在额外条件下,\(\sqrt{n\kappa_{J_n}}(\hat{\theta}^p_n - \theta_0) \xrightarrow{d} N(0, \Omega_J)\),其中 \(\kappa_{J_n}\) 是信息矩阵的最小特征值,刻画问题的病态程度。
证明路线(从附录 7.4 重构): 1. 一致性:利用 Arzelà-Ascoli 定理证明 \(\mathcal{M}\) 的紧性,结合筛逼近的稠密性和似然函数的连续性,用标准 sieve MLE 论证(Chen and Shen 1998; Pollard 1989)。 2. 渐近正态性:将估计量分解为三部分——(i) 筛逼近偏差(通过 \(J_n^{2r+2}/n \to \infty\) 控制);(ii) 第一阶段估计误差(通过 \(\sqrt{n}\)-一致性和线性化传播);(iii) 第二阶段采样误差(通过 Lindeberg-Feller CLT)。关键步骤是证明第一阶段误差通过 score 函数的导数线性传播,且其贡献与第二阶段误差同阶。
技术技巧点名: - 筛极大似然(sieve MLE):用 B 样条逼近 \(\beta_0(\cdot)\),将无限维问题转化为有限维问题。 - Copula 权重:通过 \(f_{U|V}\) 的 copula 表示,将内生性纳入似然函数。 - 反卷积:利用特征函数和共同支撑条件,从卷积中分离出 \(\beta_0\) 和 \(f_\varepsilon\)。 - 生成变量(generated regressor):第一阶段估计 \(\hat{V}\) 的误差通过 score 函数的导数传播,需要仔细处理。 - Lindeberg-Feller CLT:用于处理 growing-dimensional 的 sieve 估计量的渐近正态性。
真实例子与应用¶
本文为纯方法论论文,无真实数据应用。但包含蒙特卡洛模拟(Section 5): - 数据生成:\(Y = \beta_0(U) + X_1\beta_1(U) + X_2\beta_2(U) + \varepsilon\),其中 \(\beta_0(u) = 1 + 3u - u^2\),\(\beta_1(u) = \exp(u)\sqrt{u}\),\(\beta_2(u) = 2 - u\)。内生性通过 \(U\) 与 \(V\) 的 copula 相关(\(\rho = 0.5\) 或 \(0.9\))引入。测量误差 \(\varepsilon\) 为三成分混合高斯。 - 对比基准:普通 QR、CFQR(Lee 2007)、SMLE(Hausman et al. 2021)、2SSMLE。 - 核心结果:2SSMLE 的平均绝对偏差约为真实 \(\beta_1\) 的 4%,而 QR 为 43%、CFQR 为 24%、SMLE 为 35%。当 \(\rho\) 从 0.5 增至 0.9 时,2SSMLE 的优势更加明显。 - 模拟想说明什么:同时纠正内生性和测量误差是必要的——只纠正其中一个(CFQR 或 SMLE)仍会留下显著偏差。
🔎 结论是否比证明窄¶
- Theorem 2.1 的证明依赖共同支撑条件,但 Remark 1 承认该条件"强"且"在实证中可能失败"。作者建议在 \(V\) 支撑不足时限制 \(X\) 到子集 \(\mathcal{X}_c\),但这会改变估计目标。
- Theorem 4.2 的渐近正态性要求 \(\kappa_{J_n}\) 的衰减速率,但作者没有给出 \(\kappa_{J_n}\) 的具体界或如何验证。对于严重病态的问题(如 \(\kappa_{J_n}\) 指数衰减),收敛速率可能极慢。
- 模拟中假设 \(f_\varepsilon\) 和 \(f_{U|V}\) 的族已知(混合高斯和 Gaussian copula),但识别定理允许非参数形式。估计部分与识别部分的差距未被充分讨论。
- Bootstrap 的有效性(Lemma 7.1)只对参数第一阶段证明,非参数第一阶段的 Bootstrap 有效性只是"类似"论证,没有完整证明。
四、开放问题¶
-
共同支撑条件的放松:能否在 \(V\) 支撑不足时仍获得部分识别或较慢速率的估计?作者在 Remark 1 中承认这是限制,但没有给出替代方案。扎根于 Theorem 2.1 的证明和 Remark 1。
-
效率界:2SSMLE 是否达到半参数效率下界?作者没有讨论效率问题。扎根于 Theorem 4.2 的方差形式——\(\Omega_J\) 是否等于半参数效率界?
-
非参数第一阶段的 Bootstrap:Lemma 7.1 只覆盖参数第一阶段,非参数情形下的 Bootstrap 有效性需要更细致的论证。扎根于 Lemma 7.1 的证明。
-
\(\kappa_{J_n}\) 的刻画:信息矩阵最小特征值的衰减速率取决于什么?能否给出可检验的条件?扎根于 Theorem 4.2 的条件。
-
筛维度选择:\(J_n\) 和 \(K_n\) 的实际选择准则(如 BIC、交叉验证)未被讨论。扎根于 Assumption 6 和 Lemma 4.1 的速率条件。
-
与工具变量分位数回归的比较:作者没有讨论 Chernozhukov and Hansen (2005) 的 IVQR 方法在同时存在测量误差时的表现。两种方法的适用场景有何不同?扎根于引言中对文献的分类。
提醒:要确认上述开放问题是否是真 gap,建议去读以下近期文献的引言部分(各约 5 篇):(a) 分位数回归中的测量误差(2023-2025 年);(b) 控制函数方法的最新进展;(c) 反卷积问题的计算方法。如果这些文献的引言都指向同一问题,那大概率是共识性 gap;如果互相矛盾,则可能是机会。
Maintained by 陈星宇 · Homepage · Source on GitHub