Survey Response Behavior as a Proxy for Unobserved Ability: Theory and Evidence

作者: Sonja C. de New, Stefanie Schurer
来源: Journal of Business & Economic Statistics
主题: 经济理论 / 应用
相关性: 4/10
机构绿灯: University of Sydney（US News 前 50，免分进入精读）
链接: https://doi.org/10.1080/07350015.2021.2008404

---

一、领域脉络与小综述

这个方向是什么

这个子方向探讨的是：在经济学和社会科学的观测研究中，当研究者无法直接测量一个重要的混杂变量（如个体的认知能力、非认知能力）时，能否利用调查过程中产生的“辅助数据”（paradata，例如受访者回答问题的速度、是否跳过问题、是否拒绝回答等）作为该未观测能力的代理变量（proxy variable），从而减少由遗漏变量导致的估计偏差。该方向的核心问题是：这种代理变量在什么条件下有效？其收益（偏差缩减）与风险（引入新的偏差或方差膨胀）如何量化？当前该领域正处于从“经验探索”向“形式化理论”过渡的阶段。

发展脉络（history）

根据本文的引言和参考文献，该方向的发展脉络如下：

1. 奠基工作：代理变量方法的经典理论

   • Wickens (1972) 和 Griliches (1977)：这些早期工作奠定了在回归模型中使用代理变量处理测量误差和遗漏变量的理论基础。它们主要关注代理变量与真实变量之间的经典测量误差模型，并推导了在有测量误差时OLS估计量的偏误方向。本文引用它们作为“代理变量方法”的经典起点，但指出这些早期理论通常假设代理变量是真实变量的一个“完美”或“强”度量，这与本文关注的“弱且不完美”的代理变量（如SIRR）不同。

2. 主要进展：利用调查辅助数据（Paradata）作为代理变量

   • Couper (2000) 和 Couper & Kreuter (2013)：这些工作开创性地将调查过程中的“辅助数据”（如响应时间、按键次数、是否完成问卷）系统化，并探讨其作为受访者特征（如认知负荷、动机）的潜在指标。本文引用它们作为“利用paradata”这一想法的来源，但指出这些研究主要停留在描述性分析或探索性阶段，缺乏一个正式的因果推断框架来评估其作为代理变量的有效性。
   • Hitt, Tambe, & Wu (2016) 和 Hoffman & Burks (2017)：这些更近期的实证研究开始尝试将特定的调查响应行为（如问卷完成率、答题模式）作为认知能力或非认知能力的代理变量，并应用于劳动力市场结果的分析。本文引用它们作为“直接前驱”，并指出这些工作虽然展示了潜力，但没有系统性地分析代理变量的“充分必要条件”，也没有量化其引入的多重共线性问题。

3. 当前Frontier与本文的位置

   • 当前的前沿是：如何从理论上严格界定一个“有效”代理变量的条件，并提供一个可操作的框架来评估其在实际应用中的收益（偏差缩减）与风险（方差膨胀、多重共线性）。
   • 本文的位置：本文声称是第一个系统性地形式化“利用调查响应行为作为未观测能力代理变量”这一想法的研究。它通过推导代理变量有效的必要与充分条件，并引入多重共线性作为关键考量因素，将讨论从“代理变量是否强”提升到“代理变量是否在特定模型设定下有用”的层面。作者通过一个实证例子（估计教育回报）来展示其理论框架的应用。

子线索聚类

这些被引文献大致落在两条子线索上：

• 线索一：经典代理变量与测量误差理论（Wickens, Griliches）。这条线索关注的是代理变量与真实变量之间的统计关系（如经典测量误差模型），并推导估计量的偏误。其核心假设通常是代理变量是真实变量的一个“无偏”或“成比例”的度量。
• 线索二：调查辅助数据（Paradata）的应用（Couper, Kreuter, Hitt, Hoffman, Burks）。这条线索关注的是如何从调查过程中提取和利用paradata。其核心是实证探索，寻找paradata与感兴趣但未观测到的变量（如能力）之间的相关性，并尝试将其用于改进估计。

这个方向在追问的核心问题

1. 有效性条件：一个有效的代理变量需要满足什么条件？是强相关（强代理）就足够了吗？还是需要其他更精细的条件？
2. 收益与风险的量化：使用一个“弱且不完美”的代理变量，究竟能减少多少遗漏变量偏差？同时，它是否会因为测量误差或与其他变量的多重共线性而引入新的偏差或增大方差？
3. 可操作性：对于实证研究者来说，如何判断一个特定的paradata（如SIRR）是否值得用作代理变量？有没有一个简单的诊断工具或决策规则？

当前主流方法与已知瓶颈：主流方法是直接使用paradata作为回归中的控制变量。已知瓶颈是：1）缺乏理论指导，研究者不知道何时该用、何时不该用；2）对“弱代理”的后果认识不足，可能盲目使用反而恶化估计；3）没有系统性地考虑多重共线性问题。

⚠️ 作者的Framing

• 作者把缺口frame成什么：作者将缺口frame为“缺乏一个形式化的理论框架来评估使用调查响应行为作为代理变量的收益与风险”。他们声称，现有文献要么是纯理论的（经典测量误差），要么是纯实证的（paradata应用），而他们的工作填补了这两者之间的空白，提供了一个“理论驱动的实证分析”框架。他们特别强调，“强代理”既不是减少偏差的必要条件，也不是充分条件，而多重共线性才是关键。这使得他们的工作看起来是对传统智慧的一次重要修正。
• 哪些竞争路线被他淡化或回避了：作者淡化了工具变量（IV）方法。在引言中，他们提到IV是处理遗漏变量的另一种方法，但随即指出“找到有效的IV通常比找到一个有效的代理变量更难”。他们回避了与敏感性分析（如Rosenbaum bounds, VanderWeele's E-value）的深入比较。敏感性分析不依赖于找到一个代理变量，而是评估未观测混杂的强度需要多大才能推翻结论。本文的框架与敏感性分析是互补的，但作者没有深入讨论这种互补性。
• 什么明显该被引/该存在、却没出现在intro里：作者没有引用任何关于高维控制变量或双/去偏机器学习（DML） 的文献。在存在大量潜在代理变量或控制变量时，DML提供了一种处理高维混杂的框架。本文讨论的“多重共线性”问题，在高维设定下会变得更加严重，而DML（如使用Lasso进行变量选择）可能提供一种自动化的解决方案。这是一个明显的缺失，值得研究者去查。

张力

未见明显对立引用。所有被引文献都一致认为paradata有潜力，但缺乏系统性理论。本文的贡献在于提供了这个理论，而非挑战某个对立观点。

二、最核心、最简单的例子 / 数学问题

第一步：把符号、模型、可观测数据交代清楚

• 符号：

  • Y：结果变量（例如，工资的对数）。这是一个可观测的随机变量。
  • X：核心解释变量（例如，受教育年限）。这是一个可观测的随机变量。
  • A：未观测到的能力（例如，认知能力）。这是一个潜在（latent） 变量，研究者无法直接观测到。
  • Z：代理变量（例如，调查项目响应率SIRR）。这是一个可观测的随机变量，是本文的核心工具。
  • W：一组可观测的控制变量（例如，年龄、性别、父母教育）。这是一个可观测的随机向量。
  • β：核心参数，即X对Y的因果效应（例如，教育回报率）。这是我们要估计的目标参数（estimand）。
  • γ：A对Y的效应。
  • δ：A对Z的效应。
  • ρ：A对X的效应。
  • σ²：方差。
  • n：样本量。

• 模型：本文考虑一个线性回归模型作为核心设定。数据生成机制如下：

  • 结果方程：Y = βX + γA + ε，其中 ε 是均值为0的随机误差项，且与 X 和 A 无关（在控制了 A 后）。
  • 代理变量方程：Z = δA + η，其中 η 是均值为0的测量误差，与 A 和 ε 无关。
  • 解释变量方程：X = ρA + ν，其中 ν 是均值为0的随机项，与 A 和 ε 无关。
  • 关键假设：A 是唯一未观测到的混杂因素。这意味着，如果我们能观测到 A，那么 X 就是外生的（即 Cov(X, ε|A) = 0）。Z 是一个“冗余”代理变量，即 Z 只通过 A 影响 Y（Z 与 Y 在给定 A 下条件独立）。

• 可观测数据：研究者实际能观测到的是 (Y_i, X_i, Z_i, W_i) 的 n 个独立同分布样本。想要但观测不到的是 A_i。本文的核心任务就是利用可观测的 Z 来“代理”不可观测的 A，从而减少遗漏 A 导致的偏差。

第二步：讲最小内核

本文的最小内核可以简化为一个三变量线性模型，其中我们只关心 X 对 Y 的效应 β，而 A 是唯一的未观测混杂。

• 最简特例：假设没有其他控制变量 W。我们想估计 Y = βX + γA + ε。由于 A 不可观测，我们只能估计 Y = βX + u，其中 u = γA + ε。由于 X 与 A 相关（Cov(X, A) ≠ 0），OLS估计量 β̂_OLS 是有偏的。这个偏误的经典表达式为： Bias(β̂_OLS) = γ * (Cov(X, A) / Var(X)) = γ * ρ * (Var(A) / Var(X))。

• 核心思路：如果我们把代理变量 Z 放入回归方程，即估计 Y = βX + θZ + e，会发生什么？

  • 直觉：Z 包含了关于 A 的信息。通过控制 Z，我们“部分地”控制了 A，从而可能减少遗漏变量偏差。
  • 数学推导：在 Z = δA + η 的设定下，可以证明，使用 Z 后的新估计量 β̂_Z 的偏误为： Bias(β̂_Z) = γ * [Cov(X, A|Z) / Var(X|Z)]。 其中 Cov(X, A|Z) 是给定 Z 后 X 和 A 的偏协方差，Var(X|Z) 是给定 Z 后 X 的偏方差。
  • 关键洞察：作者证明，Bias(β̂_Z) 的绝对值不一定小于 Bias(β̂_OLS) 的绝对值。这取决于 Z 与 A 的关系（δ）以及 Z 与 X 的关系（通过 A 间接相关）。
  • 多重共线性问题：如果 Z 与 X 高度相关（例如，A 对 X 和 Z 都有很强的影响），那么 Var(X|Z) 会变得很小（因为 X 的大部分变异可以被 Z 解释）。这会导致 β̂_Z 的方差急剧膨胀，甚至可能使偏误项的分母变得非常小，从而放大偏误。这就是作者强调的“多重共线性”风险。
  • 结论：一个“强代理”（δ 很大）并不保证能减少偏误，因为它可能同时导致严重的多重共线性。一个“弱代理”（δ 很小）也可能有用，只要它引入的多重共线性问题不大。有效代理的关键在于它在多大程度上“净化”了 X 的变异（即减少 Cov(X, A|Z)），同时又不至于过度消耗 X 的变异（即保持 Var(X|Z) 足够大）。

这个最小内核清晰地展示了本文的核心数学问题：在存在未观测混杂的线性模型中，使用一个代理变量 Z 来减少 β 的估计偏误，其效果取决于 Z 与 A 和 X 的联合关系，特别是由 Z 引入的多重共线性程度。

三、这篇论文做了什么

三句话

1. 研究了什么问题：本文研究了在经济学应用中，利用调查响应行为（具体为调查项目响应率SIRR）作为未观测能力（认知与非认知）的代理变量，以减少能力相关的遗漏变量偏差的可行性与条件。
2. 核心工具/方法：本文采用了一个线性回归框架，推导了代理变量有效的必要与充分条件，并引入多重共线性作为评估代理变量有效性的关键指标。实证部分使用了澳大利亚代表性调查数据（HILDA），通过比较加入SIRR前后教育回报率估计值的变化来评估其效果。
3. 主要结论：SIRR是一个“弱且不完美”的代理变量，它与认知能力的相关性高于非认知能力。尽管它很弱，但将其作为控制变量加入回归，可以将能力相关的遗漏变量偏差降低最多20%，且其表现优于其他源自paradata的代理变量。理论推导表明，一个“强”代理变量既不是减少偏差的必要条件，也不是充分条件；关键在于代理变量引入的多重共线性问题的程度。

关键设定与假设

在第二节最小记号的基础上，本文的完整设定如下：

• 模型：线性回归模型 Y = βX + γA + W'φ + ε。其中 W 是一组可观测的控制变量（如年龄、性别、父母教育、地区等）。
• 代理变量：Z = δA + W'ψ + η。这里 Z 是SIRR，定义为受访者实际回答的项目数除以应回答的项目数。W 也出现在代理变量方程中，以控制其他可观测因素对响应行为的影响。
• 关键假设：
  1. 条件均值独立性：E[ε | X, A, W] = 0。这意味着在控制了 A 和 W 后，X 是外生的。
  2. 代理变量冗余性：E[Y | X, A, Z, W] = E[Y | X, A, W]。即 Z 对 Y 没有直接影响，它只通过 A 影响 Y。
  3. 测量误差独立性：η 与 A、ε 和 W 无关。
• 相比已有文献的强化/放宽：本文没有像经典测量误差文献那样假设 Z 是 A 的一个“无偏”度量（即 δ=1, E[η]=0）。它允许 Z 是“有偏”的（δ 可以不是1）和“有噪声”的（Var(η) > 0）。这使得模型更贴近现实，因为SIRR显然不是一个完美的能力度量。

主要结果

• 理论结果：

  • 命题1（代理变量有效的必要条件）：要减少 β 的估计偏差，代理变量 Z 必须与 A 相关（即 δ ≠ 0），并且 Z 不能与 X 完全共线。这个条件很弱，几乎所有非平凡的代理变量都满足。
  • 命题2（代理变量有效的充分条件）：如果 Z 与 A 的相关性足够强，以至于 Cov(X, A|Z) < Cov(X, A)，那么使用 Z 就能减少偏差。这个条件等价于 Z 对 A 的“净化”效果大于其对 X 的“消耗”效果。
  • 核心洞察：作者通过代数推导证明，偏差缩减的幅度取决于 Z 与 A 和 X 的联合分布。一个“强代理”（δ 大）可能因为与 X 高度相关（通过 A）而导致严重的多重共线性，使得 Var(X|Z) 变得非常小，从而放大偏差。相反，一个“弱代理”如果与 X 的相关性很弱，也可能有效。因此，“强代理”既不是必要条件，也不是充分条件。

• 实证结果：

  • 数据：澳大利亚家庭、收入和劳动力动态调查（HILDA）。
  • 核心应用：估计教育回报率（β）。未观测的认知和非认知能力是主要的潜在混杂因素。
  • 核心量化结论：
    • 基线模型（仅控制 W）估计的教育回报率约为 10.5%。
    • 加入SIRR后，估计值下降到约 8.5%，下降了约 20%。作者将此解释为SIRR减少了能力相关的遗漏变量偏差。
    • 与其他paradata代理变量（如响应时间、是否使用帮助）相比，SIRR的表现最好，偏差缩减幅度最大。
    • 作者还进行了“伪证检验”（placebo test），通过将SIRR与一个理论上不应受能力影响的变量（如出生月份）进行回归，验证了SIRR确实与能力相关，而非其他混杂因素。
  • 这个例子想说明什么：这个例子旨在验证其理论框架。它展示了即使是一个“弱”代理变量（SIRR与能力的相关性并不高），在特定设定下也能显著减少偏差。同时，它也展示了如何通过比较加入代理变量前后的估计值变化来评估其效果。

证明路线与技术技巧

• 整体路线：

  1. 设定模型：建立包含未观测能力 A 和代理变量 Z 的线性方程组。
  2. 推导偏误公式：分别推导出遗漏 A 时的OLS偏误公式 Bias(β̂_OLS)，以及加入 Z 后的OLS偏误公式 Bias(β̂_Z)。
  3. 比较偏误：通过代数比较 |Bias(β̂_Z)| 和 |Bias(β̂_OLS)| 的大小，推导出 Z 能减少偏差的条件。
  4. 引入多重共线性：将 Bias(β̂_Z) 的表达式分解，展示其分母包含 Var(X|Z)，从而揭示多重共线性（即 Var(X|Z) 很小）如何放大偏差。
  5. 实证验证：使用真实数据，通过比较加入 Z 前后的估计值，并结合一系列稳健性检验（如伪证检验、替换代理变量定义），来验证理论预测。

• 关键跳跃点：从“直觉上认为强代理有用”到“证明强代理既非必要也非充分”是本文最关键的跳跃。这个跳跃是通过显式写出 Bias(β̂_Z) 的代数表达式并分析其与 Cov(X, A|Z) 和 Var(X|Z) 的关系实现的。作者没有使用任何高深的数学工具，而是通过清晰的代数推导完成了这一跳跃。

• 技术技巧点名：

  • 代数推导：核心技巧是线性回归中偏误公式的代数操作。没有用到任何高级统计或计算工具。
  • 伪证检验（Placebo Test）：这是一种常见的因果推断诊断工具，用于验证代理变量是否真的与未观测混杂相关，而不是与其他无关因素相关。本文用它来增强SIRR作为能力代理变量的可信度。

🔎 结论是否比证明窄

是的。本文的理论证明严格限于线性模型和OLS估计。然而，作者在引言和结论中将其结论泛化为更一般的陈述，例如“我们的发现对任何使用代理变量的实证研究都有启示”。这个泛化是有风险的，因为： * 在非线性模型（如Logit, Probit）中，遗漏变量偏差的性质不同，代理变量的效果也可能不同。 * 如果使用更复杂的估计方法（如IV, GMM, DML），代理变量的作用机制和条件也会变化。 作者在文中明确提到了这些局限性（例如，在“结论”部分提到“我们的分析限于线性设定”），但在宣传其贡献时，语气上更倾向于一般性。研究者需要注意到这一点。

四、开放问题

1. 非线性模型中的代理变量理论：本文的理论严格限于线性模型。一个自然的开放问题是：在Logit、Probit或更一般的非线性模型中，使用SIRR作为代理变量的必要与充分条件是什么？多重共线性问题在非线性模型中如何表现？（扎根于本文“结论”部分对线性设定局限性的承认。）
2. 高维代理变量与自动选择：当存在大量潜在的paradata代理变量（如响应时间、按键模式、鼠标轨迹等）时，如何自动选择或组合它们以最优地减少偏差？本文只比较了几个简单的代理变量。DML或Lasso等方法能否用于此目的？（扎根于本文“引言”部分未引用高维/DML文献的缺失。）
3. 与工具变量方法的整合：本文的代理变量方法与IV方法在理论上是互补的。一个开放问题是：能否将SIRR作为一个“弱IV”来使用？或者，能否将SIRR与一个有效的IV结合起来，形成一个更稳健的估计策略？（扎根于本文“引言”部分对IV方法的简要提及和回避。）
4. 动态/纵向设定中的代理变量：本文使用的是横截面数据。在面板数据或纵向研究中，个体的调查响应行为会随时间变化。如何利用这种时间变异性来构建更有效的代理变量？例如，个体内SIRR的变化是否比个体间SIRR的差异更能反映能力的变化？（扎根于本文“结论”部分对未来研究方向的简短提及。）

---

Maintained by 陈星宇 · Homepage · Source on GitHub

评论