跳转至

Optimal Control Variates for Survey Sampling and Causal Inference

作者: Jinglong Zhao
主题: 因果推断
相关性: 8/10
链接: https://arxiv.org/abs/2608.15333


一、领域脉络与小综述(从 introduction + 参考文献 + 已检索摘要构建)

  • 这个方向是什么:本文属于「基于设计的(design-based)抽样调查与因果推断中的方差缩减」这一子方向。其根本问题在于:Horvitz-Thompson(HT)估计量虽然无偏,但当抽样/处理/暴露概率很小时方差极大。传统上,Hajek 估计量、AIPW 估计量、TMLE 等被视为不同的改进方案;本文的核心主张是:这些估计量都可以统一地理解为"通过控制变量(control variate)来抵消 HT 估计量的部分随机性",从而在一个统一的框架下构造最优控制变量,进一步降低方差。该子方向目前处于"方法统一化"的阶段——已有大量分散的方差缩减技巧,但缺乏一个统一的、可优化的框架。

  • 发展脉络(history):

  • 奠基工作:Horvitz and Thompson (1952) 提出了 HT 估计量,确立了"按逆概率加权"的基本范式。Hajek 估计量(Basu 1971 中讨论)通过归一化处理改善了 HT 在极端概率下的不稳定性。Trotter and Tukey (1956) 提出了归一化估计量的思想。这些工作奠定了"用概率加权修正偏差"的基本路线。
  • 主要进展:Cassel et al. (1976) 和 Robins et al. (1994) 发展了 AIPW 估计量,通过引入 outcome model 实现双稳健性(doubly robustness),在模型正确时达到半参数效率界。Van Der Laan and Rubin (2006) 提出 TMLE,通过 targeted 扰动进一步优化有限样本性质。这些工作将"方差缩减"从单纯的加权技巧推进到"利用模型信息"的层面。
  • 当前 frontier:Khan and Ugander (2023) 提出了自适应归一化估计量,在抽样调查中通过数据驱动的方式选择归一化系数。Zhao (2023, 2024) 的工作(本文作者的前作)将实验设计问题形式化为随机优化问题。本文的定位是:将这些分散的估计量统一为控制变量框架,并给出最优控制变量的特征刻画。
  • 本文的位置:作者声称(见 Section 2.5)Hajek、归一化、AIPW、TMLE 都是控制变量估计量在特定基(basis)下的特例,而本文的贡献在于:(i) 给出最优基的特征(无干扰时为矩阵的主特征向量;有干扰时为非凸二次规划的解);(ii) 提供 1/2 近似算法和交替局部搜索启发式;(iii) 在真实数据上展示方差缩减效果。

  • 子线索聚类:

  • 估计量的统一化:Hajek、AIPW、TMLE 等估计量在控制变量框架下的重新表述(Section 2.5)。这条线索的核心是"估计量之间的等价关系",对理论研究者有吸引力。
  • 最优控制变量的刻画:无干扰情形下,最优基由矩阵 M = Σ^{1/2} Π^{-1} (σ²I + μ²11ᵀ) Π^{-1} Σ^{1/2} 的主特征向量给出(Theorem 2);有干扰情形下,最优基求解非凸二次规划(Theorem 4)。这条线索涉及随机优化与特征值问题。
  • 计算与算法:1/2 近似解(Theorem 5)和交替局部搜索(Algorithm 1)。这条线索面向实际应用,强调可计算性。
  • 实证应用:瑞士环境面板调查(无干扰)和中国保险网络实验(有干扰)两个真实数据案例。

  • 这个方向在追问的核心问题(2-4 个):

  • 如何系统地构造方差缩减估计量? 传统方法依赖具体问题的结构(如 outcome model 的选择),本文试图给出一个统一的、可优化的框架。
  • 最优控制变量的形式是什么? 本文的答案是:无干扰时由矩阵的主特征向量给出;有干扰时由非凸二次规划的解给出。但这一刻画依赖于 outcome 的矩(μ, σ²),实际中需要估计。
  • 估计系数带来的偏差有多大? 本文证明了在 3α+4β<1、4α+4β<1、7α+6β<1 等条件下,用估计系数替代最优系数不影响一阶渐近性质(Theorem 1 和 Theorem 3)。但有限样本下的偏差(如 Table 4 中显示的 bias 增大)仍是开放问题。
  • 网络干扰下如何利用网络结构? 本文的框架允许暴露概率依赖于网络,但最优基的求解是非凸的,计算复杂度值得关注。

  • ⚠️ 作者的 framing(必须明确标注成"这是作者的说法"):作者在引言和结论中反复强调,本文的贡献在于"统一"——将 Hajek、AIPW、TMLE 等看似不同的估计量统一为控制变量框架,并声称"IPW 基在渐近意义下是最优的"(Proposition 2)。作者还暗示,这一统一视角是"显然的下一步",因为"这些估计量都通过抵消 HT 估计量的部分随机性来修正它"(Section 1 末段)。值得注意的淡化:作者在 Section 2.5 中承认 AIPW/TMLE 的"双稳健性"(doubly robustness)在本文框架中没有被显式讨论——本文的控制变量框架只关注方差缩减,不涉及模型误设下的稳健性。这是一个被作者轻描淡写、但可能影响方法适用性的缺口。另一个被回避的竞争路线:近年来因果推断中流行的「交叉拟合(cross-fitting)」和「去偏机器学习(debiased ML)」并未出现在参考文献中,作者似乎有意将讨论限制在"设计已知"的随机化实验/抽样场景。

  • 张力:未见明显对立引用。但存在一个潜在张力:Khan and Ugander (2023) 的自适应归一化估计量强调"数据驱动地选择归一化系数",而本文的最优控制变量需要知道 outcome 的矩(μ, σ²)。在矩未知时,本文的"最优"是渐近意义上的;而 Khan and Ugander 的方法可能在有限样本下更稳健。作者在 Section 5.2 的模拟中承认了这一点("the bias from using estimated coefficients is not negligible"),但没有与 Khan and Ugander 的方法做直接对比。


二、最核心、最简单的例子 / 数学问题

第一步:符号、模型、可观测数据

  • 符号:
  • 参数 / estimand:
    • μₙ = (1/n) Σᵢ₌₁ⁿ Yᵢ:有限总体均值(survey sampling 的目标)。
    • τ(δ(1), δ(0)) = (1/n) Σᵢ₌₁ⁿ [Yᵢ(δ(1)) − Yᵢ(δ(0))]:平均处理效应(ATE),在干扰场景下为暴露 δ(1) 相对 δ(0) 的效应。
  • 随机变量 / 样本:
    • Wᵢ ∈ {0,1}:抽样/处理/暴露指示变量(随机化的来源)。
    • Yᵢ:观测到的结果(survey 中为个体值;干扰场景中为潜在结果 Yᵢ(δ) 在暴露 δ 下的实现)。
    • πᵢ = Pr(Wᵢ = 1):边际概率(已知,由设计决定)。
    • πᵢⱼ = Pr(Wᵢ = 1, Wⱼ = 1):联合概率(已知,由设计决定)。
  • 指标:

    • n:总体大小。
    • Π = diag(π₁, ..., πₙ):边际概率的对角矩阵。
    • Σ = Var(W):W 的协方差矩阵(n×n),Σᵢᵢ = πᵢ(1−πᵢ),Σᵢⱼ = πᵢⱼ − πᵢπⱼ。
    • a = (a₁, ..., aₙ)ᵀ:控制变量的基(basis)向量。
    • b̂X = (1/n) Σᵢ₌₁ⁿ aᵢ 1{Wᵢ = 1}:控制变量(其期望 E[b̂X] = (1/n) Σᵢ₌₁ⁿ aᵢπᵢ 已知)。
    • γ:控制变量的系数。
    • M = Σ^{1/2} Π^{-1} (σ²Iₙ + μ²1ₙ1ₙᵀ) Π^{-1} Σ^{1/2}:决定最优基的矩阵(Theorem 2)。
    • Ω:干扰场景下 2n 维暴露指示向量的协方差矩阵。
  • 模型:

  • 数据生成机制:结果 Y₁, ..., Yₙ 是固定的(设计视角,condition on outcomes),唯一随机性来自 W(抽样/处理/暴露指示)。W 的联合分布由设计给定(如 Bernoulli 抽样、分层抽样、网络随机化)。
  • 估计量:
    • HT 估计量:μ̂_HT = (1/n) Σᵢ₌₁ⁿ Yᵢ 1{Wᵢ = 1}/πᵢ。
    • 控制变量估计量:μ̂_CV(γ) = μ̂_HT − γ(b̂X − E[b̂X])。
    • 最优系数:γ* = Cov(μ̂_HT, b̂X) / Var(b̂X)。
    • 最优基:a* = c Σ^{-1/2} u₁(M),其中 u₁(M) 是 M 的主特征向量(Theorem 2)。
  • 可观测数据:
    • 观测到的是:{(Wᵢ, Yᵢ) : Wᵢ = 1}(即被抽样/处理/暴露的个体的结果)。
    • 已知的是:πᵢ, πᵢⱼ(设计参数),以及基向量 a(由研究者选择)。
    • 未知的是:Y₁, ..., Yₙ 的完整向量(设计视角下是固定的但未知),以及 μ, σ²(outcome 的均值和方差,用于构造最优基)。

第二步:最小内核

问题:估计有限总体均值 μₙ = (1/n) Σᵢ₌₁ⁿ Yᵢ,其中每个个体 i 以已知概率 πᵢ 被抽中(Wᵢ = 1)。

HT 估计量:μ̂_HT = (1/n) Σᵢ₌₁ⁿ Yᵢ 1{Wᵢ = 1}/πᵢ。无偏,但方差大。

核心思想:构造一个与 μ̂_HT 相关的随机变量 b̂X = (1/n) Σᵢ₌₁ⁿ aᵢ 1{Wᵢ = 1},其期望 E[b̂X] = (1/n) Σᵢ₌₁ⁿ aᵢπᵢ 已知。然后考虑修正后的估计量:

μ̂_CV(γ) = μ̂_HT − γ(b̂X − E[b̂X])。

为什么有效:b̂X 与 μ̂_HT 共享随机性来源(都是 W 的线性函数),因此 Cov(μ̂_HT, b̂X) ≠ 0。通过减去 γ(b̂X − E[b̂X]),可以抵消 μ̂_HT 的部分随机波动。最优系数 γ* = Cov(μ̂_HT, b̂X) / Var(b̂X) 使得 Var(μ̂_CV(γ*)) = Var(μ̂_HT) − Cov(μ̂_HT, b̂X)² / Var(b̂X) ≤ Var(μ̂_HT)。

关键数学对象:方差缩减量 = Cov(μ̂_HT, b̂X)² / Var(b̂X)。要最大化这个量,需要选择合适的基向量 a。

无干扰情形下的最优基(Theorem 2): - 假设 Yᵢ 是 i.i.d. 来自某个分布,均值为 μ,方差为 σ²。 - 定义矩阵 M = Σ^{1/2} Π^{-1} (σ²Iₙ + μ²1ₙ1ₙᵀ) Π^{-1} Σ^{1/2}。 - 最优基 a* = c Σ^{-1/2} u₁(M),其中 u₁(M) 是 M 的主特征向量。 - 期望方差缩减 = λ₁(M) / n²,其中 λ₁(M) 是 M 的最大特征值。

为什么是这个矩阵:M 捕捉了"结果不确定性"(σ²Iₙ)和"均值不确定性"(μ²1ₙ1ₙᵀ)通过设计(Π^{-1})和相关性结构(Σ^{1/2})的传播。主特征向量方向上的基向量能最大程度地解释 μ̂_HT 的随机性。

直觉:当所有 πᵢ 相等且独立抽样时,Σ = π(1−π)Iₙ,M 的特征向量是 1ₙ(全 1 向量),最优基 a* ∝ Π^{-1}1ₙ = (1/π)1ₙ,即 IPW 基。这解释了为什么 Hajek 估计量(使用 IPW 基)在渐近意义下是最优的(Proposition 2)。但当 πᵢ 不等或存在相关性时,最优基偏离 IPW 基,从而获得额外的方差缩减。

有干扰情形(Theorem 4): - 将每个个体的暴露指示扩展为 2n 维向量(处理/对照两个暴露状态)。 - 最优基通过求解非凸二次规划 (8) 获得,目标函数是 Rayleigh 商的形式。 - 由于约束 B ∈ B(块对角结构),问题非凸,但作者提供 1/2 近似解(Theorem 5)和交替局部搜索(Algorithm 1)。

这个最小内核揭示了什么:本文的数学贡献在于将"方差缩减"问题转化为一个特征值问题(无干扰)或非凸二次规划(有干扰),从而可以用线性代数和优化工具来系统性地构造最优估计量。这比传统的"手工设计 outcome model"方法更一般化,但也更依赖于对 outcome 矩(μ, σ²)的估计。


三、这篇论文做了什么

三句话

  1. 研究了什么问题:在基于设计的抽样调查和因果推断(含网络干扰)中,如何系统地构造控制变量以最小化 HT 估计量的方差。
  2. 核心工具 / 方法:将 Hajek、AIPW、TMLE 等估计量统一为控制变量框架;通过随机优化刻画最优基——无干扰时由矩阵 M 的主特征向量给出,有干扰时由非凸二次规划的解给出;提供 1/2 近似算法和交替局部搜索。
  3. 主要结论:在渐近意义上,IPW 基(即 Hajek/AIPW/TMLE 背后的基)是最优的(Proposition 2);但在有限样本下,最优基可以带来额外的方差缩减(Theorem 2 和 Theorem 4),且用估计系数替代最优系数不改变一阶渐近性质(Theorem 1 和 Theorem 3)。

关键设定与假设

  • 设计视角:结果 Y₁, ..., Yₙ 是固定的,随机性仅来自 W(抽样/处理/暴露指示)。这与模型视角(outcome 随机)不同,是设计-based inference 的标准设定。
  • 已知设计:πᵢ 和 πᵢⱼ 已知(由随机化方案决定)。这是随机化实验/概率抽样的自然假设。
  • 有界性:|Yᵢ| ≤ y(Theorem 1 和 Theorem 3 的假设),用于控制矩的阶数。
  • 依赖结构:W 的依赖限制在"依赖邻域"内(Assumption 1 和 1†),即每个 Wᵢ 只与少数其他 Wⱼ 相关。这允许网络干扰,但排除了全局依赖。
  • 矩条件:Assumption 3 和 3† 假设 outcome 是 i.i.d. 的,均值和方差存在。这是为了推导最优基的闭式解。
  • 与已有工作的对比:相比 AIPW/TMLE 文献(Robins et al. 1994, Van Der Laan and Rubin 2006),本文不要求 outcome model 的正确设定(双稳健性),而是专注于设计已知时的方差优化。相比 Khan and Ugander (2023),本文的框架更一般化,但需要估计 outcome 的矩。

主要结果

  • Theorem 1(无干扰):在 3α+4β<1 的条件下,用估计系数 b̂γ_HT 替代最优系数 γ* 不影响一致性;在 4α+4β<1 的条件下,渐近方差与用最优系数相同;在 7α+6β<1 的条件下,估计量渐近正态。
  • Theorem 2(无干扰最优基):最优基由 M 的主特征向量给出,期望方差缩减 = λ₁(M)/n²。
  • Theorem 3(有干扰):与 Theorem 1 类似,但针对 2n 维暴露指示和块对角基矩阵 B。
  • Theorem 4(有干扰最优基):最优基求解非凸二次规划 (8),方差缩减上界 = (λ₁(M) + λ₂(M))/n²。
  • Theorem 5(1/2 近似):通过 rank-1 问题的解构造的可行解,其目标值至少是最优值的一半。
  • Proposition 2(IPW 基的渐近最优性):在 Bernoulli 抽样下,最优基收敛到 IPW 基。
  • Corollary 1-4:特殊情况下的闭式解(无噪声、SUTVA 等)。

证明路线与技术技巧

  • 整体路线:
  • 将 HT 估计量写成 W 的线性函数,控制变量估计量写成 HT 减去 W 的另一个线性函数。
  • 推导方差缩减量的闭式表达式(Lemma 1 和 Lemma 2),将其转化为 Rayleigh 商形式。
  • 利用 Rayleigh 商的最大化性质,将最优基问题转化为特征值问题(无干扰)或非凸二次规划(有干扰)。
  • 用 Chebyshev 不等式和矩方法证明一致性;用 Stein 方法(Ross 2011 的依赖邻域 CLT)证明渐近正态性。
  • 对估计系数引入样本分割(sample splitting),避免估计系数与数据相关性带来的偏差。

  • 关键技巧:

  • Rayleigh 商转化:将方差缩减量写成 (aᵀΣΠ^{-1}Y)² / (aᵀΣa) 的形式,最大化问题等价于求矩阵 M 的主特征向量。
  • 依赖邻域 CLT:使用 Ross (2011) 的 Theorem 3.5,允许 W 在局部依赖,但要求依赖邻域大小远小于 n。
  • 样本分割:将样本分成两半,一半估计基向量,另一半构造估计量,避免过拟合。
  • 非凸二次规划:对于网络干扰情形,目标函数是 Rayleigh 商的块对角版本,作者通过 rank-1 松弛和交替优化来处理。

真实例子与应用

  • 瑞士环境面板调查:估计瑞士居民认为家庭应承担的食物浪费比例。数据有 14961 个邀请个体,3185 个有效响应,区域响应率从 17.7% 到 23.9% 不等。作者用区域响应率作为 πᵢ,比较 HT、Hajek 和三种控制变量估计量。结果显示控制变量估计量将标准误降低了约 45%(从 0.41 到 0.22)。
  • 中国保险网络实验:研究金融教育通过社交网络对农业保险购买的影响。数据有 4902 个家庭,网络为 173 个自然村。作者估计"多一个朋友接受强化培训"的边际效应。结果显示控制变量估计量在三个子样本中均降低了标准误,但在小样本(n=168)中 bias 较大。

  • 模拟实验:

  • 无干扰:n=100,outcome 为 Log-normal(0,2),πᵢ ~ Uniform(0.1,0.3)。比较 HT、Hajek、常数基、IPW 基、最优基、样本分割基。结果显示最优基和样本分割基的方差最小,但 bias 略大。
  • 有干扰:n=100,40 个 cluster,cluster 大小 1-4。比较 HT、Hajek、IPW 基、最优基、样本分割基。结果显示样本分割基在 MSE 上最优,但 bias 在 cluster 较小时显著。

🔎 结论是否比证明窄

是,结论明显比证明窄。具体表现:

  1. Theorem 2 和 Theorem 4 的"最优性"是期望意义上的:最优基最小化的是 E[Var(μ̂_CV(γ*))],即对 outcome 分布取期望后的方差。但在实际应用中,outcome 的 μ 和 σ² 是未知的,需要用样本分割估计。Theorem 1 和 Theorem 3 只证明了用估计系数不影响一阶渐近性质,但没有给出有限样本下的最优性保证。作者在模拟中也承认了这一点("the bias from using estimated coefficients is not negligible")。

  2. 网络干扰情形的最优性只是上界:Theorem 4 给出的是方差缩减的上界 (λ₁(M) + λ₂(M))/n²,而不是精确值。由于问题 (8) 是非凸的,作者只能提供 1/2 近似解,无法保证达到上界。这意味着"最优控制变量"在干扰情形下并没有被真正刻画。

  3. IPW 基的渐近最优性只在 Bernoulli 抽样下成立:Proposition 2 的证明依赖于 Bernoulli 抽样的特殊结构(Σ 是对角矩阵)。对于更一般的依赖结构(如网络随机化),IPW 基是否渐近最优是未证明的。

  4. 没有讨论估计基向量的统计代价:作者用样本分割估计基向量,但 Theorem 1 和 Theorem 3 只证明了渐近等价性,没有给出样本分割带来的方差增加的具体阶数。模拟显示样本分割基的 bias 比 oracle 最优基大,但这个 bias 的解析表达式没有给出。

  5. 真实数据应用中的"显著"是描述性的:作者报告了标准误的百分比降低,但没有给出置信区间或假设检验来证明这种降低在统计上显著。对于小样本(n=168)的情况,作者自己也承认结果需要谨慎解释。


四、开放问题(点到为止,扎根具体语句)

  1. 稳健的基向量选择:作者在结论中承认,"the optimal bases depend on moments of the outcome distribution, which are usually unknown in practice"(Section 6, 第一点 limitation)。他们用样本分割估计这些矩,但没有给出估计误差对最终估计量方差的影响。一个自然的开放问题是:是否存在对矩估计误差稳健的基向量选择方法,使得方差缩减在矩误设下仍然成立?

  2. 网络干扰下的精确最优解:Theorem 4 只给出了方差缩减的上界,且问题 (8) 是非凸的。作者提供的 1/2 近似解(Theorem 5)和交替局部搜索(Algorithm 1)是否能达到全局最优,或者是否存在多项式时间的精确算法,是一个开放问题。特别地,当网络规模增大时,非凸二次规划的求解复杂度可能成为瓶颈。

  3. 与双稳健估计量的结合:本文的控制变量框架只关注方差缩减,不涉及模型误设下的稳健性。作者在 Section 2.5 中承认 AIPW/TMLE 的"双稳健性"没有被纳入框架。一个自然的开放问题是:能否将控制变量框架与双稳健估计量结合,同时获得方差缩减和模型误设下的稳健性?

  4. 依赖邻域条件的验证:Assumption 1 和 1† 要求 W 的依赖限制在"依赖邻域"内(|Nᵢ| ≤ dn^α)。在实际的网络随机化实验中,这个条件是否成立取决于网络结构。作者没有提供验证这个条件的方法。一个开放问题是:如何从数据中检验依赖邻域条件,或者在条件不成立时如何调整估计量。

  5. 有限样本下的偏差校正:模拟结果显示,样本分割基的 bias 在 cluster 较小时显著(Table 4, Panel C)。作者将原因归结为"the exposure probabilities can go very small",但没有提供偏差校正方法。一个开放问题是:是否存在针对小样本的偏差校正方法,使得控制变量估计量在有限样本下仍然近似无偏?


提醒:要确认上述开放问题是否是真 gap,建议去读以下近期文献的 introduction 和 future work 部分: - Khan and Ugander (2023) 关于自适应归一化的后续工作; - 网络干扰下的半参数效率理论(如 Li, Ding, Rubin 等的工作); - 控制变量在 MCMC 和仿真中的最新进展(如 South et al. 2023 的综述)。


Maintained by 陈星宇 · Homepage · Source on GitHub

评论