Identifying Panel Conditioning with Refreshment Samples: Sharp Bounds and Design Assumptions¶
作者: Shoki Okubo
主题: 因果推断
相关性: 8/10
链接: https://arxiv.org/abs/2610.01654
一、领域脉络与小综述¶
这个方向是什么:面板数据(panel survey)中,受访者因重复参与调查而改变真实态度或报告行为,称为 panel conditioning;同时,样本流失(attrition)使留存样本不再代表目标总体。Refreshment samples(在后续波次中额外抽取的新鲜样本)是处理 attrition 的标准手段,其识别逻辑建立在"参与调查不改变测量"的假设上。本文研究的问题是:当 panel conditioning 确实存在、且 attrition 机制完全未知时,refreshment sample 究竟能识别关于 conditioning 的什么信息?这是一个部分识别(partial identification)问题,核心是刻画 conditioning 映射的 identified set。
发展脉络:
- 奠基工作:Hirano et al. (2001) 首次证明,在可分离非随机 attrition 模型(additively separable nonignorable attrition)下,refreshment sample 可以恢复两波联合分布。Deng et al. (2013) 将其推广到更一般的设定。这两篇工作的共同假设是:参与调查不改变测量——即不存在 panel conditioning。作者在引言中明确指出这一点("These models maintain that survey participation does not alter measurement")。
- Panel conditioning 的实证传统:Warren and Halpern-Manners (2012)、Halpern-Manners et al. (2012, 2014, 2017)、Eckman and Bach (2021) 等记录了 conditioning 效应的存在,但他们的识别策略通常假设 attrition 是完全随机的或可忽略的。作者指出,这些工作"treats attrition as a threat to its own comparisons"(引言第 2 段)。
- 部分识别与边界方法:Horowitz and Manski (1995) 的截尾数据边界、Lee (2009) 的单调性选择边界,为本文提供了技术工具。作者在 Corollary 6 中明确将无限制映射下的均值效应边界与 Horowitz–Manski trimming bounds 联系起来。
- 当前 frontier:Franguridi et al. (2026) 系列工作研究 refreshment sample 下 attrition 过程的识别与估计,但同样不建模 conditioning。本文声称是第一个在无限制 attrition 下刻画 conditioning 映射 identified set 的工作(引言最后一段:"Our contribution relative to these works is the sharp identified set under both frictions in the deterministic monotone model")。
子线索聚类:
- Refreshment sample 识别 attrition(Hirano et al. 2001; Deng et al. 2013; Franguridi et al. 2026):假设无 conditioning,用新鲜样本作为总体分布的锚点。
- Panel conditioning 的实证测量(Warren & Halpern-Manners 2012; Halpern-Manners et al. 2012, 2014, 2017; Eckman & Bach 2021):记录效应存在,但识别策略依赖强 attrition 假设。
- 部分识别与边界方法(Manski 1989; Horowitz & Manski 1995; Lee 2009):在缺失数据/选择问题中给出 sharp bounds,本文将其推广到 conditioning 映射。
- 轮换样本设计理论(Bailar 1975; Park, Kim, and Choi 2001):旋转组设计可以平衡时间样本偏差,本文的 Theorem 5–6 将设计选择(refreshment 时机)与识别空间联系起来。
这个方向在追问的核心问题:
- 给定 refreshment sample 和留存样本的报告分布,哪些 conditioning 映射与数据相容?
- 纵向数据(多波、多种 tenure 组合)是否比两波数据识别更多信息?
- 什么样的 refreshment 计划(年龄匹配 vs 世代更替)能识别什么类型的 conditioning 效应?
- 在 identified set 内,如何对 conditioning 效应进行推断?
⚠️ 作者的 framing(这是作者的说法,不是客观事实):作者把缺口 frame 成"refreshment 文献假设无 conditioning,conditioning 文献假设 attrition 可忽略,本文同时放松两者"。他通过 Theorem 2 论证纵向结构本身不增加识别力(除非有跨波限制),从而将两波问题提升为"原始问题"。他淡化的竞争路线包括:嵌入实验设计(如 split-sample 实验)、结构模型(如隐马尔可夫模型)、以及测量误差模型。值得注意的缺席:引言和参考文献中没有出现最近关于"回忆误差"(recall error)或"调查疲劳"(survey fatigue)的认知心理学文献,这些文献可能对单调映射假设提出挑战。什么明显该被引却没出现:Bailar (1975) 被引了,但 Park, Kim, and Choi (2001) 只在 Theorem 6 的证明语境中被引;Franguridi and Kosenkova (2026) 在讨论部分被引,但其"无 conditioning"假设下的识别结果与本文的对比没有系统展开。
张力:未见明显对立引用。但有一个微妙的内在张力:Hirano et al. (2001) 的可分离模型假设 attrition 和测量误差可加分离,而本文允许 attrition 完全任意——这意味着本文的 identified set 必然更大,但代价是只能得到 set identification。作者在 Corollary 6 中承认这一点("the interval then serves as the benchmark against which the location restriction is judged"),但没有讨论一个关键问题:如果研究者愿意假设 attrition 可分离(如 Hirano et al.),identified set 会缩小多少?这个对比是缺失的。
二、最核心、最简单的例子 / 数学问题¶
第一步:符号、模型、可观测数据¶
符号(两波设定,第 2 节):
| 符号 | 含义 | 类型 |
|---|---|---|
| \(Y_1\) | 第一波潜在结果(全体入样者报告) | 可观测 |
| \(Y_2^*\) | 第二波潜在结果(未受 conditioning 影响) | 潜在量 |
| \(Y_2 = c(Y_2^*)\) | 第二波报告结果(受 conditioning 影响) | 可观测 |
| \(c \in \mathcal{M}\) | conditioning 映射,\(\mathcal{M}\) = 递增同胚类 | 待识别参数 |
| \(S \in \{0,1\}\) | 是否留存(attrition 指示) | 可观测 |
| \(\pi(y_1, y_2^*) = \Pr(S=1 \mid Y_1=y_1, Y_2^*=y_2^*)\) | 选择函数,完全未知 | nuisance |
| \(p = \Pr(S=1)\) | 留存率 | 可观测 |
| \(F\) | \((Y_1, Y_2^*)\) 的联合分布 | 潜在量 |
| \(F_1, F_2\) | \(Y_1, Y_2^*\) 的边缘分布 | \(F_1\) 可观测,\(F_2\) 由 refreshment 揭示 |
| \(G\) | 留存者 \((Y_1, Y_2)\) 的联合分布 | 可观测 |
| \(Q\) | 留存者 \(Y_2\) 的报告分布(\(G\) 的第二边缘) | 可观测 |
| \(Q_{c'} := (c'^{-1})_\# Q\) | 通过候选映射 \(c'\) 反推的留存者潜在分布 | 构造量 |
模型(两波,refreshment validity):
- 第一波:全体入样者报告 \(Y_1 \sim F_1\)。
- 波间 attrition:\(S\) 以任意方式依赖于 \((Y_1, Y_2^*)\),即 \(\pi\) 完全无限制。
- 第二波:留存者报告 \(Y_2 = c(Y_2^*)\),其中 \(c \in \mathcal{M}\) 是确定性单调映射。
- Refreshment sample:在第二波从同一总体中抽取的新样本,报告 \(Y_2^* \sim F_2\)(未受 conditioning)。
可观测数据:\(\mathcal{O} = (F_1, G, F_2, p)\),其中 \(G\) 是留存者的 \((Y_1, Y_2)\) 联合分布,\(p\) 是留存率。注意:\(F_1\) 和 \(G\) 来自同一入样队列,\(F_2\) 来自 refreshment 队列。
关键区分: - 可观测:\(F_1\)(第一波全体)、\(G\)(留存者两波联合)、\(F_2\)(refreshment 边缘)、\(p\)(留存率)。 - 不可观测:\(F\)(\((Y_1, Y_2^*)\) 的联合分布)、\(\pi\)(选择函数)、\(c\)(conditioning 映射)、留存者的潜在 \(Y_2^*\)。
第二步:最小内核¶
核心问题:给定 \(\mathcal{O}\),哪些 \(c' \in \mathcal{M}\) 是"与数据相容"的?即存在某个 \(F'\) 和 \(\pi'\) 使得 \((F', \pi', c')\) 能复现 \(\mathcal{O}\)。
Theorem 1(最小内核):在 refreshment validity 下,\(c' \in \mathcal{C}_{\text{ID}}\) 当且仅当
其中 \(Q_{c'} := (c'^{-1})_\# Q\) 是留存者报告分布通过 \(c'^{-1}\) 的拉回(pullback)。
为什么是这个条件? 直观地说:
- 留存者是总体中经过 attrition 筛选后的子集。其潜在结果 \(Y_2^*\) 的分布(乘以留存率 \(p\) 后)必须塞进总体分布 \(F_2\) 里——因为留存者的潜在分布不可能超过总体分布,密度在任何集合上都不能超过 \(F_2\)。
- 如果 \(c'\) 是真实的 conditioning 映射,那么留存者的报告 \(Y_2\) 通过 \(c'^{-1}\) 反推回去,得到的正是他们的潜在 \(Y_2^*\) 分布。这个分布乘以 \(p\) 后必须被 \(F_2\) 支配。
- 反过来:如果这个条件成立,那么可以构造一个 attrition 过程:在总体中,以概率 \(p \cdot dQ_{c'}/dF_2\) 保留那些潜在值为 \(y\) 的个体,其余个体 attrition 掉。这样留存者的潜在分布恰好是 \(Q_{c'}\),报告分布恰好是 \(Q\),而 refreshment 分布是 \(F_2\)。所有可观测分量都被复现。
为什么这个条件是 sharp 的? 必要性是显然的(任何 rationalizing 结构都必须满足)。充分性由 Lemma 1(Completion Lemma)保证:给定满足 domination 的 \(c'\),可以显式构造 \(F'\) 和 \(\pi'\)。构造方法是:\(F' = \mu + (F_1 - \mu_1) \otimes (F_2 - \mu_2)/(1-p)\),其中 \(\mu = (id \times c'^{-1})_\#(pG)\)。这个构造将"从未观测到的 attrition 个体"分配为独立耦合的剩余边缘分布。
最简例子(正态分布):
设 \(F_2 = N(0,1)\)(refreshment 分布),留存者的报告分布 \(Q = N(1,1)\),留存率 \(p = 0.8\)。问:恒等映射 \(c'(y) = y\) 是否与数据相容?
- 若 \(c' = id\),则 \(Q_{c'} = Q = N(1,1)\),需要检查 \(0.8 \cdot N(1,1) \le N(0,1)\) 是否成立。
- 在 \(y=2\) 处:\(0.8 \cdot \varphi(2-1) = 0.8 \cdot \varphi(1) \approx 0.8 \times 0.242 = 0.194\),而 \(\varphi(2) \approx 0.054\)。因为 \(0.194 > 0.054\),domination 失败。
- 因此恒等映射不可行。直观地说:留存者的报告分布比总体分布更偏右,如果 conditioning 是恒等的,那么留存者的潜在分布也太偏右,无法被总体分布容纳。
再问:\(c'(y) = y - 1\) 是否可行?
- 此时 \(Q_{c'} = N(0,1)\),\(0.8 \cdot N(0,1) \le N(0,1)\) 成立(因为 \(0.8 < 1\))。
- 因此 \(c'(y) = y - 1\) 可行。直观地说:留存者报告偏右,是因为 conditioning 把潜在结果向右平移了 1 个单位;他们的潜在分布其实和总体一样。
这个例子说明的核心洞察:identified set 由密度比条件决定,而不是由尾部行为决定。两个分布只要在每一点上的密度比不超过 \(1/p\),对应的平移就是可行的。尾部行为(如轻尾 vs 重尾)只影响极端位移的可行性,但不决定 identified set 的整体结构。
为什么这个内核重要:它揭示了 refreshment sample 识别的本质——refreshment 分布 \(F_2\) 是一个"天花板",留存者的潜在分布(按留存率缩放后)必须在这个天花板之下。任何把留存者潜在分布推到天花板之上的映射都被排除。这就是为什么尾部行为单独不足以确定 identified set:domination 是逐点条件,不是尾部条件。
三、这篇论文做了什么¶
三句话¶
- 研究了什么问题:在 panel conditioning 存在且 attrition 完全无限制的双重摩擦下,refreshment sample 能识别关于 conditioning 映射的什么信息?
- 核心工具/方法:将 conditioning 建模为确定性单调映射(\(\mathcal{M}\) 类),用测度论中的 setwise domination 刻画 identified set,并给出显式的 rationalization 构造(Completion Lemma)。
- 主要结论:identified set 由 retention-scaled 拉回分布对 refreshment 分布的 setwise domination 条件完全刻画;无 attrition 时映射在潜在结果支撑上点识别;有 attrition 时 identified set 由密度比条件决定,尾部行为不足以确定它;多波纵向结构不增加识别力;负对照电池 + 两个 refreshment 可点识别 conditioning 路径。
关键设定与假设¶
- 确定性单调映射(\(\mathcal{M}\)):\(c\) 是连续、严格递增、满射的 \(\mathbb{R} \to \mathbb{R}\) 函数。这是全文最核心的假设。它排除了随机 conditioning(如概率性回忆偏差)和非单调 conditioning(如极端化效应)。作者在引言中明确说"modelled as a deterministic monotone map at reinterview"。
- Refreshment validity:refreshment sample 是目标总体的无偏样本,报告未受 conditioning 影响的 \(Y_2^*\)。这是 refreshment 文献的标准假设(Hirano et al. 2001 同款)。
- Attrition 完全无限制:\(\pi(y_1, y_2^*)\) 可以是任意 \([0,1]\)-值函数,只要求 \(p = \int \pi dF > 0\)。这是本文与 Hirano et al. (2001) 的关键区别——后者假设可分离结构。
- 原子无假设:分布假设为原子无(atomless),以便使用 quantile 变换和密度比条件。
- 相比文献的放宽/强化:相比 Hirano et al. (2001) 放宽了 attrition 结构(从可分离到任意),但强化了 conditioning 模型(从允许任意测量变化到确定性单调映射)。相比 Das et al. (2011) 的二元结果,本文处理连续结果但要求单调性。
主要结果¶
Theorem 1(两波 identified set):\(\mathcal{C}_{\text{ID}} = \{c' \in \mathcal{M} : p \cdot Q_{c'} \le F_2\}\)。这是全文的基石。证明分必要性和充分性两步,充分性用 Lemma 1 的显式构造。
Corollary 1(无 attrition 时点识别):当 \(p=1\) 时,domination 条件变为 \(Q_{c'} = F_2\)(两个概率测度互相支配),因此 \(c'\) 在 \(F_2\) 的支撑上唯一确定,为 quantile 对齐 \(c(y) = Q^{-1}(F_2(y))\)。这是对 Das et al. (2011) 无 attrition 情形的推广。
Corollary 2(密度比条件):当密度存在时,domination 条件等价于
这个密度比形式是后续所有应用的基础。它表明 identified set 由密度比的全局上确界决定,而不是由尾部行为单独决定。
Corollary 3(位置平移的 identified set):若 \(F_2\) 和 \(Q\) 属于同一位置族(如高斯、Laplace、Logistic、Cauchy),则 identified set 是区间,其半宽度由密度比条件决定。具体地: - 高斯:点识别(因为高斯密度比在无穷远处爆炸,任何非零平移都违反 domination) - Laplace:区间半宽 \(\lambda^{-1}\log(1/p)\) - Logistic:区间半宽 \(2\log(1/p)\) - Cauchy:区间半宽 \((1-p)/\sqrt{p}\)
Theorem 2(多波不增加识别力):在无跨波限制的假设下,多波纵向数据(包括 dropout 模式、多波报告、entry-wave 电池)不缩小 identified set。证明思路:任何满足两波 domination 条件的 \(c'\) 都可以通过 Lemma 2 的 pattern completion 扩展到多波结构,且不改变任何可观测分量。这个定理是反直觉的——它说明纵向结构本身不是识别力的来源,除非有跨波限制(如 selection 的可分离性)。
Theorem 3(位置族的 sharp bounds):在位置族假设下,identified set 是闭区间 \([\ell, u]\),端点由密度比条件给出。证明用单调函数的 quantile 变换将 domination 条件转化为密度比条件,然后用位置族的特殊结构求解。
Theorem 4(负对照电池 + 两个 refreshment → 点识别):在年龄匹配的 refreshment 设计下,负对照电池(conditioning 为零的条目)可以识别 selection 函数,从而点识别 conditioning 路径。证明的关键是:负对照电池的 conditioning 为零,所以其 attrition 偏差完全来自 selection,可以用它来估计 selection 函数,然后从目标条目的 attrition 偏差中减去 selection 贡献。
Theorem 5(设计理论):refreshment 计划的 stride(入队间隔的最大公约数)决定 identified set 的维度。stride 为 1 时,所有 tenure 的 conditioning 路径可识别;stride > 1 时,存在永不识别的方向。这为面板设计提供了事前指导。
Theorem 6(平衡-信息权衡):发布 tenure 平衡的聚合数据(固定权重平均)会丢失所有非平衡方向的识别信息。这是一个负面结果:平衡设计虽然消除了时间样本偏差,但也消除了识别 conditioning 路径的可能性。
证明路线与技术技巧¶
整体路线(以 Theorem 1 为例):
- 必要性:假设 \((F', \pi', c')\) rationalizes \(\mathcal{O}\)。则留存者的潜在分布 \(\mu' = (id \times c'^{-1})_\#(pG)\) 满足 \(\mu' \le F'\)(因为 \(\pi' \le 1\))。取第二边缘,得到 \(p Q_{c'} \le F_2\)。
- 充分性:给定 \(c'\) 满足 domination,构造 \(\mu = (id \times c'^{-1})_\#(pG)\)。定义 \(F' = \mu + (F_1 - \mu_1) \otimes (F_2 - \mu_2)/(1-p)\)。验证 \(F'\) 的边缘正确,且 \(\pi' = d\mu/dF' \in [0,1]\)。
- 关键技巧:Completion Lemma 的构造本质上是独立耦合——将 attrition 个体的 \((Y_1, Y_2^*)\) 分配为剩余边缘的独立乘积。这个构造不试图匹配任何真实的依赖结构,因为数据不包含任何关于 attrition 个体依赖的信息。
关键跳跃点:
- 从 domination 到 rationalization:这是最吃功夫的地方。难点在于构造的 \(F'\) 必须同时满足两个边缘约束(\(F_1\) 和 \(F_2\))且 \(\mu \le F'\)。Lemma 1 的乘积构造巧妙地解决了这个问题,但它依赖于一个事实:数据不限制 attrition 个体内部的依赖结构。
- Theorem 2 的 pattern completion:难点在于将两波构造扩展到多波时,需要保持所有 pattern 的边缘分布不变。Lemma 2 的构造是递归的:每次添加一个新波次,都将该波次的 attrition 个体独立耦合到剩余边缘。
- Theorem 4 的识别论证:难点在于证明负对照电池的 selection 函数可以识别。关键步骤是:负对照条目的 conditioning 为零,所以其 attrition 偏差完全来自 selection;用多个负对照条目可以 overidentify selection 函数,从而检验模型的正确性。
技术技巧清单:
- Setwise domination(\(\le\)):比逐点密度比更一般,适用于无密度情形。这是测度论的核心工具。
- Quantile 变换:用于将单调映射的识别转化为分布函数的比较。Corollary 1 的 \(c(y) = Q^{-1}(F_2(y))\) 就是 quantile 对齐。
- Lebesgue 分解:在证明 domination 条件的必要性时,需要处理奇异部分。
- 线性规划/秩条件:Theorem 4–5 中,识别条件归结为线性方程组的秩条件。Theorem 5 的 stride 概念本质上是设计矩阵的秩。
- 影响函数(influence function):第 13 节用于估计 identified set 端点的方差,包括估计 group shares 的影响。
- Bootstrap:第 12 节用 person-level bootstrap 校准覆盖概率,因为 plug-in 方法低估了方差。
真实例子与应用¶
JLPS(日本生命历程面板调查):三队列(2007、2011、2019 入队),2011 年 refreshment 是年龄匹配的(出生年份与在队队列重叠),2019 年是世代性的(无重叠)。负对照电池有 23 个童年环境条目(如"家中是否有空调""是否有电话"),这些条目在成年后不会因 conditioning 而改变。
结果: - 2011 年年龄匹配 refreshment 下,负对照电池的 23 个条目中,1 个被 Benjamini–Hochberg 程序在 \(q < .10\) 拒绝("童年家中是否有电话"),其余 22 个与零 conditioning 相容。 - 修正后的 conditioning 效应估计:主观社会地位、自评健康等条目的 conditioning 效应为负(重复参与使报告值降低),但置信区间包含零。 - 2019 年世代性 refreshment 下,水平对比不可识别,但增量对比(tenure 13 vs 9)在共同出生年份支持上可识别。
例子想说明什么:论文的方法可以用于(1)检验"无 conditioning"假设是否与数据相容;(2)在拒绝后,对 conditioning 效应进行 set 估计;(3)指导面板设计(选择年龄匹配还是世代性 refreshment)。
四、开放问题¶
以下问题均扎根于论文的具体语句,按"从近到远"排列:
-
推断理论:论文只给出了 identified set 的 plug-in 估计(第 12 节),并明确说"a uniformly valid version requires inference-aware calibration of the slack, in the spirit of intersection-bounds methods, which we leave to future work"(第 12 节,Simulation 1 段)。要证明什么:如何构造覆盖 identified set 的置信区域(而非逐点置信区间),并处理密度比估计的偏差。这与研究者熟悉的 intersection bounds(Chernozhukov et al. 2013)和 partial identification 推断直接相关。
-
随机 conditioning 映射:论文的核心假设是确定性单调映射(\(\mathcal{M}\) 类)。作者在 Corollary 4 的讨论中承认"stochastic partial merging of categories is one possible explanation"(第 3.2 节),但没有给出随机映射的 identified set。要证明什么:如果 \(Y_2 = c(Y_2^*, U)\) 其中 \(U\) 是独立噪声,identified set 会如何变化?这需要随机单调映射的测度论工具(如 Markov 核的单调性)。
-
非单调 conditioning:论文的单调性假设排除了"极端化效应"(如重复参与使态度更极端)。要证明什么:如果允许非单调映射,identified set 是否会退化为无信息?这需要刻画单调性假设在 identified set 收缩中的具体作用。
-
跨波限制的识别力:Theorem 2 的"无增加"结论依赖于无跨波限制。作者在讨论中说"restrictions that link cohorts or waves beyond (A1)–(A2), such as an additive cell-mean structure across cohorts, as the companion identification paper requires, are of this kind"(第 4 节末)。要证明什么:在可分离 attrition 假设下,identified set 如何缩小?这是与 Hirano et al. (2001) 的直接对比,论文没有给出。
-
设计优化:Theorem 5–6 给出了 stride 与识别空间的秩条件,但没有解决"给定预算,如何选择 refreshment 时机以最小化 identified set"的优化问题。要证明什么:在位置族假设下,最优 refreshment 计划是否总是"尽早、频繁"?这需要将识别空间维度与统计效率联系起来。
-
与测量误差模型的联系:conditioning 映射 \(c\) 可以看作一种特殊的测量误差(非经典测量误差)。论文没有讨论 \(c\) 与经典测量误差模型(如 Berkson 或 classical)的关系。要证明什么:在什么条件下,panel conditioning 可以被 reinterpret 为一种可校正的测量误差?
-
半参数效率:在 identified set 内,如何构造半参数有效估计量?论文只给了 plug-in 和 bootstrap,没有讨论效率界。要证明什么:identified set 的端点作为泛函,其半参数效率界是什么?这需要 efficient influence function 的计算。
提醒:要确认某条是不是真 gap,去读同子领域近期约 5 篇的 intro——都指向它 = 共识(真 gap),互相打架 = 机会。特别是问题 4(跨波限制)和问题 6(测量误差联系),这两个方向在文献中都有活跃的相邻工作,值得优先核查。
Maintained by 陈星宇 · Homepage · Source on GitHub