Design-based effect sizes and their synthesis in randomized multiple-baseline experiments¶
作者: Xinyuan Chen, Zhigao Liang
主题: 因果推断
相关性: 6/10
链接: https://arxiv.org/abs/2610.13001
一、领域脉络与小综述¶
-
这个方向是什么:本文属于单案例实验设计(Single-Case Experimental Designs, SCEDs) 的因果推断与效应量估计子领域。其根本科学问题是:在只有少数几个案例(通常 3–8 个)、每个案例被重复测量的纵向数据中,如何定义、估计并合并(meta-analyze)一个干预的效应量,使得该效应量不依赖于对结果变量分布(如趋势、序列相关)的模型假设。该方向的成熟度处于"方法学活跃发展期":已有大量基于模型的效应量(如多水平模型、Hedges 等提出的标准化均值差),但基于设计(随机化)的、无需模型假设的效应量框架尚属前沿,本文是这一方向的最新推进。
-
发展脉络(history):
- 奠基工作:Horner et al. (2005) 与 Kratochwill et al. (2013) 确立了 SCEDs 作为循证教育实践证据来源的资格标准,提出了"至少 5 项可接受研究"的实践认定门槛,这为后续效应量方法的发展提供了应用驱动力。Edgington and Onghena (2007) 系统阐述了随机化检验在单案例设计中的价值,为设计-based 推断奠定了哲学与方法基础。
- 主要进展(效应量方法学):Hedges et al. (2012, 2013) 与 Pustejovsky et al. (2014) 提出了基于模型的标准化均值差效应量,试图统一不同 SCEDs 的效应量度量;Pustejovsky (2018) 引入对数响应比;Van den Noortgate and Onghena (2008) 与 Chen and Pustejovsky (2024) 发展了多水平模型框架用于效应量合并。这些工作的共同特点是依赖对基线趋势和序列相关的模型假设。
- 当前 frontier(设计-based 推断):Athey and Imbens (2022) 与 Roth and Sant'Anna (2023) 在计量经济学中建立了交错采纳(staggered adoption)设计下的设计-based 因果推断框架,将随机化作为唯一推断基础。Bojinov and Shephard (2019) 与 Bojinov et al. (2021) 将这一思想推广到时间序列与面板实验。本文作者 Chen (2026) 此前已将随机化推断推广到吸收性处理起始点下的单元效应检验。本文是这一设计-based 思路在 SCEDs 效应量估计与合并中的首次系统化应用。
-
本文的位置:作者将设计-based 推断(随机化是唯一推断基础)与效应量估计(标准化、可合并)两个目标结合,提出了一族无需结果模型的加权估计量,并给出了不依赖序列相关模型的方差估计与置信区间。这是对上述两条线索(随机化检验传统 + 效应量方法学)的交叉推进。
-
子线索聚类:
- 随机化检验与设计-based 推断(Edgington & Onghena, 2007; Athey & Imbens, 2022; Bojinov & Shephard, 2019; Chen, 2026):强调随机化方案是推断的唯一基础,不假设结果分布。
- 效应量定义与标准化(Hedges et al., 2012, 2013; Pustejovsky et al., 2014; Pustejovsky, 2018):关注如何定义可跨研究比较的、无量纲的效应量。
- 效应量合并与元分析(Van den Noortgate & Onghena, 2008; Chen & Pustejovsky, 2024):关注如何将多个 SCEDs 的效应量合并为总体估计。
-
方差估计与推断(Michiels et al., 2017; Michiels & Onghena, 2019):关注在少量案例下如何获得有效的方差估计与置信区间。
-
这个方向在追问的核心问题:
- 如何在不依赖模型假设的前提下定义效应量? 当基线趋势存在、序列相关未知时,传统的均值差是否有偏?本文的 Proposition 1 给出了明确回答:有偏,且偏倚等于一个漂移项 ζ_i。
- 如何从随机化方案中获得方差估计? 在只有少量独立随机化单元(案例或研究)时,如何构造无需估计序列相关参数的方差估计量?本文的 Proposition 2 给出了基于组间平方和的保守估计。
- 如何保证合并效应量的渐近有效性? 当案例数(或研究数)趋于无穷时,如何利用随机化分布获得中心极限定理?本文的 Theorem 2 给出了答案。
-
如何在实际应用中处理效应随时间累积(build-up)的情况? 当干预效应不是立即完全显现时,哪种估计量仍然无偏?本文的 pooled-anchor estimator 专门为此设计。
-
⚠️ 作者的 framing(这是作者的说法):作者将缺口 frame 为"现有 SCEDs 效应量方法几乎全部依赖对基线趋势和序列相关的模型假设,而这些假设在仅有 5–10 个基线观测时无法检验"。因此,本文的贡献是提供"无需结果模型的效应量估计与合并框架"。作者淡化的竞争路线包括:(a) 多水平模型(Van den Noortgate & Onghena, 2008)——作者指出其正确性依赖于随机效应分布和残差结构的正确设定;(b) 基于设计但仅用于检验的随机化检验(Edgington & Onghena, 2007)——作者指出其未提供点估计与置信区间。值得研究者去查的问题:作者在引言中未提及 Pustejovsky et al. (2014) 提出的"设计可比效应量"(design-comparable effect sizes)框架,该框架试图通过定义与设计特征(如基线长度、案例数)匹配的效应量来规避模型假设——这是否与本文的设计-based 思路存在竞争或互补关系?此外,作者未讨论 Tate et al. (2013) 提出的视觉分析方法,该方法在应用领域仍占主导地位。
-
张力:未见明显对立引用。但存在一个隐含张力:Athey and Imbens (2022) 的设计-based 框架强调在交错采纳下利用"处理组 vs 尚未处理组"的对比,而本文的 SCEDs 设定中所有案例最终都接受处理(吸收性处理),因此本文的估计量依赖于"窗口内处理 vs 未处理"的对比,这与交错采纳框架的识别策略不同。这一差异值得研究者注意。
二、最核心、最简单的例子 / 数学问题¶
第一步:符号、模型、可观测数据¶
符号(逐个点名):
| 记号 | 含义 | 类型 |
|---|---|---|
| \(N\) | 案例总数 | 指标(样本量) |
| \(T_i\) | 案例 \(i\) 的总观测期数 | 指标 |
| \(S_i\) | 案例 \(i\) 的干预起始期(随机变量) | 随机变量(设计决定) |
| \(\mathcal{S}_i\) | 案例 \(i\) 的可允许起始期集合 | 设计参数 |
| \(p_i(s)\) | \(P(S_i = s)\),起始期的概率分布 | 设计参数(已知) |
| \(A_i, W_i, B_i\) | 前窗口、窗口、后窗口的期集合 | 设计参数 |
| \(a_i, b_i\) | 最早/最晚起始期 | 设计参数 |
| \(m_i, n_i\) | 窗口期数、后窗口期数 | 指标 |
| \(Y_{it}(s)\) | 起始期为 \(s\) 时案例 \(i\) 在期 \(t\) 的潜在结果 | 潜在量(counterfactual) |
| \(Y_{it}^{(0)}\) | 未处理潜在结果 | 潜在量 |
| \(Y_{it}^{(1)}\) | 处理潜在结果(在稳定效应下) | 潜在量 |
| \(W_{it}(s)\) | 处理指示:\(t \ge s\) 时为 1 | 潜在量(由设计决定) |
| \(W_{it}\) | 观测到的处理指示 | 可观测 |
| \(Y_{it}\) | 观测到的结果 | 可观测 |
| \(\tau_{it}\) | 期 \(t\) 的单元效应 | 参数(estimand) |
| \(\tau_i\) | 案例 \(i\) 的窗口平均效应 | 参数(estimand) |
| \(\theta_i\) | 案例 \(i\) 的标准化效应 | 参数(estimand) |
| \(\theta\) | 合并效应 | 参数(estimand) |
| \(c_i\) | 尺度(scale) | 参数(已知或估计) |
| \(\omega_i\) | 案例权重 | 设计参数(已知) |
| \(\pi_{it}\) | 期 \(t\) 被处理的概率 | 设计参数(已知) |
| \(\hat{\tau}_i^a, \hat{\tau}_i^b, \hat{\tau}_i^c\) | 三种案例级估计量 | 估计量 |
| \(\hat{\theta}^a, \hat{\theta}^b, \hat{\theta}^c\) | 三种合并估计量 | 估计量 |
| \(\hat{V}\) | 方差估计量 | 估计量 |
模型(数据生成机制): - 每个案例 \(i\) 有固定潜在结果序列 \(\{Y_{it}^{(0)}\}_{t=1}^{T_i}\)(未处理)和 \(\{Y_{it}^{(1)}\}_{t=1}^{T_i}\)(处理)。 - 观测结果 \(Y_{it} = Y_{it}(S_i)\),其中 \(S_i\) 是从 \(\mathcal{S}_i\) 按 \(p_i(\cdot)\) 独立抽取的。 - 处理效应可以是即时且稳定的(Assumption 2:\(Y_{it}(s) = Y_{it}^{(1)}\) 对所有 \(t \ge s\)),也可以是随时间累积的(仅 Assumption 1)。 - 核心识别假设:无预期(Assumption 1:\(Y_{it}(s) = Y_{it}^{(0)}\) 对所有 \(t < s\))。
可观测数据: - 对每个案例 \(i\),观测到:起始期 \(S_i\)、结果序列 \(\{Y_{it}\}_{t=1}^{T_i}\)、以及由设计决定的集合 \(A_i, W_i, B_i\)。 - 关键点:研究者观测不到潜在结果 \(Y_{it}^{(0)}\) 和 \(Y_{it}^{(1)}\) 的完整序列,只能观测到在 realized onset \(S_i\) 下的结果。观测不到的是:如果起始期不同,结果会如何变化。所有推断必须仅基于随机化分布(\(S_i\) 的分布是已知的)。
第二步:最小内核¶
最小设定:考虑单个案例(\(N=1\)),有 \(T\) 个观测期,起始期 \(S\) 从 \(\{a+1, \ldots, b\}\) 中等概率抽取(\(a \ge 1, b \le T\))。窗口 \(W = \{a+1, \ldots, b-1\}\),前窗口 \(A = \{1, \ldots, a\}\),后窗口 \(B = \{b, \ldots, T\}\)。假设无预期(Assumption 1)且稳定效应(Assumption 2)。
核心问题:如何估计案例的标准化效应 \(\theta = \tau / c\),其中 \(\tau = \frac{1}{m} \sum_{t \in W} \tau_t\) 是窗口内的平均效应,\(c\) 是尺度?
最小内核的答案:考虑加权对比估计量:
其中 \(W_t = \mathbf{1}(S \le t)\),\(\pi_t = P(S \le t)\)。
为什么这个估计量有效? 关键在于Horvitz-Thompson 加权: - 当 \(S \le t\)(期 \(t\) 被处理),观测结果 \(Y_t = Y_t^{(1)}\),权重为 \(1/\pi_t\)。 - 当 \(S > t\)(期 \(t\) 未被处理),观测结果 \(Y_t = Y_t^{(0)}\),权重为 \(-1/(1-\pi_t)\)。
期望值计算(这是整个论文的数学内核):
因此:
为什么这是"最小内核"? 因为: 1. 不需要任何结果模型——没有对趋势、序列相关、分布形式做任何假设。 2. 随机化是唯一推断基础——期望值仅依赖于已知的 \(\pi_t\)。 3. 单个案例即可无偏——不需要多个案例。 4. 所有更复杂的设定(多个案例、多个研究、非稳定效应、标准化)都是在这个内核上"加壳"。
标准化(加壳 1):除以尺度 \(c\)。若 \(c\) 是常数(如预先指定的),则 \(\hat{\theta}^a = \hat{\tau}^a / c\) 仍然无偏。若 \(c\) 是估计的(如预窗口标准差),则产生渐近无偏(Corollary 1)。
合并(加壳 2):多个案例加权平均,权重 \(\omega_i\) 固定。由于案例间独立,合并估计量的期望是各案例期望的加权和,无偏性保持。
方差估计(加壳 3):这是技术难点。由于每个案例只有一个随机化实现,无法直接估计案例内方差。作者的解决方案是利用案例分组(blocks):将案例分成 \(G\) 个独立随机化的组,组间平方和提供了方差估计。这就是 Proposition 2 和 Theorem 2 的核心。
非稳定效应(加壳 4):当效应随时间累积时(仅 Assumption 1),\(\hat{\tau}^a\) 仍然无偏(Theorem 1),但 \(\hat{\tau}^c\)(双锚估计量)有偏。此时推荐 pooled-anchor estimator \(\hat{\theta}^f\),它通过重新加权消除了累积效应带来的偏倚。
三、这篇论文做了什么¶
三句话¶
- 研究了什么问题:在随机化多基线单案例实验设计中,如何定义、估计并合并(meta-analyze)不依赖结果模型(趋势、序列相关)假设的标准化效应量。
- 核心工具/方法:基于 Horvitz-Thompson 逆概率加权的设计-based 估计量族(加权对比、基线锚定、双锚定、合并锚定),以及基于组间平方和的方差估计量。
- 主要结论:加权对比估计量在无预期假设下对案例级效应无偏;基线锚定和双锚定估计量在稳定效应假设下无偏;合并锚定估计量仅需无预期假设且渐近无偏;方差估计量在组数趋于无穷时给出渐近有效置信区间。
关键设定与假设¶
- 设定:\(N\) 个案例,每个案例 \(T_i\) 个观测期。案例分成 \(G\) 个块(block),块内案例的起始期由同一随机化方案决定,块间独立。每个案例的起始期 \(S_i\) 从 \(\mathcal{S}_i\) 按 \(p_i(\cdot)\) 抽取。
- Assumption 1(无预期):\(Y_{it}(s) = Y_{it}^{(0)}\) 对所有 \(t < s\)。即干预前的潜在结果不受未来干预起始期的影响。这是设计-based 推断的标准假设,比基于模型的假设(如平稳性)弱得多。
- Assumption 2(稳定效应):\(Y_{it}(s) = Y_{it}^{(1)}\) 对所有 \(t \ge s\)。即效应在起始期立即完全显现,不随时间累积。注意:Assumption 2 比 Assumption 1 强,仅在需要 \(\hat{\tau}^c\) 无偏时需要。
- Assumption 3(权重有界):\(\Omega_g \le C_\omega/G\),即没有块占主导权重。
- Assumption 4(结果有界):\(|Y_{it}(s) - Y_{iA}| \le M c_i\),即结果相对于尺度有界。
- Assumption 5(重叠):\(\pi \le \pi_{it} \le 1-\pi\),即每个窗口期被处理的概率不接近 0 或 1。
- Assumption 6(非退化方差):\(G \cdot \text{Var}(L) \ge v > 0\),即合并估计量的方差不退化。
相比已有文献的放宽/强化: - 放宽:相比多水平模型(Van den Noortgate & Onghena, 2008),本文不假设随机效应分布、残差结构、基线趋势形式。 - 放宽:相比 Hedges et al. (2012, 2013) 的标准化均值差,本文不假设基线稳定或效应即时。 - 强化:本文要求起始期是随机化的(已知分布),而许多应用中的 SCEDs 并非随机化起始。这是本文方法适用性的关键边界。
主要结果¶
Theorem 1(无偏性):在 Assumption 1 下,\(E(\hat{\tau}_i^a) = E(\hat{\tau}_i^b) = \tau_i\)。在 Assumption 1+2 下,\(E(\hat{\tau}_i^c) = \tau_i\)。直觉:逆概率加权使得每个窗口期的潜在结果在期望中被"补全"为完整的 \(Y_{it}^{(1)}\) 或 \(Y_{it}^{(0)}\)。
Proposition 1(相变对比的偏倚):\(E\{\gamma_i(S_i)\} = \sum_{t=a_i+1}^{T_i} \lambda_{it} \tau_{it} + \zeta_i\),其中 \(\zeta_i\) 是未处理序列的期望相变对比。关键结论:当未处理结果随时间变化时(趋势、漂移),传统的相变均值差有偏,偏倚等于漂移项 \(\zeta_i\)。随机化不能消除漂移——这是本文最重要的诊断性结果。
Proposition 2(方差估计):\(\hat{V}\) 满足 \(E(\hat{V}) = \text{Var}(\hat{\theta}) + \frac{1}{1+\rho} \sum_{g=1}^G \frac{\Omega_g^2 (\vartheta_g - \theta)^2}{1-2\Omega_g}\)。关键结论:\(\hat{V}\) 是保守的(期望 ≥ 方差),当所有块效应相等时无偏。技术难点:每个块只有一个随机化实现,块内方差不可识别,因此用块间平方和代替。
Theorem 2(渐近覆盖):在 Assumptions 3–6 下,\(\liminf_{G\to\infty} P(|\hat{\theta} - \theta| \le q_{G-1} \hat{V}^{1/2}) \ge 1-\alpha\)。关键结论:即使块内方差不可识别,只要块数趋于无穷,置信区间渐近覆盖。技术难点:需要 Berry–Esseen 类型的界(Lemma S4, Feller 1971)处理非正态性,以及 Lemma S5 处理 t 分位数与正态分位数的关系。
Proposition 3(规划公式):在模型 (6) 下,给出 \(\text{Var}(\hat{\theta}^b)\)、\(\text{Var}(\hat{\theta}^c)\) 和 \(\text{Var}(L)\) 的显式公式。关键结论:方差由三部分组成——窗口期噪声(\(\psi_i\))、预窗口均值噪声(\(\text{Var}(X_{i0})/a_i\))、后窗口均值噪声(\(\text{Var}(X_{i1})/n_i\))。规划建议:增加窗口期数 \(m_i\) 和两侧期数 \(a_i, n_i\) 均能降低方差,但窗口期数的边际收益递减(\(\psi_i\) 与 \(m_i^2\) 成反比)。
Proposition 4(尺度偏倚):用预窗口标准差作为尺度时,标准化效应 \(\theta_i = \tau_i / c_i\) 的期望为 \(\tau_i / (\sigma \iota_i)\),其中 \(\iota_i < 1\) 是 Hedges (1981) 的小样本修正因子。关键结论:不修正 \(\iota_i\) 会高估效应量(因为 \(1/\iota_i > 1\)),修正后无偏。
真实例子与应用¶
数据:三项随机化多基线研究,共 15 名学生(6+5+4),涉及阅读理解和写作干预。研究 A(Grünke et al., 2013):故事地图教学,6 名学生,18 个观测日,起始期从第 4–9 天随机抽取。研究 B(Grünke et al., 2015):复制研究,5 名学生,15 个观测日,起始期从第 4–11 天随机抽取。研究 C(Grünke et al., 2019):写作规划策略,4 名学生,12 个观测日,起始期从第 6–10 天随机抽取。
应用方式: 1. 对每名学生计算三种案例级估计量(\(\hat{\theta}^b\)、\(\hat{\theta}^c\)、\(\hat{\theta}^f\)),尺度为预窗口标准差除以 \(\iota_i\)。 2. 以学生为块(\(G=15\)),等权重合并。 3. 用 Proposition 2 的方差估计量计算标准误和 95% 置信区间。 4. 用随机化检验(Proposition S5)检验无效应零假设。
结果: - 研究 A(效应即时):\(\hat{\theta}^c = 4.83\)(SE 0.35),\(\hat{\theta}^f = 4.75\)(SE 0.31),相变对比 = 5.04。三者接近,因为效应即时,漂移小。 - 研究 B(效应累积):\(\hat{\theta}^c = 4.55\)(SE 1.33),\(\hat{\theta}^f = 5.08\)(SE 1.22),相变对比 = 6.64。\(\hat{\theta}^c\) 低估,因为后窗口均值被早期未完全显现的效应拉低。 - 研究 C(效应累积):\(\hat{\theta}^c = 44.79\)(SE 35.01),\(\hat{\theta}^f = 62.00\)(SE 21.93),相变对比 = 84.65。\(\hat{\theta}^c\) 严重低估且 SE 巨大,\(\hat{\theta}^f\) 更稳定。 - 合并效应(15 名学生,预窗口均值尺度):\(\hat{\theta}^f = 1.86\)(SE 0.37),95% CI [1.06, 2.66],p = 0.0002。即干预使结果变量平均提高 1.86 个预窗口均值。
例子想说明什么:当效应随时间累积时(常见于教育干预),传统的相变对比和双锚估计量严重有偏,而 pooled-anchor estimator 提供无偏估计。同时,即使只有 15 个块,置信区间也具有良好的覆盖性质。
🔎 结论是否比证明窄¶
- 明确证明:Theorem 1(无偏性)、Proposition 1(相变对比偏倚)、Proposition 2(方差估计的保守性)、Theorem 2(渐近覆盖)、Proposition 3(规划公式)、Proposition 4(尺度偏倚)。
- 被泛化声称但证明较窄:
- Theorem 2 的覆盖性质:证明依赖于 Assumptions 3–6,其中 Assumption 6(非退化方差)要求 \(G \cdot \text{Var}(L) \ge v\)。在模拟中,当 \(G=4\) 且效应异质性大时,覆盖可能低于名义水平(论文在 Section 9.4 承认这一点)。作者在讨论中声称"至少达到名义覆盖",但严格证明只覆盖了 \(G \to \infty\) 的渐近情形。
- pooled-anchor estimator 的渐近无偏性:Theorem 2 只证明了覆盖性质,没有给出 \(\hat{\theta}^f\) 的渐近正态性的显式证明。作者在 Section 5 中声称"渐近无偏",但证明依赖于对 \(L\) 的线性展开和余项控制,这些细节在补充材料中,但未在正文中明确陈述。
- 尺度 \(c_i\) 的估计:Corollary 1 声称标准化后无偏性保持,但证明假设 \(c_i\) 是常数。当 \(c_i\) 是预窗口标准差时,Proposition 4 只给出了期望的修正因子 \(\iota_i\),没有证明标准化估计量的方差如何变化。作者在模拟中验证了覆盖性质,但未给出理论方差公式。
四、开放问题¶
-
非随机化起始期的扩展:本文所有结果依赖于起始期 \(S_i\) 的随机化分布已知。但许多实际 SCEDs 并非随机化起始(如响应引导式设计)。作者在讨论中承认这一点,但未给出扩展方向。扎根于:Section 1 最后一段"Randomization is not uncommon in applied single-case studies"以及 Section 6 对响应引导设计的讨论。要确认这是否为真 gap:去读近 5 年 SCEDs 方法学文献(如 Journal of School Psychology, Behavioral Disorders),看是否有非随机化起始期的设计-based 推断方法。
-
块内相关性的利用:本文的方差估计量完全忽略块内案例间的相关性(假设块内独立)。但实际中,同一研究的案例可能共享环境因素(如同一个教室)。扎根于:Section 5 中"the vectors of onsets of different blocks are mutually independent"以及 Proposition 2 的证明假设块内独立。要确认:去读 Bojinov et al. (2021) 对面板实验的处理,看是否有块内相关的设计-based 方差估计。
-
最优权重选择:本文使用等权重(\(\omega_i = 1/N\))或固定权重。但根据 Proposition 3 的方差公式,最优权重应反比于案例方差。扎根于:Section 6 的规划公式和 Proposition 3。要确认:去读 Hedges et al. (2013) 对随机效应元分析中权重选择的讨论,看是否有设计-based 的最优权重理论。
-
效应累积模型的识别:本文的 pooled-anchor estimator 允许效应随时间累积,但未对累积速度建模。当累积速度因案例而异时,合并效应是否仍有意义?扎根于:Section 5 对 pooled-anchor estimator 的定义以及 Proposition S3 对 \(\hat{\theta}^c\) 偏倚的刻画。要确认:去读 Swan and Pustejovsky (2018) 的渐进效应模型,看是否有更丰富的累积效应建模框架。
-
小样本精确推断:Theorem 2 是渐近结果。当块数 \(G\) 很小(如 3–5 个研究)时,t 分布近似可能不充分。扎根于:Section 9.4 中"with 6 and 12 cases under a common shift, its intervals could under-cover"。要确认:去读 randomization test 的精确推断文献(如 Edgington & Onghena, 2007),看是否有小样本精确置信区间的方法。
提醒:要确认上述开放问题是否为真 gap,建议去读以下近期文献的引言部分(近 5 年): - Journal of Educational and Behavioral Statistics 中关于 SCEDs 效应量的方法学论文 - Psychological Methods 中关于单案例设计推断的论文 - Journal of the American Statistical Association 中关于设计-based 因果推断的论文
如果这些文献的引言都指向同一个未解决问题,那就是共识(真 gap);如果它们互相打架,那就是机会。
Maintained by 陈星宇 · Homepage · Source on GitHub