Classification testing: A new framework for drawing qualitative conclusions from quantitative estimates¶

作者: Andrew C. Eggers, Zikai Li
主题: 数理统计 / 假设检验
相关性: 6/10
链接: https://arxiv.org/abs/2608.23315

一、领域脉络与小综述¶

这个方向是什么¶

本文提出的“分类检验”（classification testing）是一个针对社会科学中定性结论（如“效应为正”、“效应可忽略”）的统计推断框架。它要解决的根本问题是：如何用频率学派误差控制的方式，从定量估计（点估计和标准误）中做出多个可能的定性判断，而不仅仅是像传统假设检验那样只能“拒绝”或“不拒绝”一个预设的零假设。该方向当前处于“重新包装与推广”阶段——核心数学思想（分区原则、最大化最小准则）已有，但本文试图将其整合成一个对应用研究者友好的统一框架。

发展脉络（history）¶

奠基工作：Neyman-Pearson 假设检验框架（未直接引用，但隐含在全文）确立了“零假设 vs. 备择假设”的二元不对称结构。Kaiser (1960) 和 Jones & Tukey (2000) 提出了“方向性双侧检验”（directional two-sided test），允许在符号未知时做出“正”或“负”的误差控制结论——这是 sign classification test 的直接前身。Cox et al. (1977) 在讨论中已指出双侧检验可被解释为将结果分为“上临界区”、“下临界区”和“中间区”（数据本身不能提供符号的清晰证据），但未给出误差控制。
主要进展：Schuirmann (1987) 提出了 TOST（two one-sided tests）用于等价性检验，允许做出“效应可忽略”的误差控制结论。Berger & Hsu (1996) 指出了 TOST 的保守性并给出了改进。Finner & Strassburger (2002) 提出了“分区原则”（partitioning principle），为多类决策提供了统一的误差控制框架——这是本文最核心的理论基础。Goeman et al. (2010) 提出了“三侧假设检验”（three-sided hypothesis testing），同时检验 superiority、equivalence 和 inferiority，与本文的 sign-and-magnitude test 最接近。Rainey (2014)、Lakens (2017a)、Hartman & Hidalgo (2018) 在社会科学中推广了等价性检验。
当前 frontier：Rice & Krakauer (2023) 和 Isager & Fitzgerald (2024) 继续推进多类决策方法。本文的位置是：将这些分散的提议统一到一个框架下，强调其相对于传统假设检验的对称性（任何类都可被 affirm）和更丰富的结论（可同时报告符号和大小），并提供 R 包和实际应用例子。

子线索聚类¶

等价性检验（Equivalence testing）：Schuirmann (1987), Berger & Hsu (1996), Rainey (2014), Lakens (2017a), Hartman & Hidalgo (2018), Wellek (2010)。核心是检验“效应是否足够小”，允许做出“可忽略”的结论。本文的 magnitude classification test 与之直接相关，并声称更优。
多类决策与分区原则（Multiple decision & partitioning principle）：Kaiser (1960), Jones & Tukey (2000), Finner & Strassburger (2002), Goeman et al. (2010), Rice & Krakauer (2023), Isager & Fitzgerald (2024)。核心是将参数空间划分为多个互斥的“类”，通过检验每个类的补集来控制族系误差。本文的 sign-and-magnitude test 属于此线索。
对假设检验实践的批判与替代：Gigerenzer et al. (2004), Gill (1999), McShane et al. (2019), Cumming (2014), Edlin & Love (2022)。这些工作批评了 p 值误用和“零假设仪式”，但本文与它们不同——本文不放弃频率学派误差控制，而是试图改进其结构。

这个方向在追问的核心问题¶

如何对称地处理多个竞争性假说？ 传统检验只允许“拒绝零假设”这一种 affirm 方式，无法 affirm 零假设本身。分类检验试图让所有类都可被 affirm。
如何定义并控制“错误分类”的概率？ 当有 K>2 个类时，错误分类的定义（把真值分到错误类）和误差控制（概率不超过 α）需要新的形式化。
如何选择最优的分类规则？ 当没有一致最优势检验时，用什么准则（如 maximin）来定义最优性？
如何将分类检验与多重比较、序贯分析等已有工具结合？ 本文讨论了多重比较（附录 C），但未涉及序贯。

⚠️ 作者的 framing¶

作者把缺口 frame 成：传统假设检验的“不对称性”（只能 affirm 研究假设，不能 affirm 零假设）是根本缺陷，导致研究者在开放问题中被迫人为指定一个零假设，且研究假设无法被证伪。分类检验通过对称处理所有类来解决这个问题。
被淡化或回避的竞争路线：
贝叶斯方法：全文未提及贝叶斯因子或后验概率。作者显然站在频率学派立场，但未讨论贝叶斯方法是否也能对称地处理多类决策。
估计文化（estimation culture）：Cumming (2014) 和 McShane et al. (2019) 主张放弃假设检验、专注于点估计和置信区间。作者在 2.1 节承认“定性结论不可避免”，但未深入讨论：如果研究者只报告置信区间，读者自己就能做定性判断，为什么还需要一个正式的检验框架？作者的回答是“误差控制”——但置信区间本身也提供误差控制（覆盖概率）。这里存在张力。
决策理论（decision theory）：本文的 maximin 准则本质上是决策理论的一个特例（零一损失下的 minimax 规则），但作者未将其与更一般的决策理论（如 Bayes 风险、minimax 风险）联系起来。这可能是故意的简化，但也意味着本文的理论深度有限。
什么明显该被引 / 该存在、却没出现在 intro 里？ 未见明显缺失。但一个值得注意的点是：Lehmann & Romano (2022) 的《Testing Statistical Hypotheses》被引用，但只用于 maximin 准则的定义，未用于更一般的决策理论讨论。

张力¶

未见明显对立引用。各被引工作之间在技术细节上有差异（如 TOST 的保守性 vs. Berger-Hsu 的改进），但在“多类决策是可行的”这一基本立场上一致。

二、最核心、最简单的例子 / 数学问题¶

第一步：符号、模型、可观测数据交代清楚¶

符号：
θ：标量 estimand（如平均处理效应 ATE），是我们要推断的未知参数。
θ̂：θ 的估计量（如样本均值、回归系数）。
σ：θ̂ 的标准误（假设已知或可一致估计）。
σ̂：σ 的一致估计量。
α：目标误差率（如 0.05），即错误分类概率的上界。
C₁, C₂, …, C_K：将参数空间 Θ 划分成的 K 个互斥的“类”，每个类对应一个定性结论（如“正”、“负”、“可忽略”）。
A₁, A₂, …, A_K：每个类对应的“接受域”（acceptance region）。若 θ̂ ∈ A_j，则判定 θ ∈ C_j。
δ：在 magnitude 和 sign-and-magnitude 分类中，定义“可忽略”区间的半宽度（如 δ = 0.15 个标准差）。
z_{1-α}：标准正态分布的 1-α 分位数。
r = δ/σ：精度比（precision ratio），衡量估计精度相对于类边界的大小。
模型：
假设 θ̂ 的渐近分布为 θ̂ ~ N(θ, σ²)，其中 σ 可能未知但可被 σ̂ 一致估计。这是社会科学中最常见的设定（如 OLS、MLE）。
参数空间 Θ = ℝ（整个实数轴）。
研究者事先（最好预注册）选择划分 {C_j} 和误差率 α。
可观测数据：
可观测：点估计 θ̂ 和标准误估计 σ̂。这是研究者实际拥有的全部信息。
想要但观测不到：真实参数 θ。我们只能通过 θ̂ 和 σ̂ 来推断 θ 属于哪个类。
关键假设：θ̂ 的渐近正态性。这是所有频率学派推断的基础。

第二步：讲最小内核——Sign Classification Test（符号分类检验）¶

这是整篇论文最简单的特例，也是理解全文核心思路的入口。

设定：我们只关心 θ 的符号。将参数空间划分为两个类： - C⁻ = (-∞, 0]（“负或零”） - C⁺ = (0, ∞)（“正”）

问题：给定 θ̂ 和 σ，我们能否做出一个误差控制的结论，说 θ 是正的、或 θ 是负的、或数据不足以做出判断？

传统做法：研究者通常只做一个单侧检验，比如 H₀: θ ≤ 0 vs. H₁: θ > 0。如果 θ̂ > z_{1-α}σ，则拒绝 H₀，做出“θ 为正”的结论（误差控制为 α）。但如果 θ̂ 不显著，则只能报告“无法拒绝 H₀”——无法区分“数据支持 θ 为负”和“数据不充分”这两种情况。

分类检验的做法：同时运行两个单侧检验，但不需要多重比较校正，因为它们是互斥的： - 检验 A：H₀: θ ≤ 0 vs. H₁: θ > 0。拒绝域：θ̂ > z_{1-α}σ。 - 检验 B：H₀: θ ≥ 0 vs. H₁: θ < 0。拒绝域：θ̂ < -z_{1-α}σ。

为什么不需要多重比较校正？ 因为两个零假设是互斥的（θ ≤ 0 和 θ ≥ 0 的交集只有 θ = 0），所以最多只有一个零假设为真。根据分区原则（Finner & Strassburger 2002），同时进行多个互斥检验不会增加族系误差率。

分类规则： - 若 θ̂ ≥ z_{1-α}σ，则判定 θ ∈ C⁺（“正”），错误分类概率 ≤ α。 - 若 θ̂ ≤ -z_{1-α}σ，则判定 θ ∈ C⁻（“负”），错误分类概率 ≤ α。 - 若 -z_{1-α}σ < θ̂ < z_{1-α}σ，则判定为“不确定”（inconclusive）。

误差控制验证：最坏情况发生在 θ = 0（C⁻ 的上边界）。此时，θ̂ ~ N(0, σ²)。错误分类为“正”的概率是 P(θ̂ ≥ z_{1-α}σ) = α。类似地，从 C⁺ 一侧看，θ → 0⁺ 时错误分类为“负”的概率也趋近于 α。因此，sup_θ P(错误分类) = α。

与置信区间的关系：这个规则等价于：若 1-2α 置信区间（即 θ̂ ± z_{1-α}σ）完全落在某个类中，则判定为该类。例如，若 90% CI 完全在正半轴，则判定为“正”。这是因为 1-2α CI 的宽度是 2z_{1-α}σ，而接受域边界正好在 ±z_{1-α}σ。

核心思路：通过对称地设置两个接受域，分类检验允许研究者做出“正”或“负”的误差控制结论，而不仅仅是“拒绝”或“不拒绝”。这比传统单侧检验提供了更丰富的信息：当 θ̂ 为负且显著时，可以明确说“θ 为负”，而不是只能说“无法拒绝 θ ≤ 0”。

三、这篇论文做了什么¶

三句话¶

研究了什么问题：提出“分类检验”框架，替代传统假设检验在社会科学中的使用，允许研究者从定量估计中做出多个（2 个或 3 个）定性结论，每个结论都有频率学派误差控制。
核心工具 / 方法：基于分区原则（partitioning principle）和最大化最小准则（maximin criterion），构造接受域使得错误分类概率不超过 α，并给出三种实用分类检验（sign、magnitude、sign-and-magnitude）的具体校准方法。
主要结论：分类检验在符号判断上等价于两个单侧检验（无需多重比较校正），在大小判断上优于 TOST（更少保守性且允许 affirm “substantial”），在符号+大小判断上优于 Goeman et al. (2010) 的固定阈值方法。通过一个真实媒体实验数据展示了其应用。

关键设定与假设¶

设定：标量 estimand θ，估计量 θ̂ 渐近正态 N(θ, σ²)，σ 可被 σ̂ 一致估计（Proposition 6 处理了 σ̂ 的渐近有效性）。
假设：
渐近正态性：这是全文所有理论结果的基础。作者在 Proposition 6 中证明，当 σ̂ 一致时，校准方法渐近有效。
类边界已知且固定：δ 由研究者事先选定（如 0.15 个标准差），不依赖于数据。这是等价性检验的常见做法。
对称性：在 magnitude 和 sign-and-magnitude 分类中，假设类边界关于 0 对称（可通过重新定义 estimand 实现）。
无多重比较：每个分类检验只针对一个 estimand。当有多个 estimand 时，附录 C 讨论了如何用分类 p 值进行多重比较校正。
相比已有文献的放宽或强化：
相比 TOST：本文的 magnitude 分类检验在“可忽略”结论上更优（不保守），且额外允许“substantial”结论。
相比 Goeman et al. (2010)：本文的 sign-and-magnitude 分类检验的阈值依赖于精度比 r = δ/σ，而非固定阈值，因此误差控制更精确（在 r 变化时仍保持 α）。
相比 Kaiser (1960) 和 Jones & Tukey (2000)：本文将其推广到更一般的多类情形，并给出了 maximin 最优性证明。

主要结果¶

定理 1（Proposition 3：Sign 分类检验的最优性）：在符号分类问题中，接受域 A⁻ = (-∞, -z_{1-α}σ] 和 A⁺ = [z_{1-α}σ, ∞) 是唯一满足 size ≤ α 且最大化 worst-case power 的规则。Worst-case power 等于 α。

定理 2（Proposition 4：Magnitude 分类检验的最优性）：在大小分类问题中，接受域 A₀ = (-b, b) 和 A± = (-∞, -a] ∪ [a, ∞) 由以下两个方程唯一确定： - P_{θ=δ}(θ̂ ∈ A±) = α（控制将边界上的“可忽略”误判为“substantial”的概率） - P_{θ=δ}(θ̂ ∈ A₀) = α（控制将边界上的“substantial”误判为“可忽略”的概率）该规则是唯一满足 size ≤ α 且最大化 worst-case power 的规则。Worst-case power 等于 α。

定理 3（Proposition 5：Sign-and-Magnitude 分类检验的最优性）：在符号+大小分类问题中，接受域 A⁺ = [δ + z_dir σ, ∞), A⁻ = (-∞, -δ - z_dir σ], A₀ = (-δ + z_eq σ, δ - z_eq σ) 由以下两个方程唯一确定： - P_{θ=δ}(θ̂ ∈ A⁺ ∪ A⁻) = α（控制将边界上的“可忽略”误判为任一“substantial”的概率） - P_{θ=δ}(θ̂ ∈ A₀ ∪ A⁻) = α（控制将边界上的“正且 substantial”误判为“可忽略”或“负且 substantial”的概率）该规则是唯一满足 size ≤ α 且最大化 worst-case power 的规则。Worst-case power 等于 α - P⁻(z_dir)。

定理 4（Proposition 6：渐近有效性）：当标准误估计量 σ̂ 一致时，用 σ̂ 代替 σ 进行校准，错误分类概率依概率收敛到 α。

关键量化结论： - 在符号分类中，sign test 比传统双侧检验多做出 2 个符号判断（因为阈值从 1.96 降到 1.645）。 - 在大小分类中，magnitude test 比 TOST 更优：当 σ ≥ δ/z_{1-α} 时，TOST 的拒绝域消失（无法做出“可忽略”结论），而 magnitude test 始终存在接受域。 - 在符号+大小分类中，sign-and-magnitude test 在精度比 r 较小时（即估计噪声大）显著优于固定阈值方法（如 Goeman et al. 2010）。

证明路线与技术技巧¶

整体路线（以 Proposition 5 为例）： 1. 对称性约化：利用问题在 θ → -θ 下的反射不变性，将接受域限制为对称形式：A⁺ 是上半直线，A⁻ 是下半直线，A₀ 是中心区间。 2. 单调似然比：利用正态分布的 MLR 性质，证明每个类内的正确分类概率在类边界处达到最小值（Proposition 1 和 2 的证明）。 3. 将 size 约束转化为边界不等式：在 θ = δ 处，错误分类概率由两个不等式控制：(A') P⁺ + P⁻ ≤ α 和 (B') P₀ + P⁻ ≤ α。 4. 最大化 worst-case power：W = min{inf P⁺, inf P₀} = min{P⁺, P₀}（因为 inf P⁻ = P⁺ 由对称性得到）。在 size 约束下，最大化 W 等价于让两个不等式都取等号，从而唯一确定 (z_dir, z_eq)。 5. 存在性与唯一性：通过连续函数的中值定理和严格单调性证明解的存在唯一。

关键跳跃点： - Proposition 1 的证明：需要证明错误分类概率在类边界处达到最大值。对于 sign-and-magnitude 分类，在 θ = δ 处，错误分类包括“正且 substantial”（上尾）和“负且 substantial”（下尾）。作者通过求导证明错误分类概率在 θ ∈ [0, δ) 上递增、在 θ ∈ [δ, ∞) 上递减，因此最大值在 θ = δ 处达到。这个单调性论证是全文的核心技术难点。 - Proposition 5 的 Step 3：需要证明当两个约束都取等号时，z_eq 的解落在 (-z_dir, r) 区间内。这依赖于 P₀ 在 [-z_dir, r] 上的严格单调性和端点值比较：在 z_eq = -z_dir 处，P₀ = 1 - α > P⁺；在 z_eq = r 处，P₀ = 0 < P⁺。由中值定理，存在唯一解。

技术技巧点名： - 分区原则（partitioning principle）：Finner & Strassburger (2002) 的核心思想，用于证明 sign test 不需要多重比较校正。 - 最大化最小准则（maximin criterion）：Lehmann & Romano (2022) 的决策理论工具，用于在没有 UMP 检验时定义最优性。 - 连续映射定理（continuous mapping theorem）：用于 Proposition 6 的渐近有效性证明。 - 隐函数定理（implicit function theorem）：隐含在 z_dir(r) 和 z_eq(r) 的连续性证明中（附录未显式写出，但依赖于此）。 - 正态 CDF 的单调性：贯穿全文的基本工具。

真实例子与应用¶

数据：Broockman & Kalla (2025) 的实地实验，研究让 Fox News 观众接触 CNN 的效果。共有 32 个预注册的 outcome indices（如“对 Fox 的态度”、“对民主党的偏好”等）。

方法应用： 1. 对每个 index，用弹性网回归选择协变量后进行 OLS 估计，得到 θ̂ 和 σ̂。 2. 设定 δ = 0.15 个标准差（Cohen 1988 的小效应阈值）。 3. 对每个 index 分别运行 sign test、sign-and-magnitude test，以及两者的组合。 4. 每个检验的误差率控制在 α = 0.05（每个 estimand 独立控制，未做多重比较校正）。

结果： - 传统双侧检验：16 个显著，16 个不显著。 - Sign test：18 个有符号结论（17 正 1 负），比双侧检验多 2 个。 - Sign-and-magnitude test：2 个“正且 substantial”，12 个“可忽略”，18 个“不确定”。 - 组合检验：29/32 个 index 有至少一个误差控制结论（91%），而传统检验只有 16/32（50%）。

这个例子想说明什么： 1. 更丰富的结论：分类检验比传统双侧检验提供了更多的定性信息（符号、大小、组合）。 2. 更高的“结论率”：91% vs. 50% 的 index 有至少一个误差控制结论。 3. 实际可行性：通过 R 包实现，对应用研究者友好。

🔎 结论是否比证明窄¶

Proposition 4 和 5 的证明假设 σ 已知。Proposition 6 证明当 σ̂ 一致时渐近有效，但有限样本下的误差控制未严格证明。作者在附录 E.2 中承认，对于 t 分布（σ 未知且用 t 统计量），Berger & Hsu (1996) 的方法有精确有限样本保证，而本文的 plug-in 方法依赖于正态近似。对于社会科学常见的样本量（数百到数千），差异可忽略——但这不是严格证明。
Proposition 5 的证明假设接受域是“半直线 + 中心区间”的形式。作者在证明开头声称“由单调似然比和对称性，最优规则必然具有这种形式”，但未给出严格证明（例如，是否可能存在非单调的接受域？）。这更像是一个合理的假设而非严格推导。
Section 6 关于组合多个分类检验的讨论：作者给出了组合规则（如两个半有界结论可组合成有界区间），但未证明这些规则在误差控制上的最优性。例如，组合 sign test 和 sign-and-magnitude test 得到 θ ∈ (0, δ) 的结论，其误差控制是否最优？作者承认“combining two tests is not generally the most powerful way to test whether θ is in that interval”。
多重比较校正（附录 C）：作者用模拟验证了 BH 和 Holm 程序在分类 p 值上的 FDR/FWER 控制，但未给出理论证明。模拟只覆盖了有限场景（K=30, 特定相关性结构）。

四、开放问题¶

有限样本下的精确误差控制：本文的校准方法依赖于渐近正态性。对于小样本或非正态分布，能否构造精确的有限样本分类检验？（扎根于 Proposition 6 的渐近性假设和附录 E.2 对 Berger-Hsu 方法的讨论。）
多于三个类的分类检验：当有 K > 3 个类时，maximin 准则不再唯一确定接受域（因为边界点处的误差约束可能无法同时满足）。作者在 Section 9 的脚注中承认“with more than three compact classes, the test design is no longer uniquely determined by the error rate at the class boundaries”。如何选择最优设计（如最大化期望功效下的 Bayes 风险）？这是开放问题。
分类检验与序贯分析（sequential analysis）的结合：如果研究者计划在数据收集过程中多次检查结果（如适应性试验），如何调整分类检验的误差控制？本文未涉及。
分类检验与贝叶斯方法的比较：本文完全站在频率学派立场。贝叶斯方法（如后验概率阈值）也能对称地处理多类决策。在什么条件下，频率学派的分类检验优于贝叶斯方法？反之亦然？这是一个值得探索的张力点（扎根于作者对贝叶斯方法的完全回避）。

Maintained by 陈星宇 · Homepage · Source on GitHub