Testing equivalence to binary generalized linear models with application to logistic regression¶

作者: Vladimir Ostrovski
主题: 数理统计 / 假设检验
相关性: 6/10
链接: https://arxiv.org/abs/2607.14724

一、领域脉络与小综述¶

这个方向是什么¶

本文研究的子方向是等价检验（equivalence test），其根本的统计问题是：如何设计一个假设检验，使得拒绝零假设可以被解释为“数据与模型充分一致”，从而为模型的可接受性提供统计证据。这与传统的拟合优度检验（goodness-of-fit test） 形成对比——后者零假设是“模型正确”，拒绝零假设意味着模型不充分。等价检验在生物等效性、工业质量控制等领域已有成熟应用，但在广义线性模型（GLM）的模型诊断中，本文作者声称是首次提出。

发展脉络（history）¶

奠基工作：拟合优度检验的传统。Hosmer 等人（1991, 1997, 2002）发展了一系列针对逻辑回归的拟合优度检验（如 Hosmer-Lemeshow 检验），这些检验被广泛用于评估模型是否与数据存在显著偏离。作者在引言中明确说：“However, the goodness of fit tests are tailored to establish lack of fit to observed data.” 即这些检验只能用来“证伪”模型，不能用来“证实”模型充分。
等价检验的早期发展。Ostrovski 本人（2017, 2018）将等价检验引入多项分布设定：2017 年提出了基于光滑全变差距离的多项分布等价检验，并证明了其渐近局部最优性；2018 年将其推广到多项分布族（如独立性模型）的等价检验。这两篇工作构成了本文的直接技术基础——本文的证明路线（Proposition 5 的 delta method 推导）直接引用了 Ostrovski [12, Theorem 1] 关于距离函数可微性的结果。
最小距离估计（MDE）的稳健性传统。Donoho 和 Liu（1988）从理论上证明了最小距离估计量的“自动稳健性”（automatic robustness）。Bondell（2005）将 Cramér-von Mises 距离用于逻辑回归的 MDE。Chi 和 Scott（2014）提出了基于欧氏距离的 L2E 损失函数用于逻辑回归，但作者指出“the L2E loss function is not a distance between observed data and a model”——即它不是一个直接衡量模型与数据差距的度量。
本文的位置：作者将等价检验框架与最小距离方法结合，针对分类协变量这一重要特例，构造了第一个针对二元 GLM 的等价检验。其核心创新在于：将“模型是否充分”这一科学问题转化为一个可检验的统计假设，并给出了渐近分布和 bootstrap 实现。

子线索聚类¶

拟合优度检验（传统路线）：Hosmer 等人（1991, 1997, 2002）——只能证伪，不能证实。
等价检验（Ostrovski 路线）：Ostrovski（2017, 2018）——针对多项分布，本文将其推广到二元 GLM。
最小距离估计（MDE）：Donoho & Liu（1988）——理论稳健性；Bondell（2005）——Cramér-von Mises 距离用于逻辑回归；Chi & Scott（2014）——L2E 损失函数。

这个方向在追问的核心问题¶

如何定义“模型充分”？等价检验需要设定一个容忍参数 ε，但 ε 的选择缺乏客观标准，通常需要结合领域知识或功效分析。
如何构造检验统计量并推导其渐近分布？本文用最小欧氏距离，但其他距离（如 Kullback-Leibler 散度、Hellinger 距离）是否可行？其渐近性质如何？
如何处理连续协变量？本文明确限制在分类协变量，这是当前方法的已知瓶颈。
如何控制第一类错误？本文的模拟显示 bootstrap-t 检验不能控制第一类错误，而渐近 BV 检验表现较好，但这一结论是否具有普遍性？

⚠️ 作者的 framing（必须明确标注成“这是作者的说法”）¶

作者把缺口 frame 成：“To our best knowledge, there are not any equivalence tests for the binary GLMs.” 因此本文是“显然的下一步”——将等价检验从多项分布推广到二元 GLM。
被淡化或回避的竞争路线：作者没有讨论贝叶斯方法（如后验预测检验）或交叉验证作为模型充分性的替代证据。这些方法不依赖频率学派假设检验框架，但作者完全未提及。
什么明显该被引 / 该存在、却没出现在 intro 里：作者没有引用任何关于高维 GLM 的拟合优度检验的工作（如在高维逻辑回归中检验模型是否充分），也没有引用非参数模型检验（如检验一个 GLM 是否足以近似一个非参数回归函数）的相关文献。这些方向与本文的等价检验框架有潜在联系，但被完全忽略。

张力¶

未见明显对立引用。被引工作之间没有在略不同条件下得出相反结论的情况——它们分属不同子线索（拟合优度 vs. 等价检验 vs. MDE），彼此不直接冲突。

二、最核心、最简单的例子 / 数学问题¶

第一步：把符号、模型、可观测数据交代清楚¶

符号： - Y：二元响应变量，Y ∈ {0, 1}。 - X：协变量向量，X ∈ ℝᵈ。本文假设 X 的所有分量都是分类变量（categorical），因此 X 的取值集合 C 是有限集。 - C：X 所有可能取值的集合，|C| = K（有限）。 - x：C 中的一个具体元素，代表一个协变量模式（如“年龄=25-29，教育=高，想要孩子=是”）。 - n_x：在 X = x 条件下的观测数。 - n：总样本量，n = Σ_{x∈C} n_x。 - p_x：P(Y=1 | X=x)，即给定协变量模式 x 时 Y=1 的条件概率。这是未知的、我们想要建模的量。 - p：向量 (p_x){x∈C} ∈ [0,1]^K。 - p_{n,x}：观测到的计数频率，即 p{n,x} = (在 X=x 的观测中 Y=1 的个数) / n_x。这是 p_x 的可观测的估计量。 - p_n：向量 (p_{n,x}){x∈C}。 - β：GLM 的参数向量，β ∈ ℝᵈ。 - q_x(β)：GLM 给出的条件概率，q_x(β) = g⁻¹(xᵀβ)，其中 g 是链接函数（如 logit）。 - q(β)：向量 (q_x(β)){x∈C}。 - M：二元 GLM 族，M = { q(β) : β ∈ ℝᵈ }。 - d(p, M)：p 到 M 的最小欧氏距离，d(p, M) = inf_{β∈ℝᵈ} l₂(p, q(β))，其中 l₂ 是欧氏距离。 - ε：容忍参数，ε > 0。 - T(p_n)：检验统计量，T(p_n) = √n [ d²(p_n, M) - ε² ]。

模型： - 数据生成机制：对于每个协变量模式 x ∈ C，Y | X=x 服从 Bernoulli(p_x)，且不同 x 之间的观测独立。 - GLM 假设：存在某个 β₀ 使得 p_x ≈ q_x(β₀) 对所有 x 成立。等价检验的目标是检验这个近似是否“足够好”。

可观测数据： - 研究者能观测到的是：对于每个 x ∈ C，有 n_x 个观测，以及其中 Y=1 的个数（从而得到 p_{n,x}）。 - 不可观测的是：真实的 p_x。我们只能通过 p_{n,x} 来估计它。 - 关键识别假设：没有未观测混杂——即给定 X，Y 的条件分布完全由 p_x 决定。这在分类协变量、大样本设定下是合理的。

第二步：讲最小内核¶

最简特例：假设只有一个二元协变量 X ∈ {0, 1}，且我们想检验逻辑回归模型（即 g 是 logit 函数）。此时： - C = {0, 1}，K = 2。 - 参数 β = (β₀, β₁)ᵀ ∈ ℝ²。 - q₀(β) = 1 / (1 + exp(-β₀))，q₁(β) = 1 / (1 + exp(-β₀ - β₁))。 - 可观测数据：n₀, n₁, p_{n,0}, p_{n,1}。 - 真实但未知的：p₀, p₁。

在这个特例下，本文的核心问题退化成：

给定观测到的 (p_{n,0}, p_{n,1})，我们能否拒绝“真实条件概率向量 (p₀, p₁) 到逻辑回归族 M 的最小欧氏距离 ≥ ε”这一零假设？

为什么这个特例能体现核心思路： 1. 距离计算：d²(p, M) = min_{β₀, β₁} [ (p₀ - q₀(β))² + (p₁ - q₁(β))² ]。这是一个二维优化问题，可以数值求解。 2. 检验统计量：T(p_n) = √n [ d²(p_n, M) - ε² ]。如果 d²(p_n, M) 显著小于 ε²（即 T(p_n) 显著为负），则拒绝 H₀。 3. 渐近分布：在 H₀ 边界上（d(p₀, M) = ε），Proposition 5 告诉我们 T(p_n) 渐近服从均值为零、方差为 σ²(p₀) 的正态分布，其中 σ²(p₀) = 4 Σ_{x∈{0,1}} (1/w_x) p_{0,x}(1-p_{0,x}) (p_{0,x} - q_x(β₀))²，w_x = n_x/n。 4. 直觉：当 p_n 接近 M 时，d²(p_n, M) 很小，T(p_n) 为负且绝对值大，从而拒绝 H₀。这等价于说“模型与数据足够接近”。

这个特例揭示了论文的一般性：论文的一般情形只是将 K 从 2 推广到任意有限值，将 β 的维度从 2 推广到 d，但核心数学结构——最小欧氏距离 + delta method 推导渐近分布——完全不变。

三、这篇论文做了什么¶

三句话¶

研究了什么问题：针对所有协变量均为分类变量的二元 GLM，提出了第一个等价检验，用于验证模型是否与观测数据“充分一致”。
核心工具 / 方法：基于最小欧氏距离构造检验统计量，利用 delta method 推导其渐近正态分布，并提供了渐近近似和 bootstrap-t 两种临界值计算方法。
主要结论：给出了检验统计量的渐近分布（Proposition 5）和方差公式（Corollary 7）；模拟研究表明，基于 bootstrap 估计方差（asymptotic BV test）的检验在控制第一类错误方面表现最好，而 bootstrap-t 检验则过于激进。

关键设定与假设¶

设定：Y ∈ {0,1}，X 为分类协变量（取值集合 C 有限），n_x > 0 对所有 x ∈ C 成立。
假设 1（Proposition 5 的核心）：存在一个连续函数 h: p ↦ β 在 p₀ 的一个开邻域 U 上，使得 d(p, M) = l₂(p, q(h(p))) 对所有 p ∈ U 成立。这个假设保证了最小距离估计量的局部唯一性和连续性，是 delta method 可用的前提。作者在 Remark 6 中承认这个假设“essential for the numerical calculation ... and also for the differentiability”，并建议通过使用不同初始点进行优化来数值验证。
假设 2：n_x / n → w_x ∈ (0,1) 对所有 x ∈ C 成立。这是标准的大样本假设，保证每个协变量模式都有非退化的渐近贡献。
相比已有文献：相比 Ostrovski（2017, 2018）的多项分布等价检验，本文的模型族 M 是 GLM 参数化的（β ∈ ℝᵈ），而不是一个简单的多项分布族（如独立性模型）。这导致距离函数 d(p, M) 的计算需要求解一个非线性优化问题，而不仅仅是闭式解。

主要结果¶

Proposition 5：在 H₀ 边界上（d(p₀, M) = ε），检验统计量 T(p_n) 弱收敛到 Σ_{x∈C} (2/√w_x) (p_{0,x} - q_x(β₀)) Z_x，其中 Z_x 独立同分布，均值为零，方差为 p_{0,x}(1-p_{0,x})。直觉：这是 delta method 的直接应用——d²(p, M) 在 p₀ 处的梯度是 (2(p_{0,x} - q_x(β₀))){x∈C}，而 √n(p_n - p₀) 弱收敛到 (Z_x/√w_x){x∈C}。
Corollary 7：渐近方差 σ²(p₀) = 4 Σ_{x∈C} (1/w_x) p_{0,x}(1-p_{0,x}) (p_{0,x} - q_x(β₀))²。技术难点：方差依赖于未知的 p₀ 和 β₀，但可以通过 p_n 和 β_n 一致估计（连续映射定理）。
模拟结果（Table 3）：在 100 个随机生成的 H₀ 边界点上，渐近 BV 检验的平均检验功效（即第一类错误率）低于名义水平 0.05（Fiji: 0.013, Titanic: 0.028），而 bootstrap-t 检验则显著高于名义水平（Fiji: 0.081, Titanic: 0.061）。结论：渐近 BV 检验是保守的，推荐使用。

证明路线与技术技巧¶

整体路线（Proposition 5 的证明）： 1. Step 1：中心极限定理。对每个 x ∈ C，√n_x (p_{n,x} - p_{0,x}) → Z_x，其中 Z_x ~ N(0, p_{0,x}(1-p_{0,x}))。 2. Step 2：联合弱收敛。利用 Slutzky 引理，将 √n(p_n - p₀) 表示为 (√(n/n_x) Z_x){x∈C}，并证明其弱收敛到 (Z_x/√w_x){x∈C}。 3. Step 3：delta method。函数 φ(p) = d²(p, M) 在 p₀ 处可微，其梯度为 (2(p_{0,x} - q_x(β₀)))_{x∈C}（引用 Ostrovski [12, Theorem 1]）。由 delta method，√n [ d²(p_n, M) - ε² ] 弱收敛到梯度与极限向量的内积。

关键跳跃点： - 距离函数的可微性：这是整个证明的瓶颈。d²(p, M) 是 inf 运算的结果，其可微性依赖于最小距离估计量 β(p) 的连续性和唯一性。作者通过假设存在连续函数 h(p) 来绕过这个困难，但并未给出保证 h(p) 存在的充分条件（如 GLM 族的凸性、参数可识别性等）。这是一个未完全解决的数学问题——在一般 GLM 下，d²(p, M) 可能不是处处可微的。

技术技巧点名： - delta method：核心工具，用于从 √n(p_n - p₀) 的渐近分布推导 T(p_n) 的渐近分布。 - Slutzky 引理：用于处理 n/n_x 的随机性。 - 连续映射定理：用于证明 σ²(p_n) 是 σ²(p₀) 的一致估计。 - bootstrap-t 方法：用于改进有限样本性能，引用 van der Vaart [14, Chapter 23]。

真实例子与应用¶

数据：两个真实数据集——Fiji 生育率调查（1607 名女性，4 个分类协变量）和 Titanic 幸存数据（2201 名乘客，2 个分类协变量）。
如何应用：将协变量 one-hot 编码，用 MLE 和 MDE 分别估计逻辑回归参数，计算最小欧氏距离 d(p_n, M)，然后应用等价检验。
结果：
对于 Fiji 数据，MLE 和 MDE 给出的距离相近（0.32 vs. 0.30），但所有检验均无法拒绝 H₀（ε_min > ε），说明逻辑回归模型不充分。
对于 Titanic 数据，MDE 给出的距离（0.15）远小于 MLE（0.26），但同样无法拒绝 H₀。
这个例子想说明什么：① MDE 比 MLE 更稳健（Titanic 数据中 MDE 的标准差更小）；② 等价检验可以给出“模型不充分”的统计证据，而传统的拟合优度检验只能给出“模型不充分”的证据（即拒绝模型正确），两者互补。

🔎 结论是否比证明窄¶

窄结论 1：Proposition 5 的证明依赖于“存在连续函数 h(p)”这一假设，但作者在 Remark 6 中承认“This assumption can be validated numerically by using different starting points for the optimization”——即没有理论保证，只有数值验证。这意味着渐近分布的理论有效性依赖于一个未证明的假设。
窄结论 2：作者在 Remark 8 中声称“It can be shown that the asymptotic test is locally asymptotically most powerful”，但引用的是自己 2017 年的论文（针对多项分布），而非本文的直接证明。本文并未给出任何关于检验最优性的理论结果。
泛泛 claim：引言中说“The test is developed for the important special case where all covariates are categorical”，但并未讨论如果协变量是连续的，方法是否可推广、推广的困难在哪里。这实际上是一个未解决的开放问题，但作者没有明确标注为 future work。

四、开放问题（点到为止，扎根具体语句）¶

连续协变量的推广：本文方法严格限制在分类协变量。如何将等价检验推广到连续协变量？这需要处理非参数回归或核方法，可能涉及更复杂的渐近理论。扎根于：引言中“We restrict ourselves to the case where all covariates are categorical”以及 Remark 4 中关于多项分布推广的讨论——但未提及连续情形。
距离函数的可微性条件：Proposition 5 的核心假设（存在连续函数 h(p)）缺乏理论保证。什么条件下这个假设成立？对于一般的 GLM（如 probit、complementary log-log），d²(p, M) 是否总是可微的？扎根于：Remark 6 中“This assumption can be validated numerically”——暗示理论缺口。
检验的最优性：作者声称检验是“locally asymptotically most powerful”，但引用的是 2017 年论文而非本文。本文的检验在什么意义下是最优的？能否推导出半参数效率界？扎根于：Remark 8 的引用。
容忍参数 ε 的选择：本文通过功效分析（Table 2）来选择 ε，但这种方法依赖于“模型为真”的假设。是否存在更客观的 ε 选择准则（如基于最小可检测效应大小）？扎根于：Section 3.2 中“An appropriate value of the tolerance parameter ε can be found based on the test power under the assumption that the logistic regression model is true”——这是一个循环依赖。

Maintained by 陈星宇 · Homepage · Source on GitHub