跳转至

A directional Hosmer-Lemeshow goodness-of-fit test for sparse logistic regression

作者: Ebrahim Khaled Ebrahim, Ahmed El-Kotory
主题: 数理统计 / 假设检验
相关性: 6/10
链接: https://arxiv.org/abs/2607.15454

一、领域脉络与小综述

这个方向是什么

这个子方向解决的根本问题是：在连续协变量导致数据稀疏（每个观测几乎都有唯一的协变量模式）的二元逻辑回归中，如何可靠地评估模型的拟合优度（goodness-of-fit）。经典 Pearson 和 deviance 检验在稀疏数据下失效（其 χ² 参考分布不再成立），因此实践者依赖基于分组的检验（partition-based tests），其中最著名的是 Hosmer-Lemeshow (HL) 检验。该方向的成熟度较高，已有大量方法，但关于不同方法在何种偏离下有效、以及如何提供比“拒绝/不拒绝”更丰富信息的理解仍不完整。

发展脉络

  1. 奠基工作：Hosmer-Lemeshow 检验与分组哲学

    • Hosmer & Lemeshow (1980) [7]：提出了经典的 HL 检验，将观测按预测概率排序后分成 G 组（通常 G=10），计算 Pearson 统计量并参考 χ²_{G-2} 分布。这是该领域的标准工具，但作者指出其“分组是主观的，且对链接函数误设不敏感”。
    • Tsiatis (1980) [22]：提出了另一种分组哲学——在协变量空间（covariate space）而非预测概率空间进行分组，通过得分统计量检验分组指示变量是否改善拟合。这为检测协变量空间结构（如遗漏交互项）提供了可能，但代价是“经验上尺寸控制较松散”。

  2. 主要进展：标准化 Pearson 统计量与分组策略的多样化

    • McCullagh (1985) [13]：推导了稀疏极限下 Pearson 统计量的正确条件矩，为后续标准化修正奠定了理论基础。
    • Farrington (1996) [4] 与 Osius & Rojek (1992) [16]：引入了标准化修正。Farrington 提出了一个一阶修正统计量，通过减去一个与估计系数局部正交的项来校正；Osius & Rojek 则给出了渐近等价的标准化正态近似。两者共享一个核心思想：对 Pearson 统计量进行基于 (1-2π̂) 的符号化调整。但 Farrington 的修正对单个二元观测是退化的（每个协变量模式只有一个试验）。
    • Pigeon & Heyse (1999) [17]：在 HL 分组基础上使用方差修正的统计量（其 J² 形式已知偏保守）。
    • Pulkstenis & Robinson (2002) [18]：提出了混合分组方案，结合了预测概率和协变量空间。
    • Xie et al. (2008) [25]：通过聚类协变量来形成分组，旨在提高对协变量空间偏离的检测能力。

  3. 当前 Frontier：修正与细化 HL 检验

    • Surjanovic & Loughin (2024) [21]：针对重复伯努利试验场景修正 HL 检验。
    • Henzi et al. (2024) [5]：提出了基于 e-value 的“安全”HL 检验，改变了推断框架。
    • Nattino, Pennell & Lemeshow (2020) [15]：针对大样本下 HL 检验过度拒绝的问题提出了修正。
    • 本文 (Ebrahim & El-Kotory, 2026)：定位为 HL 检验的一个方向性修正，将 Farrington/Osius-Rojek 的标准化思想与 HL 的分组方式结合，旨在专门针对非对称链接函数误设提供更灵敏的检测，同时保持 HL 的实用性和尺寸控制。

子线索聚类

  1. 分组策略：分为概率分组（HL, Pigeon-Heyse, EF）和协变量空间分组（Tsiatis, Xie）以及混合分组（Pulkstenis-Robinson, BAGofT）。核心张力在于：概率分组简单、尺寸控制好，但对协变量空间结构（如交互项）不敏感；协变量空间分组能检测此类结构，但尺寸控制较差。
  2. 统计量标准化：分为朴素 Pearson 统计量（HL 的 Ĉ_G）和标准化修正统计量（Farrington, Osius-Rojek, EF）。核心张力在于：标准化修正能提高对特定类型偏离（如非对称链接）的敏感性，但可能在其他偏离下表现更差，且其修正项在稀疏数据下可能退化。
  3. 检验类型：分为全局性检验（所有分组检验）和定向检验（如 Stukel's test [20]）。定向检验针对预设的备择假设（如链接函数误设）设计，通常更强大，但需要重新拟合模型，且对未预期的偏离不敏感。

这个方向在追问的核心问题

  1. 如何设计一个在多种偏离下都稳健且强大的检验？ 当前主流方法（如 HL）在对称偏离（如遗漏二次项）和协变量空间偏离（如交互项）下表现尚可，但在非对称链接误设下较弱。没有一种检验在所有场景下最优。
  2. 如何让检验提供比“拒绝/不拒绝”更丰富的信息？ 一个检验拒绝模型后，实践者需要知道偏离的性质（是链接函数问题、遗漏非线性项还是交互项？），以便采取正确的补救措施。HL 检验无法提供此类信息。
  3. 如何在稀疏数据下保持检验的尺寸控制？ 这是所有分组检验的核心挑战。协变量空间分组检验（Tsiatis, Xie）的尺寸控制通常不如概率分组检验（HL, EF）严格。
  4. 修正项带来的增益是通用的还是特定的？ 这是本文的核心问题。作者通过一个“对齐泛函” A(δ) 来刻画修正项的效果，明确指出其增益是特定的（仅对非对称链接误设有效），且在某些场景下（如遗漏二次项）会损失功效。

⚠️ 作者的 framing

  • 作者的缺口 frame：作者将缺口 frame 成“现有分组检验（尤其是 HL）对非对称链接误设不敏感，且无法提供关于偏离性质的诊断信息”。他们将自己的检验定位为 HL 的“显然的下一步”：一个定向修正，它（1）专门针对非对称链接误设，且（2）通过每组的贡献 {c_g} 提供一个方向性读图，帮助定位偏离的性质。作者强调其检验是“refit-free”（无需重新拟合模型），与需要重新拟合的定向得分检验（如 Stukel's test）形成对比。
  • 被淡化或回避的竞争路线：
    • 定向得分检验（如 Stukel's test）：作者明确将其定位为“互补而非竞争”，并指出 EF 的优势在于“refit-free”和“全局性”。但 Stukel's test 在检测非对称链接误设时远更强大（Table 7 显示，在 n=1000 时，Stukel 功效 0.84 vs EF 0.49）。作者淡化了这一巨大的功效差距，转而强调 EF 在“粗糙”偏离（如高频正弦波）上的优势，以及其无需重新拟合的便利性。
    • 协变量空间分组检验（Tsiatis, Xie）：作者承认它们在检测交互项等协变量空间结构上的优势，但指出其尺寸控制较差，从而在比较时将其置于不利地位。
  • 什么明显该被引 / 该存在、却没出现在 intro 里？
    • Nattino, Pennell & Lemeshow (2020) [15]：这篇论文专门针对 HL 检验在大样本下的过度拒绝问题提出了修正。本文的 EF 检验在 n=5000 时仍能控制尺寸（Table 2），但作者并未在 intro 中讨论其与 Nattino et al. 修正的关系或对比。这是一个值得研究者去查的潜在 gap：EF 的修正是否也能缓解大样本下的过度拒绝问题？或者两者是正交的？
    • BAGofT (Zhang et al., 2019) [26]：这是一个自适应的二元拟合优度检验，结合了分组和机器学习思想。作者在 intro 中仅将其列为“混合方案”之一，未深入讨论。这可能是一个更现代、更强大的竞争者，值得研究者去查其与 EF 的对比。

张力

未见明显对立引用。所有被引工作基本在同一个框架下（分组检验）进行改进，彼此之间是互补或竞争关系，而非根本性矛盾。唯一的张力在于“概率分组”与“协变量空间分组”之间的根本性权衡，这在文献中是共识而非对立。

二、最核心、最简单的例子 / 数学问题

第一步：把符号、模型、可观测数据交代清楚

  • 符号：

    • i：观测索引，i = 1, ..., n。
    • y_i：二元结果变量，y_i ∈ {0, 1}。这是可观测的。
    • x_i：协变量向量。这是可观测的。
    • π_i = P(y_i=1 | x_i)：真实的成功概率。这是潜在/不可观测的，是我们想要估计的对象。
    • π̂_i：拟合的逻辑回归模型给出的预测概率。这是可计算的。
    • g：分组索引，g = 1, ..., G。G 是分组数（通常 G=10）。
    • n_g：第 g 组的样本量。
    • o_g = Σ_{i∈g} y_i：第 g 组中观测到的事件总数。这是可计算的。
    • e_g = n_g * π̄_g：第 g 组中期望的事件总数，其中 π̄g = (1/n_g) Σ{i∈g} π̂_i 是组内平均预测概率。这是可计算的。
    • V_g = n_g * π̄_g * (1 - π̄_g)：第 g 组中事件数的方差估计。这是可计算的。
    • δ_g = E(o_g - e_g)：第 g 组残差的期望偏差（在备择假设下非零）。这是理论量。
    • Ĉ_G = Σ_g (o_g - e_g)² / V_g：Hosmer-Lemeshow 统计量。这是可计算的。
    • C = Σ_g (1 - 2π̄_g) * (o_g - e_g) / V_g：方向性修正项。这是可计算的。
    • T_EF = Ĉ_G - C：Ebrahim-Farrington 统计量。这是可计算的。
    • A(δ) = Σ_g (1 - 2π̄_g) * δ_g / V_g：对齐泛函。这是理论量，用于刻画修正项的效果。

  • 模型：

    • 数据生成机制：y_i ~ Bernoulli(π_i)，其中 π_i = g(η_i)，g(·) 是链接函数（如 logit, probit, cloglog），η_i = β₀ + β₁x_i 是线性预测器。
    • 拟合模型：logit(π̂_i) = β̂₀ + β̂₁x_i。即，分析者假设链接函数是 logit（对称的），并用最大似然估计参数。
    • 要估的对象：模型是否“拟合良好”，即拟合的 logit 模型是否与真实数据生成机制一致。

  • 可观测数据：

    • 可观测：{(y_i, x_i)}，即每个观测的二元结果和协变量。
    • 潜在/不可观测：真实的链接函数 g(·) 和真实的参数 β。我们只能通过拟合的 logit 模型来推断。

第二步：讲最小内核

本文的核心思路可以用一个最简特例来理解：只有一个连续协变量 x，且真实链接函数是互补双对数（cloglog），但分析者错误地拟合了 logit 链接。

  • 最简特例设定：

    • 真实模型：P(y=1|x) = 1 - exp(-exp(η))，其中 η = β₀ + β₁x。
    • 拟合模型：logit(P(y=1|x)) = β̂₀ + β̂₁x。
    • 数据：n 个观测，x 在 [-3, 3] 上均匀分布。
    • 分组：按预测概率 π̂_i 排序，分成 G=10 个等大小的组。

  • 核心思路：

    1. HL 检验做了什么：HL 统计量 Ĉ_G 是各组残差平方的加权和。它只关心残差的大小，不关心残差的方向（是正还是负）。在 cloglog 链接误设下，模型会在低风险区（π̂ 小）系统性低估风险（o_g > e_g，残差为正），在高风险区（π̂ 大）系统性高估风险（o_g < e_g，残差为负）。HL 统计量将这两端的正负残差平方后相加，抵消了方向信息，导致功效不高。

    2. EF 检验的修正做了什么：EF 统计量 T_EF = Ĉ_G - C。修正项 C = Σ_g (1 - 2π̄_g) * (o_g - e_g) / V_g。

      • 权重 (1 - 2π̄_g)：这是一个符号函数。当 π̄_g < 0.5（低风险组）时，(1 - 2π̄_g) > 0；当 π̄_g > 0.5（高风险组）时，(1 - 2π̄_g) < 0。
      • 作用机制：在 cloglog 误设下，低风险组的残差 (o_g - e_g) > 0，高风险组的残差 (o_g - e_g) < 0。因此，修正项 C 中的每一项 (1 - 2π̄_g) * (o_g - e_g) 在低风险组是正数，在高风险组也是正数（因为负负得正）。所以，C 是一个正数。
      • 最终效果：T_EF = Ĉ_G - C。由于 C > 0，T_EF 比 Ĉ_G 更小。但等等，这难道不是让统计量变小，从而更难拒绝吗？关键在于，在备择假设下，C 的期望 E(C) = A(δ) 是负的（因为 δ_g 的符号与 (1-2π̄_g) 的符号相反，导致 A(δ) < 0）。所以，E(T_EF) = E(Ĉ_G) - E(C) = E(Ĉ_G) - A(δ)。由于 A(δ) < 0，减去一个负数等于加上一个正数，因此 E(T_EF) > E(Ĉ_G)。这意味着 EF 统计量的非中心化参数更大，从而功效更高。

  • 一句话总结：EF 检验通过一个符号权重 (1-2π̄_g) 将残差的方向信息重新注入到统计量中，使得当残差呈现系统性方向模式（如非对称链接误设）时，统计量的期望值增大，从而提高了检测功效。当残差模式对称时（如遗漏二次项），该权重会抵消方向信息，修正项 C 的期望为零，EF 与 HL 等价。

三、这篇论文做了什么

三句话

  1. 研究了什么问题：针对稀疏数据下二元逻辑回归的拟合优度检验，提出并系统评估了一个方向性修正的 Hosmer-Lemeshow 检验（EF 检验），该检验专门针对非对称链接函数误设。
  2. 核心工具/方法：在 HL 统计量 Ĉ_G 的基础上，减去一个由 (1-2π̄g) 加权的方向性修正项 C，得到 T_EF = Ĉ_G - C，并参考 χ²{G-2} 分布。通过一个“对齐泛函” A(δ) 来理论刻画修正项的效果。
  3. 主要结论：EF 检验在非对称链接误设（尤其是互补双对数链接）下功效显著优于 HL，但在对称偏离（如遗漏二次项）下功效略低于 HL，在协变量空间偏离（如交互项）下与 HL 持平。其增益是有限且可预测的，由 A(δ) 决定，且随样本量增大而消失。

关键设定与假设

  • 设定：
    • 数据：二元结果 y_i，连续协变量 x_i（导致数据稀疏）。
    • 拟合模型：标准的主效应逻辑回归模型 logit(π) = β₀ + β₁x + β₂d（d 是二元协变量）。
    • 分组：采用 HL 的等分位数分组（默认 G=10），按预测概率 π̂_i 排序。
    • 参考分布：T_EF 参考 χ²_{G-2} 分布，依据 Moore-Spruill 论证。
  • 假设：
    • 局部备择假设：为了理论分析，假设真实模型与拟合模型之间的偏离是 O(n^{-1/2}) 量级的。这使得组残差 δ_g 有界，且方差 V_g 保持一阶不变。
    • 分组有效性：假设分组是“模型基”的（model-based），即分组依赖于拟合的模型参数，这符合 Moore-Spruill 论证的条件。
    • 与已有文献的对比：相比 HL，EF 增加了对非对称链接的敏感性，但代价是在某些对称偏离下功效略低。相比 Farrington/Osius-Rojek 的标准化，EF 通过 HL 式的分组使其在稀疏数据下定义良好，并提供了 χ² 参考分布和方向性读图。

主要结果

  • 定理 1（对齐泛函）：在局部备择假设下，EF 统计量的期望与 HL 统计量的期望之差为 -A(δ)。如果残差偏差模式 δ_g 关于 π̄_g = 0.5 对称，则 A(δ)=0，两个检验一阶等价。当 A(δ) < 0 时，EF 的非中心化参数更大，功效更高。

    • 直觉：A(δ) 衡量了残差模式与修正权重 (1-2π̄_g) 的“对齐”程度。只有当残差模式具有方向性（非对称）时，修正才起作用。
    • 必要条件：需要局部备择假设和对称的拟合风险分布（对于 A(δ)=0 的结论）。
    • 解决的技术难点：将 Farrington/Osius-Rojek 的标准化思想与 HL 的分组框架结合，并给出一个简洁、可解释的泛函来预测其效果。

  • 模拟结果（核心量化结论）：

    • 尺寸控制：在 24 种 null 配置下，EF 和 HL 的尺寸无差异，且都接近名义水平 5%（Table 2）。修正项不损害尺寸控制。
    • 非对称链接误设（EF 的明确优势）：在 Aranda-Ordaz 链接族下，EF 的功效始终高于 HL。在 α=0.1（接近 cloglog）且 n=1000 时，EF 功效 33.4% vs HL 27.6%，优势约 5.8 个百分点（Table 4）。该优势随 n 增大而消失（n=5000 时两者均接近 100%）。
    • 对称偏离（EF 的劣势）：在遗漏二次项时，EF 的功效低于 HL。在 n=1000，系数 0.03 时，EF 功效 65.4% vs HL 75.1%（Table 3）。这与 A(δ) > 0 的预测一致。
    • 协变量空间偏离（EF 持平）：在遗漏交互项时，EF 和 HL 功效无显著差异（Table 3）。
    • 与更广泛分组检验家族的对比：在 n=1000 时，EF 在 cloglog 链接下是所有尺寸控制良好的分组检验中功效最高的（49.7% vs HL 41.1% vs HL_eqw 48.3%）（Table 5）。但在遗漏二次项和交互项上，EF 并非最优。

证明路线与技术技巧

  • 整体路线：

    1. 定义统计量：定义 T_EF = Ĉ_G - C，其中 C = Σ_g (1-2π̄_g)(o_g - e_g)/V_g。
    2. 计算期望：在局部备择假设下，计算 E(C) = A(δ) = Σ_g (1-2π̄_g)δ_g/V_g。因此 E(T_EF) - E(Ĉ_G) = -A(δ)。
    3. 分析权重性质：权重 w_g = 1-2π̄_g 是 π̄_g 的奇函数（关于 0.5 对称）。将残差偏差模式 δ_g/V_g 分解为偶函数和奇函数部分。由于奇函数与奇函数的乘积是偶函数，在求和时不会抵消；而奇函数与偶函数的乘积是奇函数，在对称的 π̄_g 分布下会抵消。
    4. 得出结论：A(δ) 只依赖于 δ_g 的奇函数部分（方向性部分）。如果 δ_g 是偶函数（对称偏离），则 A(δ)=0，EF 与 HL 等价。如果 δ_g 有奇函数部分（非对称偏离），则 A(δ) ≠ 0，其符号决定 EF 是增益还是损失。
    5. 验证参考分布：在 null 下，C 是 op(1)（因为其方差 O(G²/n) → 0），因此 T_EF 与 Ĉ_G 有相同的 χ²_{G-2} 极限分布。

  • 关键跳跃点：

    • 将 Farrington 的修正与 HL 分组结合：Farrington 的修正对单个二元观测是退化的。作者的关键跳跃是认识到，通过 HL 式的等大小分组，可以强制每组试验次数大于 1，从而使修正项 C 定义良好。这个跳跃并非数学上的突破，而是一个巧妙的工程化设计。
    • 引入对齐泛函 A(δ)：作者没有停留在“EF 对非对称链接更有效”的定性描述上，而是构造了一个简洁的泛函 A(δ) 来定量预测其效果。这个泛函将复杂的残差模式压缩成一个标量，使得理论分析清晰、可验证。这是本文的核心理论贡献。

  • 技术技巧点名：

    • 局部备择假设：用于理论分析，使得期望和方差的计算在一阶近似下成立。
    • 奇偶函数分解：用于分析权重 w_g 和残差模式 δ_g 的相互作用，是证明 A(δ) 只捕捉方向性信息的关键技巧。
    • Moore-Spruill 论证：用于证明在模型基分组下，HL 统计量（以及 EF 统计量）的极限分布是 χ²_{G-2}。
    • Slutsky's theorem：用于证明在 null 下，减去一个 op(1) 的修正项 C 不改变极限分布。

真实例子与应用

  • 数据：低出生体重（LBW）队列研究数据（birthwt 数据集，n=189，事件率 0.31），以及 Kyphosis、GLOW、Pima Indians 糖尿病数据。
  • 方法应用：对 LBW 数据拟合一个加法模型和一个包含交互项的精细模型，然后分别用 EF、HL 和 Pigeon-Heyse 检验进行拟合优度检验。
  • 结果：所有三个检验在所有模型下都未拒绝原假设（p 值均远大于 0.05）。EF 的 p 值始终略小于 HL，但从未改变结论。
  • 例子想说明什么：这个例子旨在说明 EF 是 HL 的一个安全、向后兼容的改进。在模型拟合良好的真实数据上，EF 不会产生与 HL 相悖的结论，不会“破坏”实践者已经信任的检验。它只是在模拟中展示的特定偏离下，才展现出其额外的敏感性。

🔎 结论是否比证明窄

是的，存在一些地方结论比证明窄： * “No well-calibrated partition test is more sensitive to asymmetric-link misfit”：这个结论在模拟中成立，但证明（Proposition 1）只给出了 EF 与 HL 的比较，并未证明 EF 优于所有其他尺寸控制良好的分组检验（如 HL_eqw）。模拟结果（Table 5）显示 EF 在 cloglog 下确实优于 HL_eqw，但优势很小（49.7% vs 48.3%），且作者未提供理论证明。因此，这个结论是一个基于模拟的经验性 claim，而非严格证明。 * “The correction buys sensitivity without a size penalty”：这个结论在模拟的 24 种 null 配置下成立。但证明（Proposition 1 的第三部分）只给出了一个渐近论证（C = op(1)），并未严格证明在所有有限样本下尺寸都相同。模拟结果支持该 claim，但理论上可能存在某些极端配置（如非常小的 n 和非常大的 G）下尺寸有差异。 * 关于校准斜率（Appendix B）：Proposition 2 严格证明了在校准斜率偏离下，A(δ) 的符号完全由斜率决定。但作者在正文中并未将此作为一个主要结论，而是放在附录中。这暗示了该结论可能不如 Proposition 1 那样具有普遍性，或者作者认为其重要性较低。

四、开放问题

  1. 定向 EF 检验（DEF）的开发：作者在 Section 7.6 提到，将修正项 C 学生化并赋予其自己的拒绝域，可以构建一个定向的 EF 检验（DEF），使其方向性信息成为一阶的。这是一个明确的未来工作，扎根于本文的“C 是 op(1)”这一事实。
  2. EF 检验在高维协变量下的表现：本文的模拟和理论都基于低维协变量（p=2）。在高维稀疏逻辑回归中，EF 检验的尺寸控制和功效如何？其对齐泛函 A(δ) 是否仍然有效？这是一个自然的扩展，扎根于本文的“稀疏数据”设定和您的“高维统计”兴趣。
  3. EF 检验与其他非分组检验的更系统比较：作者在 Section 5.4 中与 Osius-Rojek 和 Stukel 检验进行了初步比较，但承认“No test dominates”。一个更系统的比较，覆盖更广泛的偏离类型和样本量，并考虑尺寸校正后的功效，将有助于更清晰地定位 EF 检验的适用场景。这扎根于 Table 7 的有限比较。
  4. EF 检验在非二元结果（如计数、多分类）逻辑回归中的推广：本文的方法和理论高度依赖于二元结果的特性。将其推广到更一般的广义线性模型（如 Poisson 回归、多项逻辑回归）是一个开放问题。这扎根于本文的“binary logistic regression”这一核心设定。

Maintained by 陈星宇 · Homepage · Source on GitHub

评论