Generalized Linear Models for Extremes: Estimation and Inference in High Dimensions¶

作者: Liujun Chen, Chen Zhou
主题: 高维统计 / 随机矩阵
相关性: 6/10
链接: https://arxiv.org/abs/2608.16137

一、领域脉络与小综述¶

这个方向是什么¶

本文研究的子方向是高维协变量下的极值回归，具体而言：在响应变量 \(Y\) 的尾部（极端大值区域），协变量 \(X \in \mathbb{R}^p\) 如何影响尾部的尺度（而非形状），并且当 \(p\) 可能超过有效样本量（仅最大的 \(k\) 个观测有信息）时，如何估计和推断系数。该方向连接极值理论（EVT）与高维统计，核心困难在于尾部观测天然稀少且依赖随机阈值，导致有效样本量 \(k \ll n\)，经典高维理论（要求 \(s\log p = o(n)\)）不再适用。

发展脉络（history）¶

奠基工作来自极值理论中的异方差极值（heteroscedastic extremes）框架。Einmahl et al. (2016) 首次提出 scedasis 函数 \(c(x)\)，刻画协变量如何缩放尾部，并在标量协变量（如时间）下给出非参数估计。Mefleh et al. (2020) 将其扩展到趋势检测，Einmahl et al. (2022) 进一步推广到时空数据。这些工作均限于一维协变量，无变量选择也无推断。

平行发展的另一条线索是极值分位数回归。Chernozhukov (2005) 提出极端分位数回归，Wang et al. (2012) 结合 Pareto 型外推。Tang et al. (2024) 首次引入高维正则化框架，但仅给出估计而无推断。Leng et al. (2026) 通过双 bootstrap 获得推断，但限于固定维数。Tang et al. (2026) 提供了该方向的综述。

本文的位置：作者声称是第一个在高维设定下处理 scedasis 函数并给出系数级推断的工作。它借用高维 GLM 的成熟工具（ℓ₁ 惩罚、去偏 Lasso），但必须处理尾部定位带来的两个根本差异：有效样本量从 \(n\) 降为 \(k\)，以及随机阈值导致的样本依赖。

子线索聚类¶

线索 A：异方差极值（scedasis 函数）。Einmahl et al. (2016, 2022), Mefleh et al. (2020)。核心：假设协变量缩放尾部但不改变形状，估计 \(c(x)\)。此前仅限低维。
线索 B：极值分位数回归。Chernozhukov (2005), Wang et al. (2012), Tang et al. (2024, 2026), Leng et al. (2026)。核心：估计条件分位数在极端水平（趋于1）的值，通常需要重尾假设。高维版本（Tang et al. 2024）无推断。
线索 C：高维广义线性模型理论。van de Geer (2008), Negahban et al. (2012), Cai et al. (2023)。核心：ℓ₁ 惩罚估计的收敛速率、去偏推断。本文直接借用其框架，但需适配尾部定位。

核心问题与已知瓶颈¶

有效样本量小：只有最大的 \(k\) 个观测携带尾部信息，\(k\) 通常远小于 \(n\)。高维条件变为 \(s\log p = o(k)\) 而非 \(o(n)\)。
随机阈值依赖：选出的尾部观测 \(Y_i > Y_{n-k,n}\) 不是独立的，即使原始数据 i.i.d.。经典 GLM 渐近理论失效。
信息矩阵恒等式不成立：在尾部区域，得分协方差与 Hessian 不再渐近相等，方差需单独估计。
模型检验缺失：如何检验“尾部形状不随协变量变化”这一核心假设？目前无正式检验。

⚠️ 作者的 framing（必须明确标注为作者说法）¶

作者将缺口 frame 为：“现有方法要么只针对单个分位数（而非整个尾部），要么要求重尾，要么无法处理高维或无法做推断。” 他们声称自己的模型“覆盖整个尾部，不限制尾部形状（重尾、轻尾、短尾），且首次在高维下给出系数推断”。他们淡化了极值分位数回归路线，强调自己的模型描述整个尾部而非单个分位数。什么明显该被引/该存在、却没出现在 intro 里？ 例如，关于极值指数随协变量变化的模型（如 Yang 2025 的 caution），作者引用了但仅作为“可能导致推断复杂”的理由，并未深入讨论其与本文模型的竞争关系。另外，关于高维极值分位数回归的推断方法（如双 bootstrap 的 Leng et al. 2026）被提及但仅一笔带过，未详细比较。

张力¶

未见明显对立引用。各被引工作在不同设定下结论一致：低维可做非参数或简单参数，高维则缺乏推断。本文填补了该空白。

二、最核心、最简单的例子 / 数学问题¶

第一步：符号、模型、可观测数据交代清楚¶

符号：
\(Y\)：响应变量（标量），关注其右尾。
\(X = (X_1, \dots, X_p)^\top\)：协变量向量，\(X_1 \equiv 1\)（截距）。
\(F_Y(y \mid X=x)\)：给定 \(X=x\) 时 \(Y\) 的条件分布函数。
\(F_Y(y)\)：\(Y\) 的边缘分布函数。
\(y^+\)：\(Y\) 的上端点（可能为 \(\infty\)）。
\(c(x)\)：scedasis 函数，定义见 (1)：\(\lim_{y\to y^+} \frac{1-F_Y(y\mid X=x)}{1-F_Y(y)} = c(x)\)。
\(\beta = (\beta_1, \dots, \beta_p)^\top \in \mathbb{R}^p\)：参数向量，满足 \(c_\beta(x) = g(x^\top \beta)\)，其中 \(g(\cdot)\) 是已知正链接函数。
约束：\(\mathbb{E}[c_\beta(X)] = 1\)，用于识别 \(\beta\)。
\(n\)：总样本量。
\(k\)：中间序列（intermediate sequence），\(k \to \infty, k/n \to 0\)，用于定义尾部阈值。
\(Y_{n-k,n}\)：第 \(k+1\) 大的顺序统计量（即随机阈值）。
\(s = \|\beta_0\|_0\)：真实参数的非零坐标数（稀疏度）。
\(\lambda_n\)：ℓ₁ 惩罚参数。
\(L_n(\beta)\)：样本损失函数，见 (2.1) 节。
\(\Sigma_n(\beta)\)：得分协方差矩阵的样本版本。
\(H(\beta) = \mathbb{E}[XX^\top g'(X^\top \beta)]\)：Hessian 矩阵的总体版本。
模型：
数据生成：\((X_i, Y_i)\) i.i.d.，\(i=1,\dots,n\)。
模型假设 (1)：条件尾部与边缘尾部成比例，比例因子 \(c(x)\) 仅依赖于 \(x\)，不依赖于 \(y\)。这意味着条件分布与边缘分布共享相同的上端点和相同的极值指数（尾部形状相同）。
参数化：\(c_\beta(x) = g(x^\top \beta)\)，\(g\) 已知正链接函数（如 \(\exp\) 或 Softplus）。
识别条件：\(\mathbb{E}[g(X^\top \beta)] = 1\)。
可观测数据：
可观测：\((X_i, Y_i)\) 的完整样本，共 \(n\) 对。
实际用于估计的：仅那些 \(Y_i > Y_{n-k,n}\) 的观测（约 \(k\) 个），以及所有 \(X_i\)（用于计算第一项损失）。
不可观测/潜在：真实的 scedasis 函数 \(c(x)\)，以及条件分布 \(F_Y(y\mid X=x)\) 在尾部以外的部分。模型 (1) 是一个极限近似，实际有近似误差，由假设 (M) 控制。

第二步：最小内核¶

最简特例：\(p=1\)（仅一个非截距协变量 \(X_2\)，记作 \(X\)），\(g(x) = \exp(x)\)（指数链接），\(Y_0 \sim \text{Pareto}(1)\) 独立于 \(X\)，且 \(Y = \exp(\beta_0 + \beta_1 X) \cdot Y_0\)。此时模型 (1) 精确成立（无近似误差），且 \(c(x) = \exp(\beta_0 + \beta_1 x)\)。约束 \(\mathbb{E}[\exp(\beta_0 + \beta_1 X)] = 1\) 确定 \(\beta_0\)。

在这个特例下，损失函数简化为：

\[L_n(\beta) = \frac{1}{n}\sum_{i=1}^n \big(e^{X_i\beta} - 1\big) - \frac{1}{k}\sum_{i=1}^n X_i\beta \cdot I(Y_i > Y_{n-k,n}),\]

其中 \(X_i = (1, X_i)^\top\)，\(\beta = (\beta_0, \beta_1)^\top\)。ℓ₁ 惩罚项为 \(\lambda_n (|\beta_0| + |\beta_1|)\)。

核心思路：由于 \(p=1\) 固定，定理 1 适用：\(\sqrt{k}(\hat{\beta}_n - \beta_0) \xrightarrow{d} N(0, H^{-1}\Sigma_W H^{-1})\)，其中

\[H = \mathbb{E}[XX^\top e^{X^\top \beta_0}], \quad \Sigma_W = \mathbb{E}[XX^\top e^{X^\top \beta_0}] - \mathbb{E}[X e^{X^\top \beta_0}] \mathbb{E}[X^\top e^{X^\top \beta_0}].\]

证明的关键在于处理随机阈值 \(Y_{n-k,n}\) 带来的依赖：通过将事件 \(\{Y_i > Y_{n-k,n}\}\) 转化为 \(\{U_i \leq U_{k,n}\}\)（\(U_i = 1-F_Y(Y_i)\) 服从 Uniform[0,1]），然后利用极值理论中的顺序统计量渐近性质（如 Vervaat 引理）将随机阈值替换为确定性阈值 \(k/n\)，并控制误差。

这个特例揭示了论文的核心数学困难：即使 \(p=1\)，由于只使用 \(k\) 个尾部观测，且这些观测是通过随机阈值选择的，经典 M-估计的 i.i.d. 渐近理论不能直接应用。证明需要同时处理：① 损失函数中第一项（全样本）和第二项（尾部子样本）的联合渐近；② 随机阈值带来的额外变异性；③ 信息矩阵恒等式失效，导致方差需用 sandwich 形式。

三、这篇论文做了什么¶

三句话¶

研究了什么问题：在高维协变量（\(p\) 可能超过有效样本量 \(k\)）下，估计响应变量尾部缩放函数 \(c(x) = g(x^\top \beta)\) 并推断单个系数 \(\beta_j\)，模型假设协变量缩放尾部但不改变形状。
核心工具/方法：采用 Bregman 散度匹配参数化尾部函数与经验尾部，导出凸损失函数，加 ℓ₁ 惩罚得到稀疏估计；再通过样本分裂和去偏技术构造渐近正态的推断。
主要结论：惩罚估计量的收敛速率为 \(\sqrt{s\log p / k}\)（条件 \(s\log p = o(k)\)）；去偏估计量渐近正态，方差由得分协方差决定（与 Hessian 不同），可构建置信区间。

关键设定与假设¶

模型 (1)：\(\lim_{y\to y^+} \frac{1-F_Y(y\mid X=x)}{1-F_Y(y)} = c(x) = g(x^\top \beta)\)。含义：条件尾部与边缘尾部成比例，比例因子由协变量线性组合经链接函数给出。
假设 (M)：控制模型近似误差的速率，要求 \(\sup_x |\frac{1-F_Y(y\mid X=x)}{1-F_Y(y)} - g(x^\top \beta_0)| = O(1) A(y) B(x)\)，且 \(\sqrt{k} A(F_Y^{-1}(1-k/n)) \to 0\)。这是极值理论的标准二阶条件。
假设 (B1)：协变量 \(X\) 来自均值零分布，协方差矩阵特征值有界，各坐标有界，线性组合为 sub-Gaussian。这是高维回归的常规条件。
假设 (B2)：链接函数 \(g\) 连续、正、递增，且 \(g'\) 连续正增；矩条件 \(\mathbb{E}[g^2(X^\top \beta_0)] \leq R\)，\(\mathbb{E}[g'(X^\top \beta_0)^{1+\delta}] \leq R\)；以及一个关于 \(g\) 增长率的条件（如 \(g(T\sqrt{\log n}) \sqrt{\log p / n} \to 0\)），允许 \(p\) 随 \(n\) 增长。
假设 (C1)-(C3)：用于推断，包括去偏约束的惩罚参数选择、链接函数的高阶矩、条件密度在尾部的光滑性。

相比已有文献：放宽了极值分位数回归对重尾的要求（本文可处理轻尾、短尾），但增加了“尾部形状不变”的强假设。相比经典高维 GLM，有效样本量从 \(n\) 降为 \(k\)，且随机阈值导致依赖。

主要结果¶

定理 2（ℓ₁ 惩罚估计的收敛速率）：在假设 (M)、(B1)、(B2) 及 \(s\log p = o(k)\) 下，取 \(\lambda_n \asymp \sqrt{\log p / k}\)，则 \(\|\hat{\beta}_n - \beta_0\|_2 \lesssim \sqrt{s\log p / k}\) 以概率趋于 1。直觉：有效样本量为 \(k\)，因此速率与经典高维 GLM 的 \(\sqrt{s\log p / n}\) 类似，只是 \(n\) 换成了 \(k\)。必要条件：\(s\log p = o(k)\)，允许 \(p \gg k\) 但稀疏度受限。技术难点：梯度 \(\nabla L_n(\beta_0)\) 的无穷范数界需要同时控制全样本项和尾部子样本项，后者涉及随机阈值，证明中使用了 Bernstein 不等式和极值顺序统计量的性质（引理 S5）。
定理 3（去偏估计的渐近正态性）：在定理 2 的条件加上 (C1)-(C3) 及额外缩放条件（如 \(\sqrt{k}/(\log p \log n) \to \infty\)）下，对每个 \(j=2,\dots,p\)，有 \(\sqrt{k} \hat{v}_j^{-1} (\tilde{\beta}_j - \beta_{0j}) \xrightarrow{d} N(0,1)\)，其中 \(\hat{v}_j^2 = \hat{u}_j^\top \Sigma_n(\hat{\beta}_n) \hat{u}_j\)，\(\hat{u}_j\) 通过最小化 \(\hat{u}^\top \Sigma_n(\hat{\beta}_n) \hat{u}\) 并满足 Hessian 约束得到。直觉：去偏步骤消除了 ℓ₁ 惩罚的偏差，但方差必须用得分协方差 \(\Sigma_n\) 而非 Hessian，因为信息矩阵恒等式在尾部区域不成立。必要条件：稀疏度 \(s = o(\sqrt{k}/(\log p \sqrt{\log n}))\)，比定理 2 更严格。

证明路线与技术技巧¶

定理 2 的证明路线（见附录 B）： 1. 验证受限强凸性：对损失函数 \(L_n(\beta)\)，证明在锥 \(C = \{\Delta: \|\Delta_{S^c}\|_1 \leq 3\|\Delta_S\|_1\}\) 上，\(\delta L_n(\Delta) \geq \kappa_1 \|\Delta\|_2^2 - \kappa_2 \frac{\log p}{n} \|\Delta\|_1^2\)。利用 \(G\) 的凸性和泰勒展开，以及 \(g'\) 的正性，得到下界。 2. 控制梯度无穷范数：引理 S5 证明 \(\|\nabla L_n(\beta_0)\|_\infty \lesssim \sqrt{\log p / k}\) 以高概率成立。证明将梯度分解为四项：全样本偏差、总体偏差（由模型近似误差引起）、随机阈值替换误差、尾部子样本偏差。每项分别用 Bernstein 不等式、假设 (M) 和极值顺序统计量性质控制。 3. 应用 Negahban et al. (2012) 的通用框架：由受限强凸性和梯度界，直接得到 \(\|\hat{\beta}_n - \beta_0\|_2 \lesssim \sqrt{s \lambda_n^2} = \sqrt{s \log p / k}\)。

关键跳跃点：梯度界中处理随机阈值替换误差 \(J_3\) 和尾部子样本偏差 \(J_4\) 时，需要利用 \(Y_{n-k,n}\) 与确定性阈值 \(y_n = F_Y^{-1}(1-k/n)\) 的接近程度，以及顺序统计量的收敛速度。这里使用了 Vervaat 引理（附录 Lemma S9）和 Einmahl & Segers (2021) 的 empirical process 结果。

定理 3 的证明路线（见附录 C）： 1. 分解去偏估计误差：将 \(\tilde{\beta}_j - \beta_{0j}\) 分解为 \(I_1 + I_2 + I_3\)，其中 \(I_1\) 是得分项，\(I_2\) 是约束误差项，\(I_3\) 是二阶泰勒余项。 2. 证明 \(I_2, I_3 = o_p(1/\sqrt{k})\)：利用约束 (4) 的 \(\ell_\infty\) 界和 \(\|\hat{\beta}_n - \beta_0\|_1 \lesssim s\sqrt{\log p / k}\)，得到 \(I_2 \lesssim s\log p / k = o(1/\sqrt{k})\)（因为 \(s\log p = o(k)\)）。\(I_3\) 通过 Hölder 不等式和 \(g''\) 的有界性控制。 3. 处理得分项 \(I_1\)：将 \(I_1\) 写为 \(\hat{u}_j^\top (\frac{1}{k}\sum X_i I(Y_i > Y_{n-k,n}) - \frac{1}{n}\sum X_i g(X_i^\top \beta_0))\)。通过条件于 \(\hat{\beta}_n\) 和样本分裂，将随机阈值替换为确定性阈值，并利用 empirical process 的 tightness（引理 S8）和 Vervaat 引理（引理 S9）得到渐近正态性。 4. 方差估计的一致性：证明 \(\hat{v}_j^2 = \hat{u}_j^\top \Sigma_n(\hat{\beta}_n) \hat{u}_j\) 依概率收敛到真实方差，且严格正（通过反证法，利用约束 (4) 和 \(g'\) 的正性）。

技术技巧点名： - Empirical process / chaining：引理 S8 中处理随机过程 \(\tilde{\Gamma}_n(u)\) 的 tightness，使用 Einmahl & Segers (2021) 的 bracket entropy 条件。 - Bernstein 不等式：用于梯度界和尾部子样本的浓度。 - Vervaat 引理：将随机阈值 \(U_{k,n}\) 的波动转化为 Gaussian 过程。 - 去偏 Lasso 的样本分裂：Cai et al. (2023) 的方法，将初始估计和去偏放在独立样本上，避免复杂的依赖。 - Sandwich 方差估计：由于信息矩阵恒等式失效，必须分别估计得分协方差 \(\Sigma_n\) 和 Hessian \(L_n''\)。

真实例子与应用¶

数据：Kaggle 汽车保险理赔数据，\(n=8423\)，\(p=43\)（含截距）。响应变量为理赔金额。协变量包括车辆价值、城市人口、职业、车型等。

方法应用： 1. 将数据随机分为训练集（50%）和测试集（50%）。用训练集估计 \(\hat{\beta}_n\)（ℓ₁ 惩罚，\(k=50\)，\(\lambda_n = 0.5\sqrt{\log p / k}\)）。 2. 在测试集上计算预测误差（交叉熵），比较指数链接、Softplus 链接、无协变量基准和惩罚逻辑回归。 3. 重复 500 次随机分割，报告平均预测误差。结果：指数链接 PE=9.35，Softplus 9.38，无协变量 9.87，惩罚逻辑 9.80。本文方法优于基准。 4. 用去偏推断识别显著风险因素：重复 50 次样本分裂，若某变量在至少 60% 的分裂中置信区间不包含零且方向一致，则视为显著。使用 Chernozhukov et al. (2018) 的中位数聚合方法调整方差。

结果：两个链接模型识别出相同的显著变量：车辆价值（正效应）、城市人口（负）、经理职业（负）、小型货车（负）。这些结果与保险定价直觉一致。

这个例子想说明：① 本文方法在真实高维数据上可行，预测优于简单基准；② 能提供系数级推断，识别出有实际意义的风险因素；③ 指数链接和 Softplus 链接结果一致，显示稳健性。

🔎 结论是否比证明窄¶

定理 3 的渐近正态性要求 \(s = o(\sqrt{k}/(\log p \sqrt{\log n}))\)，而模拟中 \(s=4, k=50, \log p \approx 4, \sqrt{k} \approx 7\)，条件满足。但实际应用中若 \(s\) 较大（如 \(s=20\)），该条件可能不成立。作者在模拟中未探索 \(s\) 更大的情形。
作者在讨论中承认：“There is no formal test for this model.” 即模型 (1) 的假设（尾部形状不变）无法检验。这是一个重要局限。
作者提到“A natural next step … inference on conditional exceedance probabilities and extreme conditional quantiles beyond the observed range”，但本文未给出理论证明，仅声称“Theoretical justification will follow, by using the delta method.” 这属于未来工作，而非本文结论。

四、开放问题¶

模型检验：如何检验“条件尾部与边缘尾部成比例”这一核心假设？作者在讨论中提及可基于检验条件极值指数是否恒定（类似 Einmahl et al. 2016），但未给出具体程序。扎根于 Section 6 第一段：“There is no formal test for this model.”
推断条件超越概率和极值分位数：本文仅推断系数 \(\beta_j\)，但实际应用常需估计 \(P(Y > y \mid X=x)\) 或极端分位数。作者指出需用 delta 方法，但方差涉及整个 \(\beta\) 的协方差矩阵，且 Remark 1 显示截距项的特殊性。扎根于 Section 6 第二段。
更宽松的稀疏条件：定理 3 要求 \(s = o(\sqrt{k}/(\log p \sqrt{\log n}))\)，比定理 2 的 \(s\log p = o(k)\) 严格得多。能否放松？例如通过更精细的去偏构造或不同的样本分裂策略？这是理论上的开放问题。
其他链接函数或非参数形式：本文假设 \(c(x) = g(x^\top \beta)\) 为参数形式。能否将 \(g\) 也视为未知（半参数）？或者允许 \(c(x)\) 有更灵活的结构（如加性模型）？这需要新的识别条件和估计方法。

Maintained by 陈星宇 · Homepage · Source on GitHub