跳转至

Optimal Stratified Allocation for Rare-Event Onset Forecasting in Dependent Sequences

作者: Jaskaran Singh
主题: 其他
相关性: 6/10
链接: https://arxiv.org/abs/2609.04420

一、领域脉络与小综述

这个方向是什么

本文研究的根本问题是：在稀有事件（正类占比 π 极小）的预测任务中，如何从大量负类样本中选取一个小子集来训练模型，使得加权风险估计量的方差最小。这本质上是有限总体分层抽样中的最优分配问题，但应用于机器学习中的经验风险最小化（ERM）。当前该子方向的成熟度：在抽样理论中已有经典解（Neyman 分配），但将其系统应用于稀有事件分类中的子集构建、并考虑类别权重的影响，是本文的定位。

发展脉络（从 introduction + 参考文献构建）

  • 奠基工作：Neyman (1934) 提出分层抽样中的最优分配，即 \(K_c^* \propto N_c S_c\)，其中 \(S_c\) 是层内标准差。这是整个理论的起点。
  • 主要进展：Serfling (1974) 给出无放回抽样的概率不等式（Serfling 界），为有限总体下的集中性提供工具。Phillips, Shi, Yu (2015a,b) 提出递归右尾单位根检验（PSY 程序）用于事后标记价格爆发期，本文将其作为标签生成器。
  • 当前 frontier：在稀有事件分类中，常见做法是随机欠采样（case-control）或聚类代表性选择，但缺乏方差分析。Bachem et al. (2018) 给出 K-means 的轻量级 coreset 近似保证，但作者指出其不适用于随模型状态变化的损失（Proposition 7）。
  • 本文的位置：作者将四种常见子集构建方法（均匀、分层、平衡、K-means）统一为分层抽样设计，给出精确有限总体方差和最优分配，并证明类别乘子将最优分配从比例推向平衡。这是对现有启发式方法的理论化。

子线索聚类

  1. 有限总体抽样理论：Neyman 分配、Serfling 不等式。被引文献：Neyman (1934), Serfling (1974)。
  2. 稀有事件分类中的子采样方法：随机欠采样、案例对照设计、聚类代表性选择。被引文献：Bachem et al. (2018) 作为 coreset 代表；作者在 Section 10 中比较了均匀、分层、平衡、K-means 四种。
  3. 时间序列中的评估协议：purging、block 独立性、mixing 条件。被引文献：López de Prado (2018) 形式化 purging；Doukhan (1994) 的混合理论；Künsch (1989) 的移动块 bootstrap。
  4. 金融泡沫检测：PSY 程序、递归右尾单位根检验。被引文献：Phillips, Wu, Yu (2011); Phillips, Shi, Yu (2015a,b); Pavlidis et al. (2016); Vasilopoulos et al. (2022)。

核心问题与已知瓶颈

  • 核心问题 1：给定预算 K，如何在正负类之间分配样本以最小化加权风险估计量的方差？经典 Neyman 分配给出解，但需要知道层内标准差。
  • 核心问题 2：类别权重（正类乘子 \( \omega_1 = N_0/N_1 \)）如何影响最优分配？本文证明它使最优分配从比例变为平衡。
  • 核心问题 3：在时间依赖序列中，如何保证训练和测试的独立性？本文用 Lemma 1 给出信息跨度界，并用绝对正则性假设量化退化。
  • 已知瓶颈：现有方法（均匀、分层、K-means）缺乏方差分析；K-means 代表性选择存在不可消除的偏差（Proposition 7）；理论只覆盖固定模型状态，不沿 boosting 路径推广。

⚠️ 作者的 framing（必须明确标注为作者的说法）

作者将子集构建问题重新定义为“分层抽样设计”，并声称这是“显然的下一步”——因为现有文献要么是启发式（如随机欠采样），要么是近似保证（如 coreset），但没有从有限总体方差角度给出精确解。作者淡化了两个竞争路线：LightGBM 内部的类条件子采样（pos/neg bagging fraction）和基于梯度的单侧采样（GOSS），仅在 Limitations 中提及。明显该被引但没出现：更一般的 coreset 理论（如 Feldman & Langberg 2011 的近似保证）、过采样方法（SMOTE 等）、以及稀有事件分类中更系统的偏差-方差分析。这些是值得研究者去查的问题。

张力

未见明显对立引用。各被引工作之间在假设和结论上一致，没有在略不同条件下得相反结论的情况。

二、最核心、最简单的例子 / 数学问题

第一步：符号、模型、可观测数据交代清楚

符号（逐个点名，本文核心记号）：

  • \( n \)：训练集总行数（有限总体大小）。
  • \( N_1 \)：正类行数，\( N_0 = n - N_1 \) 负类行数，事件率 \( \pi = N_1 / n \)。
  • \( K \)：子集大小（预算），\( K_c \)：从类 \( c \) 中抽取的行数（\( c \in \{0,1\} \)）。
  • \( \ell_i \)：第 \( i \) 行的加权损失，\( \ell_i = \omega_{Y_i} \ell(\Phi(x_i), Y_i) \)，其中 \( \omega_1 = N_0/N_1 \)，\( \omega_0 = 1 \)。
  • \( L(\Phi) = \sum_{i=1}^n \ell_i \)：全数据目标（想要但观测不到的 estimand）。
  • \( \hat{L}(\Phi) = \sum_{j \in S} w_j \ell_j \)：子集估计量，\( S \) 是抽取的行集，\( w_j \) 是权重。
  • \( S_c^2 \)：类 \( c \) 内加权损失 \( \ell_i \) 的样本方差（有限总体方差）。
  • \( \sigma_c^2 \)：类 \( c \) 内未加权损失 \( \ell(\Phi(x_i), Y_i) \) 的方差。
  • \( \gamma = K_1/K_0 \)：实际分配比（截断后）。
  • \( A(\pi, f) \)：预测效率，由 Corollary 12 给出。

模型：固定模型状态 \( \Phi \)（如一棵已训练的树），损失函数 \( \ell \) 是给定的（如对数损失）。数据生成机制：有限总体，行是固定的，抽样是无放回的。类别权重由全数据计算。

可观测数据：研究者能观测到所有 \( n \) 行的特征 \( x_i \) 和标签 \( Y_i \)，但只使用子集 \( S \) 进行模型拟合。全数据目标 \( L(\Phi) \) 是潜在量（因为只用了子集），但可以通过子集估计无偏估计（Proposition 4）。在时间序列中，训练和测试块之间有 purge 间隔，确保信息不泄露。

第二步：最小内核

考虑最简单的二分类问题：正类极少（\( \pi \) 很小），损失是 0-1 损失（或对数损失），但加权后正类权重很大。假设未加权损失在两类中方差相等：\( \sigma_0 = \sigma_1 \)。给定预算 \( K \)，我们想最小化 \( \text{Var}(\hat{L}(\Phi)) \)。

在这个特例下： - 加权损失方差：\( S_0 = \sigma_0 \)，\( S_1 = \omega_1 \sigma_1 = (N_0/N_1) \sigma_1 \)。 - Neyman 最优分配（Theorem 8）：\( K_c^* \propto N_c S_c \)。 - 代入得 \( K_0^* \propto N_0 \sigma_0 \)，\( K_1^* \propto N_1 \cdot (N_0/N_1) \sigma_1 = N_0 \sigma_1 \)。 - 若 \( \sigma_0 = \sigma_1 \)，则 \( K_0^* = K_1^* \)，即等分配最优。

为什么这个例子是核心：它揭示了论文的核心洞察——类别权重 \( \omega_1 = N_0/N_1 \) 将正类方差放大到与负类方差同量级（乘以 \( N_0/N_1 \)），从而抵消了不平衡比 \( N_1/N_0 \)，使得最优分配只依赖于未加权方差。若未加权方差相等，则等分配最优，而比例分配（\( K_1 \propto N_1 \)）需要正类未加权方差比负类小 \( \pi/(1-\pi) \) 倍，这在稀有事件中极不可能。因此，等分配成为自然默认方案。

证明思路：直接代入 Neyman 公式，利用 \( S_1 = (N_0/N_1) \sigma_1 \) 消去 \( N_1 \)。效率比 \( \text{Var}_{\text{prop}} / \text{Var}_{\text{bal}} = 1/(4\pi(1-\pi)) \) 在 \( \pi = 0.0037 \) 时约为 67.8，说明等分配远优于比例分配。

三、这篇论文做了什么

三句话

  1. 研究了什么问题：在稀有事件预测中，如何从有限总体中选取子集以估计加权风险，并比较四种常见构建方法（均匀、分层、平衡、K-means）的方差和最优分配。
  2. 核心工具/方法：有限总体抽样理论（Neyman 分配、Serfling 不等式）、绝对正则性下的耦合引理（Berbee 耦合）、以及一个验证相对百分位分数（validation-relative percentile score）用于跨时期分数对齐。
  3. 主要结论：类别乘子使最优分配变为等分配，等分配相对于比例分配的效率为 \( 1/(4\pi(1-\pi)) \)；均匀抽样被层间项支配；K-means 代表性选择存在不可消除的偏差；实证中 10 天预测窗口下等分配优于全数据训练，但 π 依赖关系未通过检验。

关键设定与假设

  • 有限总体：训练集行是固定的，抽样是无放回的（Section 6.2）。
  • 类别权重：正类乘子 \( \omega_1 = N_0/N_1 \)，负类乘子 1（Equation 6）。
  • 损失函数：固定模型状态 \( \Phi \) 下的加权损失 \( \ell_i \)（Equation 6）。
  • 绝对正则性（β-mixing）：Assumption 2，用于时间序列的近似独立性。
  • 未加权损失方差相等：Corollary 9 假设 \( \sigma_0 = \sigma_1 \) 以得到等分配最优，但作者承认未验证（Section 13）。
  • 有限候选集：Proposition 11 假设候选分裂集 \( C \) 有限，且每行损失有界 \( |\ell_i| \leq \Lambda \)。
  • 与已有文献的比较：相比 Bachem et al. (2018) 的 coreset 近似保证，本文要求精确无偏性（Proposition 7 排除 K-means）；相比 LightGBM 的内部子采样，本文是外部构建。

主要结果

  • Theorem 8（Neyman 分配）：\( K_c^* = K \frac{N_c S_c}{N_0 S_0 + N_1 S_1} \)，效率损失由 Cauchy-Schwarz 给出。
  • Corollary 9（等分配最优条件）：等分配最优当且仅当 \( \sigma_0 = \sigma_1 \)。比例分配最优需要 \( \sigma_1 = (\pi/(1-\pi)) \sigma_0 \)，在稀有事件中不现实。
  • Corollary 10（相对效率）：\( \text{Var}_{\text{prop}} / \text{Var}_{\text{bal}} = 1/(4\pi(1-\pi)) \)，在 \( \pi=0.0037 \) 时约为 67.8。
  • Proposition 6（均匀抽样被支配）：当层间项 \( B \geq \sum S_c^2 \) 时，均匀方差大于分层方差。在稀有事件中，由于 \( \omega_1 \) 很大，条件自动满足。
  • Proposition 7（K-means 有偏）：偏差 \( \hat{L} - L = \sum_c \sum_C |C| (\ell_{r(C)} - \bar{\ell}_C) \)，不能对任意 \( \Phi \) 为零。
  • Proposition 11（Serfling 界）：对有限候选集，以概率 \( 1-\varepsilon \) 有 \( \sup_{\Phi \in C} |\hat{L}(\Phi) - L(\Phi)| \leq \Lambda \sum_c N_c \sqrt{ \frac{2(1-(K_c-1)/N_c)}{K_c} \log \frac{2M}{\varepsilon} } \)。
  • Corollary 12（截断分配）：实际分配比 \( \gamma = \min(2\pi/f, 1) \)，效率 \( A(\pi, f) = \gamma / (\pi(1-\pi)(1+\gamma)^2) \)。

证明路线与技术技巧

整体路线（以 Section 6 为例）： 1. 无偏性（Proposition 4）：对概率设计，\( \hat{L} \) 是 \( L \) 的无偏估计。 2. 精确方差（Proposition 5）：对类条件设计，方差为 \( \sum_c \frac{N_c^2}{K_c} (1 - \frac{K_c}{N_c}) S_c^2 \)。 3. 比较设计（Proposition 6）：均匀 vs 分层，分解出层间项 \( B \)。 4. 排除 K-means（Proposition 7）：偏差恒不为零。 5. 最优分配（Theorem 8）：忽略有限总体校正，最小化 \( \sum N_c^2 S_c^2 / K_c \) 得 \( K_c \propto N_c S_c \)。 6. 效率推导（Corollary 9-10）：代入 \( S_1 = \omega_1 \sigma_1 \) 得等分配条件。 7. 有限候选集（Proposition 11）：Serfling 不等式 + 联合界。

关键跳跃点： - 从固定模型状态到自适应选择（boosting）的桥梁：Proposition 11 只覆盖单个节点，作者承认未沿 boosting 路径推广（Section 13）。 - 从理论效率到实证预测：Corollary 12 给出无参数预测 \( A(\pi, f) \)，但实证中 P2（π 依赖关系）失败，作者指出三个可能渠道（Section 6.4）。

技术技巧点名： - 有限总体方差分解：Proposition 5 的推导。 - Cauchy-Schwarz 不等式（Engel 形式）：Theorem 8 的效率损失下界。 - Serfling 不等式：Proposition 11 用于无放回抽样的集中性。 - Berbee 耦合引理：Lemma 3 和 Proposition 15 用于混合序列的近似独立性。 - 经验分布函数变换：Equation (22) 的验证相对百分位分数，用于跨时期分数对齐。

真实例子与应用

数据：2004-2011 年 350 只美股，日度价格和成交量，正类率 <1%（PSY 程序标记的价格爆发期）。预测未来 5/10/20 天内是否开始爆发。

方法应用：将四种子集构建方法（均匀、分层、平衡、K-means）应用于 LightGBM 训练，比较与全数据训练的 AP 差异。使用 purged expanding-window folds（5 个非重叠测试期，140 天 purge）。

结果： - 10 天窗口下，类平衡采样在所有 5 个保留分数上均优于全数据训练（AP 差 +0.0052 到 +0.0086），速度提升 2.4-3.1 倍（Table 7）。 - 预测的排序（P1）成立：平衡 > 分层 > 均匀 > K-means。 - 预测的 π 依赖关系（P2）失败：5 天窗口下无优势，20 天窗口下优势较小。 - 预测的 f 依赖关系（P3）在 10 天窗口下精确成立（Spearman ρ=1, p=0.0167）。 - 报告了一个反转时期（F2, 2010 年下半年），全数据训练排名倒置（ROC-AUC 0.137），而类平衡模型未受影响（AP 0.0249 vs 0.0019）。

这个例子想说明：理论预测的排序成立，但 π 依赖关系失败，说明设计-based 论证的局限；类平衡采样可能提供对概念漂移的鲁棒性（一个假设，非确认）。

🔎 结论是否比证明窄

  • Proposition 11 只覆盖单个节点和有限候选集，但作者在 Section 6.4 和 Section 13 中明确承认未沿 boosting 路径推广。然而，在 Conclusion 中作者说“Subset construction for a rare positive class is an allocation problem with an exact solution”，这比证明覆盖的范围更宽——证明只对固定模型状态成立，对自适应模型（boosting）只有部分实证支持。
  • Corollary 10 假设 \( \sigma_0 = \sigma_1 \)，但作者未验证（Section 13）。在 Conclusion 中未强调这一假设。
  • Proposition 7 证明 K-means 有偏，但未考虑加权版本或近似无偏性。结论是“placed outside the framework”，比证明的“不能对任意 Φ 无偏”更强。

四、开放问题（点到为止，扎根具体语句）

  1. 将分配理论推广到自适应模型选择（如 boosting 路径）：Proposition 11 只覆盖单个节点和有限候选集，作者在 Section 13 明确说“no statement is made along the boosting path, and none about generalisation”。需要沿 boosting 路径的均匀控制或更一般的偏差-方差分析。

  2. 验证未加权损失方差相等假设（\( \sigma_0 = \sigma_1 \)）：Corollary 9 的等分配最优依赖于此假设。作者在 Section 13 说“it is checkable directly by computing σ0 and σ1 from the per-row losses of a fitted full-data model, which we have not done”。这是一个可直接填补的 gap。

  3. 估计有效样本量以解释负类自相关：Corollary 10 将 N0 视为独立行数，但负类高度自相关。作者在 Section 6.4 和 Section 13 提出“replacing N0 by an effective sample size would lower the predicted advantage”。可通过时间稀疏子集实验估计有效 N0。

  4. 将分配理论扩展到过采样方法或内部子采样：作者在 Section 13 列出缺失比较对象，包括 LightGBM 的 pos/neg bagging fraction 和 GOSS。这些是直接竞争者，但本文未处理。可尝试将本文的方差分析框架推广到这些方法。

注意：以上问题扎根于论文具体语句（Section 13 的 Limitations 和 Section 6.4 的失败分析）。要确认某条是否真 gap，建议去读同子领域近期约 5 篇的 intro——都指向它 = 共识（真 gap），互相打架 = 机会。

Maintained by 陈星宇 · Homepage · Source on GitHub

评论