跳转至

Comparing Predictive Accuracy in the Presence of a Loss Function Shape Parameter

作者: Sander Barendse, Andrew J. Patton
来源: Journal of Business & Economic Statistics
主题: 数理统计 / 假设检验
相关性: 4/10
机构绿灯: University of Oxford（US News 前 50，免分进入精读）
链接: https://doi.org/10.1080/07350015.2021.1896527

一、领域脉络与小综述

这个方向是什么

本方向处理的是预测精度比较问题，具体场景是：当损失函数（如预测误差的平方、绝对误差、或更一般的经济效用函数）含有一个形状参数（shape parameter）时，如何检验两个预测模型（或预测者）的预测精度是否相等。形状参数可以是风险厌恶系数、投资组合权重向量、或一致评分规则中的参数——它使得损失函数本身成为一个参数族，而非单一函数。核心统计困难在于：若形状参数取值很多（甚至连续），则“两个模型在所有形状参数值上预测精度相等”这一原假设涉及无限多个同时成立的等式，传统方法（如Diebold-Mariano检验）无法直接处理。

发展脉络（history）

作者在引言中梳理了以下脉络：

  1. 奠基工作：Diebold & Mariano (1995) 提出了经典的DM检验，用于比较两个预测模型在单一损失函数下的预测精度。这是所有后续工作的起点。

  2. 主要进展：扩展到多个损失函数

  3. West (1996) 和 Clark & McCracken (2001) 将DM检验扩展到嵌套模型和参数估计不确定性场景。
  4. Giacomini & White (2006) 提出了条件预测比较框架，允许在更一般的设定下进行检验。

  5. Hansen & Lunde (2006) 和 Hansen, Lunde & Nason (2011) 提出了模型置信集（Model Confidence Set, MCS）方法，用于在多个模型和多个损失函数下进行同时推断——这是处理“多个损失函数”问题的早期尝试。

  6. 当前frontier：形状参数连续化

  7. Patton (2020) 提出了“Murphy图”（Murphy diagram）的概念，用于可视化预测模型在连续形状参数下的表现。Murphy图本质上是一个函数图：横轴是形状参数，纵轴是期望损失。该工作揭示了：当形状参数取值很多时，离散化方法（如MCS）会因多重比较而严重损失检验功效。
  8. 本文（Barendse & Patton, 2023） 直接针对这一缺口：将预测误差序列视为形状参数的随机过程，利用泛函中心极限定理（FCLT）构造检验统计量，从而避免离散化。这是该子方向上的第一个正式检验方法。

子线索聚类

这些被引文献大致落在三条子线索上：

  • 线索A：单一损失函数的预测比较（Diebold & Mariano, 1995; West, 1996; Clark & McCracken, 2001; Giacomini & White, 2006）。核心工具是时间序列的渐近正态性。瓶颈：只能处理一个损失函数。
  • 线索B：多个离散损失函数的预测比较（Hansen & Lunde, 2006; Hansen, Lunde & Nason, 2011）。核心工具是多重比较校正（如bootstrap-based MCS）。瓶颈：当损失函数数量大时，功效急剧下降。
  • 线索C：连续形状参数的预测比较（Patton, 2020; 本文）。核心工具是泛函中心极限定理和bootstrap。本文是第一个提供正式检验的方法。

这个方向在追问的核心问题

  1. 如何构造一个检验统计量，使其能同时检验所有形状参数值上的原假设，而不因多重比较损失功效？ 当前主流方法（MCS）在形状参数取值多时失效。
  2. 如何控制检验的尺寸（size）和功效（power）在有限样本中的表现？ 特别是当形状参数取值数量 \(K\) 与样本量 \(T\) 可比时。
  3. 如何将检验扩展到更复杂的设定，如嵌套模型、参数估计不确定性、或高维形状参数？

⚠️ 作者的 framing

作者将缺口 frame 成：“现有方法（MCS）在形状参数取值数量 \(K\) 增长时失效，而我们的方法通过将形状参数视为连续变量，利用FCLT避免了离散化，从而在 \(K\) 大时仍保持良好性质。” 这是典型的“离散化→连续化”叙事。

被淡化/回避的竞争路线： - 作者没有讨论贝叶斯方法（如贝叶斯因子或后验预测检查）在预测比较中的适用性。这可能是因为贝叶斯方法通常需要先验设定，而本文追求频率学派检验。 - 作者没有讨论高维形状参数（如 \(K\) 远大于 \(T\)）的情况——本文的FCLT要求 \(K\) 固定或增长慢于 \(T\)。

什么明显该被引/该存在、却没出现在intro里？ - 多重比较的现代方法：如Benjamini-Hochberg FDR控制、或基于置换的max-t检验——这些在形状参数取值多时是自然替代方案，但作者没有讨论。这可能是因为FDR控制不直接适用于“所有形状参数值上相等”这一全局原假设。 - 函数型数据分析（FDA） 中的同时置信带（simultaneous confidence band）方法——这与本文的FCLT思路高度相关，但作者没有引用FDA文献。这可能是一个值得研究者去查的缺口：FDA中的同时推断方法能否直接迁移？

张力

未见明显对立引用。所有被引工作基本是互补的：DM检验处理单一损失函数，MCS处理多个离散损失函数，本文处理连续形状参数。

二、最核心、最简单的例子 / 数学问题

第一步：把符号、模型、可观测数据交代清楚

符号： - \(T\)：样本量（时间序列长度）。 - \(K\)：形状参数取值的数量（如风险厌恶系数的不同取值）。 - \(\lambda\)：形状参数（scalar或vector）。在本文中，\(\lambda\) 是连续变量，但实际计算时在 \(K\) 个离散点上评估。 - \(L_{it}(\lambda)\)：模型 \(i\)（\(i=1,2\)）在时间 \(t\)、形状参数 \(\lambda\) 下的损失。这是可观测的：给定 \(\lambda\)，可以计算每个时间点的损失。 - \(d_t(\lambda) = L_{1t}(\lambda) - L_{2t}(\lambda)\)：两个模型在时间 \(t\)、形状参数 \(\lambda\) 下的损失差。这是可观测的。 - \(\mu(\lambda) = \mathbb{E}[d_t(\lambda)]\)：期望损失差。这是要检验的 estimand。 - \(H_0: \mu(\lambda) = 0\) 对所有 \(\lambda \in \Lambda\) 成立。这是原假设。 - \(\hat{\mu}(\lambda) = \frac{1}{T} \sum_{t=1}^T d_t(\lambda)\)：样本平均损失差。这是可计算的检验统计量基础。

模型： - 数据生成机制：\(\{d_t(\lambda): \lambda \in \Lambda\}\) 是一个随机过程，在时间维度上平稳且弱依赖（如 \(\alpha\)-mixing或 \(m\)-dependent）。形状参数 \(\lambda\) 是确定性变量，不是随机变量。 - 已知：损失函数的形式（如平方误差、绝对误差、或带风险厌恶系数的效用函数）是已知的，因此 \(d_t(\lambda)\) 可以直接从预测值和实际值计算。 - 要估的对象：\(\mu(\lambda)\) 作为 \(\lambda\) 的函数。检验原假设 \(H_0: \mu(\lambda) = 0\) 对所有 \(\lambda\) 成立。

可观测数据： - 研究者实际能观测到的是：两个模型的预测序列 \(\{\hat{y}_{1t}, \hat{y}_{2t}\}_{t=1}^T\) 和实际值 \(\{y_t\}_{t=1}^T\)。由此可以计算 \(d_t(\lambda)\) 在 \(K\) 个离散 \(\lambda\) 值上的值。 - 想要但观测不到的是：\(\mu(\lambda)\) 在连续 \(\lambda\) 上的真实值。只能通过样本平均 \(\hat{\mu}(\lambda)\) 来估计，并利用FCLT来推断。

第二步：讲最小内核

最简特例：假设形状参数 \(\lambda\) 是标量（如风险厌恶系数），且只取两个值：\(\lambda_1\) 和 \(\lambda_2\)。那么原假设是：

\[H_0: \mu(\lambda_1) = 0 \quad \text{且} \quad \mu(\lambda_2) = 0.\]
这是一个双变量联合检验问题。传统方法（如DM检验）只能分别检验每个 \(\lambda\)，然后做Bonferroni校正——但这样会损失功效。本文的方法是将 \(\{d_t(\lambda_1), d_t(\lambda_2)\}\) 视为一个二维时间序列，构造一个联合Wald检验：
\[W = T \cdot \hat{\mu}^\top \hat{\Omega}^{-1} \hat{\mu},\]
其中 \(\hat{\mu} = (\hat{\mu}(\lambda_1), \hat{\mu}(\lambda_2))^\top\)，\(\hat{\Omega}\) 是长期方差矩阵的估计。在 \(H_0\) 下，\(W \xrightarrow{d} \chi^2_2\)。

推广到一般情形：当 \(K\) 很大（甚至连续）时，上述Wald检验的维数 \(K\) 会很大，导致 \(\hat{\Omega}\) 不可逆或估计不稳定。本文的关键想法是：将 \(\hat{\mu}(\lambda)\) 视为 \(\lambda\) 的随机过程，利用FCLT证明 \(\sqrt{T} \hat{\mu}(\lambda)\) 在 \(H_0\) 下弱收敛到一个高斯过程，然后构造一个基于过程极值的检验统计量：

\[S = \sup_{\lambda \in \Lambda} \frac{\sqrt{T} |\hat{\mu}(\lambda)|}{\hat{\sigma}(\lambda)},\]
其中 \(\hat{\sigma}(\lambda)\) 是 \(\sqrt{T} \hat{\mu}(\lambda)\) 的标准差估计。这个统计量避免了高维协方差矩阵的求逆，只依赖逐点方差估计和过程极值的分位数（通过bootstrap获得）。

核心数学困难：证明 \(\sqrt{T} \hat{\mu}(\lambda)\) 作为 \(\lambda\) 的函数是紧的（tight），从而FCLT成立。这要求 \(d_t(\lambda)\) 作为 \(\lambda\) 的函数是光滑的（如Lipschitz连续），且时间序列的依赖结构足够弱。本文通过假设 \(d_t(\lambda)\) 在 \(\lambda\) 上满足随机Lipschitz条件（即存在一个可积的Lipschitz常数）来保证紧性。

三、这篇论文做了什么

三句话

  1. 研究了什么问题：当损失函数包含形状参数（如风险厌恶系数、投资组合权重、一致评分规则参数）时，如何检验两个预测模型在所有形状参数值上的预测精度相等。
  2. 核心工具/方法：将预测误差序列视为形状参数的随机过程，利用泛函中心极限定理（FCLT）和bootstrap构造基于过程极值的检验统计量，避免离散化带来的多重比较问题。
  3. 主要结论：提出的检验在蒙特卡洛模拟中表现出良好的尺寸和功效性质，尤其当形状参数取值数量 \(K\) 较大时显著优于现有方法（如MCS）；三个实证应用（风险厌恶系数、投资组合权重、Murphy图）展示了方法的实用性。

关键设定与假设

设定： - 两个非嵌套预测模型（模型1和模型2），产生 \(T\) 期预测。 - 损失函数 \(L(\cdot; \lambda)\) 包含形状参数 \(\lambda \in \Lambda \subseteq \mathbb{R}^p\)，其中 \(\Lambda\) 是紧集。 - 实际计算时，在 \(\Lambda\) 上的 \(K\) 个网格点 \(\{\lambda_1, \ldots, \lambda_K\}\) 上评估损失。

假设（从论文中提取，简化表述）： 1. 平稳性与弱依赖：\(\{d_t(\lambda): \lambda \in \Lambda\}\) 是严格平稳且 \(\alpha\)-mixing（或 \(m\)-dependent）的随机过程，混合系数衰减足够快。这保证了FCLT成立。 2. 光滑性：\(d_t(\lambda)\) 作为 \(\lambda\) 的函数是Lipschitz连续的，且Lipschitz常数具有有限矩。这保证了 \(\sqrt{T} \hat{\mu}(\lambda)\) 作为随机过程是紧的（tight）。 3. 长期方差存在且一致可估：\(\sqrt{T} \hat{\mu}(\lambda)\) 的长期方差 \(\sigma^2(\lambda)\) 存在，且存在一致估计 \(\hat{\sigma}^2(\lambda)\)（如通过Newey-West估计量）。 4. 形状参数网格足够密：\(K\) 随 \(T\) 增长，但 \(K/T \to 0\)（或 \(K\) 固定）。这保证了离散化误差可忽略。

相比已有文献的强化/放宽： - 相比MCS（Hansen, Lunde & Nason, 2011）：本文放宽了对 \(K\) 的限制——MCS在 \(K\) 大时功效急剧下降，而本文的检验在 \(K\) 大时仍保持良好性质。 - 相比DM检验（Diebold & Mariano, 1995）：本文扩展了从单一损失函数到连续形状参数族。

主要结果

定理1（FCLT）：在假设1-3下，\(\sqrt{T} \hat{\mu}(\lambda)\) 作为 \(\lambda\) 的函数弱收敛到一个零均值高斯过程 \(G(\lambda)\)，其协方差函数为 \(\Sigma(\lambda, \lambda') = \lim_{T \to \infty} \text{Cov}(\sqrt{T} \hat{\mu}(\lambda), \sqrt{T} \hat{\mu}(\lambda'))\)。

  • 直觉：这是经典FCLT（如Donsker定理）在时间序列和函数参数化下的推广。关键条件是光滑性（保证紧性）和弱依赖（保证有限维收敛）。
  • 必要条件：\(d_t(\lambda)\) 的Lipschitz常数必须具有有限二阶矩，且混合系数衰减快于 \(1/T\)。
  • 解决的技术难点：证明紧性需要控制 \(\sqrt{T} \hat{\mu}(\lambda)\) 在 \(\lambda\) 上的振荡（oscillation），作者通过随机Lipschitz条件和矩不等式（如Burkholder不等式）来实现。

定理2（检验统计量的渐近分布）：定义检验统计量

\[S = \sup_{\lambda \in \Lambda} \frac{\sqrt{T} |\hat{\mu}(\lambda)|}{\hat{\sigma}(\lambda)},\]
其中 \(\hat{\sigma}(\lambda)\) 是 \(\sigma(\lambda)\) 的一致估计。则在 \(H_0\) 下，\(S \xrightarrow{d} \sup_{\lambda \in \Lambda} |G(\lambda)| / \sigma(\lambda)\)。

  • 直觉：这是经典Kolmogorov-Smirnov型统计量的推广。临界值通过bootstrap获得：从原始数据中重抽样（如block bootstrap），计算bootstrap版本的 \(S^*\)，用其经验分布逼近 \(S\) 的渐近分布。
  • 必要条件：\(\hat{\sigma}(\lambda)\) 必须一致估计 \(\sigma(\lambda)\)，且bootstrap过程必须一致地逼近 \(G(\lambda)\) 的分布。作者使用移动块bootstrap（moving block bootstrap）来保持时间序列的依赖结构。

定理3（功效）：在局部备择假设 \(H_1: \mu(\lambda) = \delta(\lambda) / \sqrt{T}\) 下，检验的功效趋于1当且仅当 \(\sup_{\lambda} |\delta(\lambda)| / \sigma(\lambda) > c_\alpha\)，其中 \(c_\alpha\) 是渐近临界值。

  • 直觉：检验能检测到 \(\sqrt{T}\) 量级的偏差，这是参数速率（parametric rate）——与DM检验一致，没有因形状参数连续化而损失速率。
  • 解决的技术难点：证明功效需要控制bootstrap临界值的一致性和备择假设下统计量的发散速度。

证明路线与技术技巧

整体路线（3-5步逻辑主干）： 1. 建立FCLT：证明 \(\sqrt{T} \hat{\mu}(\lambda)\) 在 \(C(\Lambda)\) 空间中弱收敛。这分为两步： - 有限维收敛：对任意有限个 \(\lambda_1, \ldots, \lambda_m\)，\(\sqrt{T} (\hat{\mu}(\lambda_1), \ldots, \hat{\mu}(\lambda_m))^\top\) 联合正态。这由经典的中心极限定理（如CLT for \(\alpha\)-mixing sequences）保证。 - 紧性：证明 \(\sqrt{T} \hat{\mu}(\lambda)\) 的样本路径是等度连续的（equicontinuous）。这通过随机Lipschitz条件和矩不等式实现：对任意 \(\lambda, \lambda'\)，有

\[\mathbb{E}[|\sqrt{T} \hat{\mu}(\lambda) - \sqrt{T} \hat{\mu}(\lambda')|^2] \leq C \cdot \|\lambda - \lambda'\|^2,\]
然后利用Kolmogorov-Chentsov定理得到紧性。 2. 估计长期方差：构造 \(\hat{\sigma}(\lambda)\) 的一致估计。作者使用Newey-West估计量（带Bartlett核）：
\[\hat{\sigma}^2(\lambda) = \hat{\gamma}_0(\lambda) + 2 \sum_{j=1}^{b_T} \left(1 - \frac{j}{b_T+1}\right) \hat{\gamma}_j(\lambda),\]
其中 \(\hat{\gamma}_j(\lambda) = \frac{1}{T} \sum_{t=j+1}^T (d_t(\lambda) - \hat{\mu}(\lambda))(d_{t-j}(\lambda) - \hat{\mu}(\lambda))\)，\(b_T\) 是带宽参数。 3. 构造检验统计量：定义 \(S = \sup_{\lambda \in \Lambda} \sqrt{T} |\hat{\mu}(\lambda)| / \hat{\sigma}(\lambda)\)。在 \(H_0\) 下，由连续映射定理（continuous mapping theorem），\(S\) 弱收敛到 \(\sup_{\lambda} |G(\lambda)| / \sigma(\lambda)\)。 4. bootstrap临界值：使用移动块bootstrap（MBB）生成bootstrap样本 \(\{d_t^*(\lambda)\}\)，计算bootstrap版本的 \(\hat{\mu}^*(\lambda)\) 和 \(S^*\)。证明bootstrap过程一致地逼近 \(G(\lambda)\) 的分布（即bootstrap FCLT成立）。 5. 检验决策：若 \(S > q_{1-\alpha}^*\)（bootstrap临界值），则拒绝 \(H_0\)。

关键跳跃点： - 紧性证明：最吃功夫的部分是证明 \(\sqrt{T} \hat{\mu}(\lambda)\) 的样本路径是紧的。作者需要控制 \(d_t(\lambda)\) 在 \(\lambda\) 上的振荡，这要求 \(d_t(\lambda)\) 的Lipschitz常数具有有限矩。难点在于：时间序列的依赖结构使得矩不等式比独立情形更复杂。作者使用Burkholder不等式和混合不等式（如Davydov不等式）来克服。 - bootstrap一致性：证明bootstrap FCLT成立需要额外的条件：块长度 \(l_T\) 必须随 \(T\) 增长（如 \(l_T \propto T^{1/3}\)），且 \(l_T / T \to 0\)。作者引用Götz & Künsch (1996) 和 Lahiri (2003) 的结果来保证。

技术技巧点名： - 泛函中心极限定理（FCLT）：用于建立 \(\sqrt{T} \hat{\mu}(\lambda)\) 作为随机过程的弱收敛。 - 移动块bootstrap（MBB）：用于生成保持时间序列依赖结构的bootstrap样本，并逼近高斯过程的分布。 - Newey-West长期方差估计：用于一致估计 \(\sigma(\lambda)\)，处理自相关。 - Kolmogorov-Chentsov定理：用于证明紧性，通过矩条件控制样本路径的连续性。 - 连续映射定理：用于从FCLT推导检验统计量的渐近分布。

真实例子与应用

本文包含三个实证应用，均使用真实数据：

  1. 风险厌恶系数：
  2. 数据：S&P 500指数收益率的预测（两个预测模型：历史均值 vs. 简单移动平均）。
  3. 方法：损失函数为带风险厌恶系数 \(\gamma\) 的效用函数（如均值-方差效用）。形状参数 \(\gamma\) 在 \([0, 10]\) 上取 \(K=100\) 个值。
  4. 结果：本文的检验在 \(\gamma\) 的所有值上均不拒绝 \(H_0\)（两个模型预测精度相等），而MCS在 \(\gamma\) 的某些值上拒绝——这可能是MCS的多重比较导致的假阳性。

  5. 想说明什么：验证本文方法在 \(K\) 大时比MCS更保守（尺寸控制更好），避免因多重比较而过度拒绝。

  6. 投资组合权重：

  7. 数据：美股行业指数收益率的预测（两个预测模型：等权重 vs. 最小方差组合）。
  8. 方法：损失函数为投资组合的夏普比率（Sharpe ratio），形状参数为投资组合权重向量 \(\mathbf{w}\)（高维，\(p=10\)个行业）。
  9. 结果：本文的检验拒绝 \(H_0\)，表明最小方差组合显著优于等权重组合。MCS因维数过高而无法计算（协方差矩阵奇异）。

  10. 想说明什么：展示本文方法在高维形状参数（\(p=10\)）下的可行性，而MCS因维数灾难失效。

  11. Murphy图：

  12. 数据：通货膨胀率的预测（两个预测模型：随机游走 vs. 自回归模型）。
  13. 方法：损失函数为一致评分规则（consistent scoring rule）的Murphy图，形状参数为评分规则的参数 \(\theta\)。
  14. 结果：本文的检验在 \(\theta\) 的某些区间上拒绝 \(H_0\)，表明自回归模型在某些评分规则下更优。
  15. 想说明什么：展示方法在非标准损失函数（Murphy图）下的适用性，并说明如何通过检验结果识别“哪个形状参数值下模型有差异”。

🔎 结论是否比证明窄

  • 窄的地方：定理1（FCLT）要求 \(d_t(\lambda)\) 是严格平稳的，但实证应用中可能存在结构突变（如金融危机）。作者在模拟中考虑了结构突变，但理论证明没有覆盖。论文第5节（模拟）提到“我们的检验在结构突变下仍表现良好”，但这是模拟证据，不是理论保证。
  • 泛化的地方：作者声称方法适用于“任何形状参数”，但证明中假设 \(\Lambda\) 是紧集且 \(d_t(\lambda)\) 是Lipschitz连续的。对于非紧集或非光滑的损失函数（如阶梯函数），FCLT可能不成立。论文没有讨论这些边界情况。
  • 未证明的claim：作者在引言中说“我们的方法避免了离散化带来的多重比较问题”，但实际计算时仍然需要在 \(K\) 个离散点上评估损失——只是通过FCLT将离散点视为连续过程的近似。当 \(K\) 固定且很小时（如 \(K=2\)），本文的方法退化为经典Wald检验，并不比Bonferroni校正更好。作者在模拟中验证了 \(K=5, 10, 50\) 的情况，但没有讨论 \(K=2\) 的边界。

四、开放问题

  1. 高维形状参数：本文假设形状参数维数 \(p\) 固定（如 \(p=1\) 或 \(p=10\)）。当 \(p\) 随 \(T\) 增长（如 \(p \gg T\)）时，FCLT是否仍然成立？这需要高维随机过程理论（如函数型数据的稀疏性假设）。扎根点：论文第2节假设 \(\Lambda \subseteq \mathbb{R}^p\) 且 \(p\) 固定；第5节模拟中 \(p=10\) 但 \(T=500\)，未探索 \(p > T\) 的情况。

  2. 结构突变下的理论保证：本文的FCLT要求严格平稳性，但实证中常见结构突变（如金融危机）。能否在非平稳（如分段平稳）设定下建立类似的检验？扎根点：论文第5节模拟考虑了结构突变，但理论证明（定理1）假设平稳性；作者在结论中提及“未来工作可考虑非平稳设定”。

  3. bootstrap的计算成本：本文使用移动块bootstrap，其计算复杂度为 \(O(T \cdot K \cdot B)\)（\(B\) 为bootstrap次数）。当 \(K\) 很大（如 \(K=10^4\)）时，计算成本可能过高。能否利用张量收缩/einsum技巧来加速bootstrap过程？扎根点：论文第3节描述bootstrap过程时未讨论计算复杂度；这与研究者的高阶U统计量工作（树宽/张量收缩）有潜在连接。

  4. 与函数型数据分析（FDA）的桥梁：本文的FCLT思路与FDA中的同时置信带方法高度相似，但作者没有引用FDA文献。能否将FDA中的同时置信带（如基于高斯过程的临界值）直接用于预测比较？这需要验证FDA方法在时间序列依赖下的有效性。扎根点：论文第2节引用Patton (2020) 的Murphy图，但未提及FDA文献；这是一个值得研究者去查的缺口——FDA中的同时推断方法能否直接迁移？

Maintained by 陈星宇 · Homepage · Source on GitHub

评论