跳转至

Backtesting High-Dimensional Expected Shortfall

作者: Zaichao Du, Juan Carlos Escanciano, Pei Pei
主题: 效率理论 / Debiased ML
相关性: 7/10
链接: https://arxiv.org/abs/2611.13882


一、领域脉络与小综述

  • 这个方向是什么:本文研究的根本问题是:当预测模型使用高维预测变量(如宏观经济金融指标)时,如何对条件期望损失(Expected Shortfall, ES)的预测进行样本外回测(backtesting)。回测的核心是检验一个预测模型是否"正确"——即预测的ES是否与真实的下尾风险一致。在高维设定下,预测模型本身(如Lasso)的估计误差和正则化偏差会污染回测统计量,导致即使预测模型是"最优"的,回测也会错误地拒绝它。这个子方向处于预测评估(forecast evaluation)与高维统计推断的交汇处,成熟度中等:低维ES回测理论已较完善,但高维下的系统性处理是本文的贡献点。

  • 发展脉络(history):

    • 奠基工作:ES回测的理论基础建立在联合可激发性(joint elicitability)之上,即VaR和ES可以作为一个二元函数组被共同激发(Fissler and Ziegel, 2016)。这为构造基于"得分"(score)的回测方法提供了理论依据。Nolde and Ziegel (2017) 进一步探讨了可激发性与银行监管中回测实践的联系。这些工作确立了"用得分函数构造矩条件"这一基本范式。
    • 主要进展(低维估计效应):在低维参数模型下,West (1996) 系统研究了参数估计误差对预测评估统计量渐近分布的影响,指出估计效应(estimation effect)会改变回测统计量的方差,需要修正。Barendse et al. (2023) 则专门针对VaR和ES回测,研究了在低维但存在估计误差时,如何修正回测统计量使其具有正确的渐近尺寸。这些工作为本文提供了"必须处理估计效应"的直接铺垫。
    • 主要进展(高维ES估计):高维ES的估计问题已有进展。Barendse (2024) 提出了ES-Lasso,在时间序列依赖和重尾条件下建立了惩罚ES回归的估计误差界。Zhang et al. (2025) 和 He et al. (2026) 等也发展了高维ES回归的稳健估计与推断方法。这些工作解决了"如何在高维下估计ES模型",但没有解决"如何在高维下评估(回测)ES预测"。本文的定位正是填补这一缺口。
    • 当前frontier:当前的前沿是将Neyman正交化(Neyman orthogonality)与去偏Lasso(debiased Lasso)技术应用于非光滑、非线性的回测矩条件。Chernozhukov et al. (2018, 2022) 的Double/Debiased Machine Learning框架为处理高维 nuisance 参数提供了通用工具,但主要针对光滑矩条件。本文的难点在于将这一框架推广到由VaR和ES定义的非光滑(含示性函数)矩条件,并处理时间序列依赖。本文的位置是首次在高维时间序列设定下,为ES回测建立同时正交于VaR、ES和工具变量估计误差的矩条件,并证明其oracle等价性。
  • 子线索聚类:

    1. ES回测与可激发性:这条线索关注如何利用VaR-ES的联合可激发性构造有效的回测统计量。代表工作:Fissler and Ziegel (2016), Nolde and Ziegel (2017), Du and Escanciano (2017), Bayer and Dimitriadis (2022)。核心问题是:什么样的得分函数能产生对模型误设敏感、但对估计误差稳健的回测统计量?
    2. 高维分位数与ES回归:这条线索关注在高维预测变量下如何估计条件分位数(VaR)和条件期望损失(ES)。代表工作:Belloni and Chernozhukov (2011)(分位数Lasso),Barendse (2024)(ES-Lasso),Zhang et al. (2025),Wu et al. (2025)。核心问题是:如何在重尾、依赖数据下获得可用的估计误差界,并构造有效的推断。
    3. 预测评估中的估计效应:这条线索关注参数估计误差对预测评估统计量(如Diebold-Mariano检验、回测统计量)渐近分布的影响。代表工作:West (1996),Barendse et al. (2023)。核心问题是:如何修正统计量或调整临界值,使得评估结论不受估计误差的支配。
    4. 高维推断与正交化:这条线索提供处理高维 nuisance 参数的工具。代表工作:Chernozhukov et al. (2018, 2022)。核心问题是:如何构造对 nuisance 参数估计误差一阶不敏感的(正交)得分函数,从而获得对目标参数的有效推断。
  • 这个方向在追问的核心问题:

    1. 如何构造一个回测统计量,使其在原假设(预测最优)下具有已知的(或可一致估计的)渐近分布,从而可以控制第一类错误?
    2. 如何消除高维估计(正则化)带来的一阶偏差,使得回测统计量的渐近分布与"已知真实模型"时的oracle分布相同?
    3. 在时间序列依赖下,如何正确估计回测统计量的长期方差(long-run variance),以保证推断的有效性?
    4. 回测统计量对哪些方向的模型误设(如遗漏预测变量、非线性依赖)具有功效(power)?如何选择测试函数(test function)来针对特定的误设方向?
  • ⚠️ 作者的 framing(必须明确标注成"这是作者的说法"):作者将缺口frame为:现有高维ES估计方法(如Barendse 2024)只解决了估计问题,而高维ES回测的理论尚属空白。作者声称,在高维下,传统的回测统计量会因估计误差而严重扭曲("conventional backtests can severely overreject ES optimal forecasts"),因此需要一种新的、正交的矩条件来消除这一扭曲。作者将他们的方法定位为"Double Lasso",即对ES预测和测试函数都进行正则化估计,从而实现对三个 nuisance 分量(VaR、ES、工具变量)的同时正交化。作者淡化了:对测试函数进行Lasso估计可能引入的模型选择不确定性,以及这种不确定性对回测功效的影响。作者也回避了一个更根本的问题:当高维模型本身(如稀疏性假设)被违反时,回测的结论是否还有意义。值得研究者去查的问题:作者声称的"oracle等价性"是否依赖于测试函数本身的稀疏性?如果测试函数不稀疏,是否可以通过其他方式(如岭回归)实现正交化?此外,作者没有讨论如何选择测试函数以最大化对特定误设方向的功效,这是一个明显的开放问题。

  • 张力:未见明显对立引用。但存在一个微妙的张力:Barendse et al. (2023) 在低维设定下强调,即使估计误差存在,也可以通过修正统计量来获得有效推断;而本文则强调在高维下,这种修正变得不可行,必须依赖正交化。这两种观点并非矛盾,而是反映了低维与高维范式的差异:低维下估计误差是O_p(1/√n)且可显式修正,高维下估计误差是O_p(√(s log p/n))且方向未知,只能通过正交化消除。

二、最核心、最简单的例子 / 数学问题

第一步:把符号、模型、可观测数据交代清楚

  • 符号:
  • Y_{t+1}:标量结果变量(如GDP增长率、收益率),是随机变量。
  • X_t:p_T维预测变量向量(含截距),是随机向量。
  • q_α(X_t, γ):条件α-VaR模型,是X_t和参数γ的已知函数。γ_0是真实参数值(或伪真实值),是参数/estimand。
  • e_α(X_t, β):条件α-ES模型,是X_t和参数β的已知函数。β_0是真实参数值,是参数/estimand。
  • α:尾部概率水平(如0.05),是固定常数。
  • ψ_VaR,t+1(γ):VaR得分(1{Y_{t+1} ≤ q_α(X_t, γ)} - α),是随机变量,用于刻画VaR的矩条件。
  • ψ_ES,t+1(θ):ES得分((Y_{t+1}/α)1{Y_{t+1} ≤ q_α(X_t, γ)} - e_α(X_t, β)),是随机变量,用于刻画ES的矩条件。
  • Y*_{t+1}(γ):尾部调整后的伪结果(q_α(X_t, γ) + (1/α)1{Y_{t+1} ≤ q_α(X_t, γ)}(Y_{t+1} - q_α(X_t, γ))),是随机变量,是ES得分中的核心部分。
  • w(X_t):测试函数(test function),是X_t的已知函数,用于构造回测统计量,是工具变量。
  • λ_1(X_t), λ_2(X_t):得分组合的权重函数,是工具变量。
  • θ = (γ, β):组合参数向量。
  • T:总样本量;R:初始训练样本量;P:回测(评估)样本量,T = R + P。
  • I_t:在时间t的训练样本索引集合。
  • bθ_t = (bγ_t, bβ_t):在时间t基于训练样本I_t估计的参数,是随机变量。
  • bρ_t:测试函数投影的估计系数,是随机变量。
  • S^⊥_{t+1}:正交得分(k_{0t}ε_{t+1}),是随机变量。
  • Ω:正交得分的长期方差(long-run variance),是参数/estimand。
  • J_P:回测统计量。

  • 模型:

  • 数据生成过程:{Y_{t+1}, X_t}是严格平稳的β-混合过程。
  • 条件VaR模型:q_α(X_t, γ_0)满足P(Y_{t+1} ≤ q_α(X_t, γ_0) | X_t) = α。
  • 条件ES模型:e_α(X_t, β_0) = E[Y_{t+1} | Y_{t+1} ≤ q_α(X_t, γ_0), X_t]。
  • 线性模型设定:q_α(X_t, γ) = X_t'γ,e_α(X_t, β) = X_t'β。
  • 稀疏性假设:γ_0和β_0是稀疏的,支撑集大小s_γ和s_β远小于维度p_T。

  • 可观测数据:

  • 研究者观测到时间序列{Y_{t+1}, X_t},其中t = 0, ..., T-1。
  • 研究者使用前R个观测(训练集)估计模型参数bθ_t,然后用后P个观测(测试集)计算回测统计量。
  • 研究者观测不到真实的γ_0和β_0,也观测不到潜在的反事实结果。

第二步:讲最小内核

本文的核心数学问题可以归结为:如何构造一个关于ES预测的矩条件,使其在"预测最优"的原假设下,即使γ_0和β_0被高维估计所替代,其样本均值仍然以o_p(P^{-1/2})的误差收敛到均值为零的正态分布。

  • 最简特例:考虑最简单的线性模型,且只关心ES,不关心VaR。假设:
  • Y_{t+1} = X_t'β_0 + ε_{t+1},其中ε_{t+1}独立于X_t,且其下尾行为由参数决定。
  • 我们想检验的ES模型是e_α(X_t, β) = X_t'β。
  • 一个朴素的回测得分是S_{t+1}(β) = (Y_{t+1}/α)1{Y_{t+1} ≤ q_α(X_t)} - X_t'β,其中q_α(X_t)是真实的VaR(假设已知)。
  • 在原假设下,E[S_{t+1}(β_0)|X_t] = 0。
  • 如果β_0已知,那么(1/√P)Σ S_{t+1}(β_0) ⇒ N(0, V),回测统计量J_P = (1/√P Σ S_{t+1}(β_0))' V^{-1} (1/√P Σ S_{t+1}(β_0)) ⇒ χ²。
  • 问题:如果β_0未知,我们用bβ_t(Lasso估计)替代,那么(1/√P)Σ S_{t+1}(bβ_t)的分布是什么?
  • 朴素替代的后果:(1/√P)Σ S_{t+1}(bβ_t) = (1/√P)Σ S_{t+1}(β_0) - (1/√P)Σ X_t'(bβ_t - β_0)。第二项是估计误差的累积。在高维下,bβ_t - β_0的L1范数是O_p(s_β λ_T),而(1/√P)Σ X_t的L∞范数通常是O_p(√(P log p_T)),因此第二项的量级是O_p(s_β λ_T √(P log p_T)),这通常是发散的(因为λ_T只以√(log p_T / R)的速度衰减)。这就是"估计扭曲"的数学本质。
  • 正交化(核心思想):构造一个修正项,使得得分对β的局部变化不敏感。即,寻找S^⊥_{t+1}(β) = S_{t+1}(β) - c(X_t)'(β - β_0),其中c(X_t)是某个函数,使得E[∂S^⊥_{t+1}(β_0)/∂β|X_t] = 0。在本文中,这个修正项是通过将测试函数w(X_t)对ES模型的导数∂e_α(X_t, β_0)/∂β = X_t做投影(残差化)来实现的。即,用w(X_t) - ρ'X_t代替w(X_t),其中ρ是投影系数。这样,E[(w(X_t) - ρ'X_t)X_t'] = 0,从而消除了ES估计误差的一阶影响。
  • 为什么能成立:因为bβ_t - β_0的收敛速度是o_p(1),而正交化使得得分对β的导数在期望意义上为零,所以S^⊥_{t+1}(bβ_t) - S^⊥_{t+1}(β_0)的累积效应是o_p(P^{-1/2}),可以忽略。这就是oracle等价性。
  • 本文的一般化:本文把这个思想推广到更一般的情形:(1) VaR也需要估计,因此得分同时对VaR估计误差正交;(2) 测试函数可以依赖于估计的ES(如e_α(X_t, β)^2),因此需要额外的投影步骤;(3) 数据是时间序列,需要处理长期方差估计。

三、这篇论文做了什么

  • 三句话:

    1. 研究了什么问题:在高维预测变量下,如何对ES预测进行有效的样本外回测,消除估计和正则化误差对回测统计量的一阶影响。
    2. 核心工具/方法:提出了基于Neyman正交化的"Double Lasso"回测方法。该方法通过三个步骤(估计VaR、估计ES、估计测试函数的投影)构造正交的矩条件,并使用HAC估计量进行推断。
    3. 主要结论:在稀疏线性模型和时间序列依赖下,所提出的正交回测统计量具有oracle等价性,即其渐近分布与使用真实模型参数时的分布相同。模拟和实证研究证实,传统回测会严重过度拒绝最优预测,而正交化能有效控制尺寸,并能在实证中发现仅用历史增长预测ES的模型存在遗漏信息。
  • 关键设定与假设:

  • 模型设定:线性ES模型e_α(X_t, β) = X_t'β,线性VaR模型q_α(X_t, γ) = X_t'γ。这是为了利用Lasso的凸优化性质。
  • 稀疏性:γ_0和β_0是稀疏的,支撑集大小s_γ和s_β满足s_γ^2 log^2(p_T) / R → 0等条件。这是Lasso估计一致性的前提。
  • 时间序列依赖:数据是严格平稳的β-混合过程,混合系数衰减足够快。这保证了长期方差的存在性和HAC估计量的一致性。
  • 矩条件:核心假设是条件VaR和ES模型在X_t下是正确设定的(相对于X_t信息集),即E[1{Y_{t+1} ≤ q_α(X_t, γ_0)} - α | X_t] = 0和E[Y*_{t+1}(γ_0) - e_α(X_t, β_0) | X_t] = 0。这是回测的原假设。
  • Neyman正交性:通过构造,得分函数对三个 nuisance 参数(γ、β、ρ)的Gateaux导数在真实值处为零。这是oracle等价性的核心。
  • 相比已有文献:相比Barendse et al. (2023)的低维结果,本文允许维度p_T随样本量增长;相比Barendse (2024)的估计结果,本文关注的是推断(回测)而非估计本身,并且额外处理了测试函数的估计误差。

  • 证明路线与技术技巧:

    • 整体路线:证明分为三步。
      1. 建立oracle得分的高斯近似:首先证明,如果γ_0、β_0和ρ_0已知,那么oracle得分S^⊥_{t+1}的部分和满足混合序列的中心极限定理,收敛到均值为零、协方差为Ω的正态分布。
      2. 证明可行得分与oracle得分的渐近等价:这是核心步骤。将可行得分bS^⊥_{t+1}与oracle得分S^⊥_{t+1}之差分解为三部分:VaR估计误差、ES估计误差、投影估计误差。利用Neyman正交性,这些误差项的一阶项在期望意义上为零。然后利用Lasso估计的收敛速率(||bγ_t - γ_0||_1 = O_p(s_γ λ_T)等)和混合序列的矩不等式,证明这些误差项的累积和是o_p(P^{-1/2})。
      3. 证明HAC估计量的一致性:证明基于可行得分构造的HAC估计量bΩ一致估计Ω。这需要控制可行得分与oracle得分的差异对长期方差估计的影响。
    • 关键跳跃点:
      • 处理非光滑性:ES得分中含有示性函数1{Y_{t+1} ≤ q_α(X_t, γ)},它不是γ的光滑函数。作者通过引入条件密度函数f(q_{0t}|X_t),将示性函数的期望展开为线性项加高阶项,从而获得可处理的导数。这是技术上的关键一步。
      • 处理估计误差的累积:在滚动/递归估计下,bθ_t是随时间变化的随机过程。作者通过"延迟"技巧(将bθ_t替换为基于更早数据的bθ_{t-h})来打破估计误差与当前得分的相关性,然后利用混合性来控制剩余项。这是处理时间序列依赖下估计效应累积的核心技巧。
      • 处理生成的测试函数:当测试函数w(X_t, bβ_t)依赖于估计的ES时,其投影系数bρ_t的估计误差也需要被正交化。作者通过额外的Lasso回归来处理这一层估计误差。
    • 技术技巧点名:
      • Neyman正交化:核心技巧,用于消除一阶估计效应。
      • Lasso收敛速率:利用||bθ_t - θ_0||_1 = O_p(s λ_T)的稀疏收敛速率来控制误差项。
      • β-混合与耦合:利用延迟技巧和耦合不等式来处理时间序列依赖。
      • HAC估计量:使用Bartlett核的长期方差估计量,并证明其在可行得分下的一致性。
      • 经验过程理论:用于处理非光滑矩条件的均匀收敛性。
  • 真实例子与应用:

    • 数据:G7国家的季度GDP增长率,预测变量包括64个宏观经济金融指标(如金融状况指数、信贷增长、利差等)。
    • 方法应用:先估计一个高维的VaR模型(分位数Lasso),然后基于VaR估计构造ES的伪结果,再比较两个ES模型:M0(仅用历史增长)和M1(加入金融指标)。
    • 结果:对于美国,正交回测拒绝了M0(p=0.0009),表明金融指标包含预测下行风险的信息;而传统回测也拒绝M0,但存在严重过度拒绝的嫌疑。对于加拿大,传统回测拒绝了M1的非线性扩展,但正交回测不拒绝,说明传统回测的拒绝可能是估计误差造成的假阳性。这个例子说明了正交化可以改变实证结论。
  • 🔎 结论是否比证明窄:

    • 作者在摘要和引言中声称"conventional backtests can severely overreject ES optimal forecasts",但证明部分主要针对的是线性稀疏模型下的渐近结果。对于非线性模型或模型误设更严重的情形,证明并未覆盖,但结论的表述似乎更具一般性。
    • 作者在结论部分提到"validity also relies on the maintained GaR conditions",但证明中对于VaR模型误设的稳健性讨论较少。如果VaR模型本身是错误的,正交性是否还能成立?这是一个在证明中未被完全回答的问题。
    • 作者在实证部分承认"the comparison cannot establish that the baseline rejection is false",但结论部分的表述("illustrates why predictive variable selection cannot substitute for backtesting")似乎暗示了更强的因果解释。

四、开放问题

  1. 测试函数的选择与功效:作者指出"power depends on the association between the residualized test function and the departure from the ES model",但未给出如何系统性地选择测试函数以最大化对特定误设方向的功效。扎根于第4.2节和结论部分关于"test function"的讨论。一个具体的问题是:能否基于Neyman正交得分构造一个得分检验(score test),并推导其在局部备择下的功效函数,从而指导测试函数的选择?
  2. 非线性模型的推广:本文的理论主要针对线性模型。对于非线性ES模型(如e_α(X_t, β) = g(X_t'β)),正交化条件如何调整?扎根于第2.2节关于"general (possibly nonlinear) predictive specifications"的设定,但证明部分未覆盖。一个具体的问题是:能否将本文的框架推广到广义线性模型或单指数模型,并保持oracle等价性?
  3. 模型误设下的稳健性:本文的核心假设是条件VaR和ES模型在X_t下正确设定。如果模型误设(例如,真实的ES是非线性的),正交回测统计量的行为如何?扎根于第3节关于"dynamic forecast misspecification relative to F_t"的讨论,但未涉及对X_t的误设。一个具体的问题是:能否建立对X_t条件模型误设稳健的回测方法,例如通过使用更灵活的机器学习模型来估计nuisance参数?
  4. 长期方差估计的改进:本文使用HAC估计量,但未讨论在重尾或强依赖下HAC的有限样本表现。扎根于第3节关于"long-run covariance estimation"的讨论。一个具体的问题是:能否使用自举(bootstrap)方法(如移动区块自举)来改进有限样本下的尺寸控制,尤其是在P相对较小而p_T较大时?

提示:要确认上述问题是否为真gap,建议去读近5年关于预测评估(如Giacomini and White, 2006; Diebold, 2015)和高维推断(如Bühlmann and van de Geer, 2011; Javanmard and Montanari, 2014)的文献综述,看是否已有类似方法被提出。如果这些综述都未提及高维ES回测的正交化问题,那么上述方向很可能是有价值的。


Maintained by 陈星宇 · Homepage · Source on GitHub

评论