跳转至

Asymmetric penalties underlie proper loss functions in probabilistic forecasting

作者: E Buchweitz, J V Romano, R J Tibshirani
来源: Biometrika
主题: 数理统计 / 假设检验
相关性: 6/10
机构绿灯: University of California, Berkeley(US News 前 50,免分进入精读)
链接: 期刊页 · arXiv


一、领域脉络与小综述

这个方向是什么

本文研究的根本问题是:在概率预测中,当我们使用一个 proper scoring rule(适当评分规则)来评估预测分布时,该规则对"低估"与"高估"某个分布参数(如均值、尺度、分位数)的惩罚是否对称? 这是一个决策理论与统计推断交叉的基础性问题。它之所以重要,是因为在实际预测评估中(如疫情死亡人数、气温、零售需求),预测者面对模型不确定性和分布漂移时,会有意或无意地偏向"保守"或"激进"的预测;如果评分规则本身对某一方向的偏差惩罚更重,那么预测者的最优策略就不再是"诚实报告",而是"策略性偏移"。该方向目前处于理论成熟但应用认知不足的阶段——proper scoring rule 的理论框架(Gneiting & Raftery, 2007)已相当完备,但对"不对称性"这一具体维度的系统刻画,本文是首次。

发展脉络

  • 奠基工作:Gneiting and Raftery (2007) 系统建立了 proper scoring rule 的理论框架,给出了对数损失、CRP 损失、能量损失等经典规则的严格定义与性质,确立了"properness(适当性)"作为评分规则合理性的核心标准。Brier (1950) 提出二次损失(Brier score),是概率预测评估的早期开创性工作。Good (1952) 提出对数损失,奠定了信息论视角下评分规则的基础。Savage (1971) 从决策论角度给出了 proper scoring rule 的刻画。
  • 主要进展:Gneiting & Raftery (2007) 之后,Ehm et al. (2016) 给出了点预测中一致评分函数的 Choquet 表示,揭示了评分函数与统计泛函(如分位数、期望)之间的内在联系;Patton (2020) 进一步强调了在模型误设定下评分函数选择对预测排名的影响。Parry et al. (2012) 研究了 proper local scoring rules 的结构,证明了局部性对评分规则形式的强约束。Resin et al. (2024) 获得了期望 CRP 损失的 shift-dispersion 分解,为理解 CRP 损失在位置-尺度偏移下的行为提供了工具。
  • 当前 frontier:加权评分规则(weighted scoring rules)成为近年的活跃方向——Allen et al. (2023a, 2023b) 和 Taillardat et al. (2023) 发展了阈值加权 CRP 损失(threshold-weighted CRPS),用于强调极端事件的预测评估;Lerch et al. (2017) 系统讨论了加权评分规则在极端事件评估中的性质与局限。Bracher et al. (2021) 将区间评分(interval score)引入流行病预测评估,成为 COVID-19 期间的实际评估标准。
  • 本文的位置:本文是首次系统刻画 proper loss 在参数低估/高估方向上不对称性的工作。它不提出新的评分规则,而是对现有规则的内在几何性质进行解剖,并进一步证明这种不对称性在分布漂移下可被利用进行 hedging(对冲)。作者将这一发现与预测评估实践(COVID-19、气温、零售)直接联系起来。

子线索聚类

  1. Proper scoring rule 的理论刻画:Gneiting & Raftery (2007)、Savage (1971)、Parry et al. (2012)、Ehm et al. (2016)。这一支关注"什么样的评分规则是合理的",核心工具是凸分析、Bregman 散度、Choquet 表示。
  2. 加权与极端事件评分:Allen et al. (2023a, 2023b)、Taillardat et al. (2023)、Lerch et al. (2017)、Bracher et al. (2021)。这一支关注如何让评分规则聚焦于特定区域(如尾部、阈值以上),核心工具是权重函数的设计与性质。
  3. 评分规则的应用与实证评估:Cramer et al. (2022a, 2022b)、Reich et al. (2019)、Makridakis et al. (2022)。这一支关注在真实预测挑战(疫情、零售、气象)中如何选择和使用评分规则。
  4. 评分规则与决策/博弈:Buja et al. (2005)、Carvalho (2016)、Merkle & Steyvers (2013)。这一支关注预测者的策略性行为——当评分规则不完美时,预测者是否有动机偏离真实信念。

这个方向在追问的核心问题

  1. 评分规则的选择如何影响预测者的激励结构? 即:给定一个 proper scoring rule,预测者的最优策略是否总是"诚实报告"?在模型误设定或分布漂移下,这个结论是否仍然成立?
  2. 不同评分规则对同一组预测的排名是否一致? Patton (2020) 已经证明在模型误设定下排名可能不一致,本文进一步揭示这种不一致的几何根源——不对称性。
  3. 如何设计对特定误差方向更敏感的评分规则? 加权评分规则提供了一种途径,但本文表明,即使不加权,主流规则本身就具有内在的方向偏好。

⚠️ 作者的 framing(这是作者的说法)

作者将缺口 frame 为:"properness(适当性)只保证了期望损失在真实分布处取最小值,但完全没有约束损失函数在偏离真实分布时的形状——特别是,它没有约束低估与高估某一参数时损失的相对大小。" 作者认为,这种"形状自由度"导致了一个被忽视的后果:在分布漂移下,预测者可以通过 hedging(对冲)获得优势,即故意偏离真实信念以降低最坏情况下的期望损失。作者将这一现象与"诚实预测"的规范性主张直接对立起来,暗示 properness 本身不足以支撑"诚实预测是最优策略"这一常见论断。

值得注意的张力:作者在引言中强调"proper loss 鼓励诚实预测"是"common belief"(常见信念),但这一信念的正式表述(如 Gneiting & Raftery 2007 中的定理)只适用于预测者完全确定真实分布的情形。作者将这一"信念"作为靶子,但并未引用任何明确主张"properness ⇒ 诚实预测"的文献——这可能是作者有意为之(因为这样的正式主张确实很少见),也可能是文献中的隐含假设。这是一个值得研究者去查的问题:是否存在明确主张 properness 足以保证诚实预测的正式文献?如果没有,作者的 framing 是否有些"打稻草人"?

明显该被引却没出现在 intro 里的:Gneiting & Raftery (2007) 中关于严格 proper scoring rule 与凸函数的对偶关系(Savage 表示)是本文凸分析工具的直接基础,但作者在 intro 中仅一笔带过。更值得注意的是,Buja et al. (2005) 关于分类问题中损失函数不对称性的工作与本文主题高度相关,但作者仅在 related work 中简要提及,未深入对比。此外,Frongillo & Kash (2015) 关于 proper scoring rules 与 market making 的研究(涉及策略性行为)也未出现在参考文献中。

张力

未见明显对立引用。但存在一个微妙的张力:Ehm et al. (2016) 的 Choquet 表示表明,任何一致评分函数都可以表示为 elementary scoring functions 的混合,而 elementary scoring functions 天然具有不对称性(它们只惩罚一个方向)。这意味着"不对称性"可能是评分函数的普遍特征而非例外。本文的贡献在于将这一观察系统化,并揭示其实际后果。但这也意味着本文的"新意"更多在于系统化与后果揭示,而非发现全新的现象。


二、最核心、最简单的例子 / 数学问题

第一步:符号、模型、可观测数据

在展开论文的技术细节之前,先把记号立清楚。本文的核心设定如下:

  • 预测分布:\(F\) 表示预测者给出的概率分布(forecast),\(G\) 表示真实的目标分布(target)。两者都定义在同一个可测空间 \((\mathcal{Y}, \mathcal{B})\) 上,本文中 \(\mathcal{Y} \subseteq \mathbb{R}^d\)。
  • 损失函数(评分规则):\(\ell(F, y)\) 表示当预测为 \(F\)、观测到 \(y\) 时的损失。期望损失记为 \(\ell(F, G) = \mathbb{E}_{Y \sim G}[\ell(F, Y)]\)。
  • Properness(适当性):\(\ell\) 是 proper 的,当且仅当对任意 \(F, G\),有 \(\ell(G, G) \leq \ell(F, G)\)。即真实分布本身最小化期望损失。若等号仅在 \(F = G\) 时成立,则称严格 proper。
  • 散度(divergence):由 proper loss 诱导的散度定义为 \(d(F, G) = \ell(F, G) - \ell(G, G) \geq 0\)。这是本文分析的核心对象——它度量了"预测偏离真实"的代价。
  • 尺度族(scale family):\(\{G_\sigma : \sigma > 0\}\) 表示由某个基准分布 \(G_1\) 通过伸缩生成的分布族,即 \(G_\sigma\) 是 \(G_1\) 的 \(\sigma\) 倍伸缩。例如,若 \(G_1 = N(0,1)\),则 \(G_\sigma = N(0, \sigma^2)\)。
  • 位置族(location family):\(\{G_\mu : \mu \in \mathbb{R}\}\) 表示由平移生成的分布族,即 \(G_\mu\) 是 \(G_0\) 平移 \(\mu\) 的结果。
  • 指数族(exponential family):\(p_\eta(x) = h(x) e^{\eta T(x) - A(\eta)}\),其中 \(\eta\) 是自然参数,\(T(x)\) 是充分统计量,\(A(\eta)\) 是对数配分函数。本文用它来刻画对数损失下的不对称性。
  • 可观测数据:在实证部分,研究者观测到的是预测分布(以分位数或密度形式存储)和实际观测值(如每周 COVID-19 死亡人数、气温、零售量)。注意:真实分布 \(G\) 本身是不可观测的,研究者只能通过大量观测来近似。因此,本文的理论结果(关于 \(\ell(F, G)\) 的性质)在实证中是通过平均损失来近似的。

第二步:最小内核

本文的核心数学问题可以归结为以下最小设定:

设定:考虑一个尺度族 \(\{G_\sigma : \sigma > 0\}\),固定真实分布为 \(G = G_1\)。考虑两个"错误"的预测:\(F_+ = G_\sigma\)(高估尺度)和 \(F_- = G_{1/\sigma}\)(低估尺度),其中 \(\sigma > 1\)。问:对于一个给定的 proper loss \(\ell\),是否有

\[\ell(G_\sigma, G_1) \gtrless \ell(G_{1/\sigma}, G_1)?\]
即:高估尺度与低估尺度,哪个被惩罚得更重?

为什么这个问题是核心:如果 \(\ell(G_\sigma, G_1) > \ell(G_{1/\sigma}, G_1)\),那么该损失函数"偏好"低估尺度(惩罚高估更重);反之则"偏好"高估。在分布漂移下(例如真实尺度在训练和测试之间可能变大或变小),预测者可以通过故意偏向被惩罚较轻的方向来降低期望损失——这就是 hedging。

本文的关键洞见:对于一大类 proper loss(对数、CRP、二次、球面、能量等),这种不对称性是内在的,而非偶然。更精确地说,不对称性的方向由损失函数的凸性和参数化方式共同决定。例如:

  • CRP 损失(对应 Cramér 距离):在尺度族上,\(\ell(G_\sigma, G_1) > \ell(G_{1/\sigma}, G_1)\),即高估尺度被惩罚更重,损失函数"偏好"低估(sharp, overconfident 预测)。
  • 二次损失(对应 \(L^2\) 距离):在尺度族上,\(\ell(G_\sigma, G_1) < \ell(G_{1/\sigma}, G_1)\),即低估尺度被惩罚更重,损失函数"偏好"高估(flat, 保守预测)。
  • 对数损失(对应 KL 散度):在尺度族上,方向取决于具体分布。对于正态尺度族,\(\ell(G_\sigma, G_1) < \ell(G_{1/\sigma}, G_1)\),即低估尺度被惩罚更重;但对于指数尺度族,方向可能反转。

证明的最小逻辑链(以 CRP 为例):

  1. CRP 损失诱导的散度是 Cramér 距离:\(d(F, G) = \int (F(x) - G(x))^2 dx\)。
  2. 对于尺度族,令 \(F = G_\sigma\),则 \(d(G_\sigma, G_1) = \int (G(x/\sigma) - G(x))^2 dx\)。
  3. 通过变量替换 \(u = x/\sigma\),可得 \(d(G_\sigma, G_1) = \sigma \int (G(u) - G(\sigma u))^2 du\)。
  4. 类似地,\(d(G_{1/\sigma}, G_1) = \frac{1}{\sigma} \int (G(u) - G(u/\sigma))^2 du\)。
  5. 比较两者,关键在于 \(\sigma\) 与 \(1/\sigma\) 的系数差异,以及积分项的大小关系。对于 CRP,可以证明 \(\sigma\) 的系数效应占主导,导致 \(d(G_\sigma, G_1) > d(G_{1/\sigma}, G_1)\)。

为什么这个最小内核是"整篇论文的骨架":本文的所有推广(位置族、指数族、阈值加权 CRP、能量损失)都是在上述最小设定上"加壳"——要么改变分布族的结构(从尺度族到位置族、指数族),要么改变损失函数的形式(从 CRP 到能量、二次、球面),但核心问题始终是:在某个参数方向上,低估与高估的惩罚是否对称?如果不对称,方向如何?

三、这篇论文做了什么

三句话

  1. 研究了什么问题:本文系统刻画了一类广泛使用的 proper scoring rules(对数、CRP、二次、球面、能量、DS 损失)在概率预测中对分布参数(尺度、位置、形状)低估与高估惩罚的不对称性,并证明这种不对称性在分布漂移下允许预测者通过 hedging 获得优势。
  2. 核心工具/方法:作者引入了"对称可伸缩散度"(symmetric rescalable divergence)的概念,利用损失函数的凸性、Bregman 散度表示以及尺度/位置/指数族的参数化结构,建立了不对称性与损失函数局部曲率及参数化之间的定量联系。
  3. 主要结论:在温和的正则条件下,(i) CRP 和能量损失在尺度族上惩罚高估更重(偏好低估/尖锐预测);(ii) 二次和 DS 损失在尺度族上惩罚低估更重(偏好高估/保守预测);(iii) 对数损失的方向取决于具体分布族;(iv) 阈值加权 CRP 的不对称性由权重函数决定;(v) 在分布漂移下,这些不对称性允许预测者通过向被惩罚较轻的方向偏移来降低期望损失。

关键设定与假设

在第二节最小记号的基础上,本文的完整设定如下:

  • 损失函数类:考虑以下 proper scoring rules:
  • 对数损失:\(\ell(F, y) = -\log f(y)\),诱导 KL 散度。
  • CRP 损失:\(\ell(F, y) = \int (F(x) - \mathbb{I}\{y \leq x\})^2 dx\),诱导 Cramér 距离。
  • 能量损失:\(\ell(F, y) = \mathbb{E}\|X - X'\|^\beta - \frac{1}{2}\mathbb{E}\|X - y\|^\beta\)(\(X, X' \sim F\)),诱导能量距离。
  • 二次损失:\(\ell(F, y) = -2f(y) + \int f(x)^2 dx\),诱导 \(L^2\) 距离。
  • 球面损失:\(\ell(F, y) = -f(y) / \|f\|_2\),诱导球面距离。
  • DS 损失:\(\ell(F, y) = \log \text{Var}(X) + (y - \mathbb{E}X)^2 / \text{Var}(X)\),诱导 DS 散度。

  • 分布族:

  • 尺度族:\(G_\sigma(x) = G_1(x/\sigma)\),\(\sigma > 0\)。
  • 位置族:\(G_\mu(x) = G_0(x - \mu)\),\(\mu \in \mathbb{R}\)。
  • 指数族:\(p_\eta(x) = h(x) e^{\eta T(x) - A(\eta)}\),\(\eta > 0\)。

  • 关键假设:

  • 对称性(Symmetry):散度 \(d(F, G)\) 关于其参数对称,即 \(d(F, G) = d(G, F)\)。这一假设对 CRP、二次、能量损失成立,但对 KL 散度不成立。
  • 可伸缩性(Rescalability):存在函数 \(h: (0, \infty) \to (0, \infty)\) 使得 \(d(F_\sigma, G_\tau) = h(\tau) d(F_{\sigma/\tau}, G_1)\) 对所有 \(\sigma, \tau > 0\) 成立。这一假设刻画了散度在尺度变换下的行为。
  • 正则性:密度函数足够光滑(可微),且涉及的积分/期望均有限。

  • 相比已有文献的放宽/强化:本文不假设损失函数具有任何特定的参数形式(如不限于 Bregman 散度),而是直接在"对称 + 可伸缩"的抽象层面上推导不对称性。这比已有文献(如 Ehm et al. 2016 的 Choquet 表示)更一般,但也因此无法给出完全精确的不对称性度量,只能给出方向性的结论。

主要结果

定理 1(尺度族):设 \(\{G_\sigma : \sigma > 0\}\) 是一个尺度族,固定 \(G = G_1\),\(\sigma > 1\)。则:

  • CRP 和能量损失:\(\ell(G_\sigma, G) > \ell(G_{1/\sigma}, G)\),即高估尺度被惩罚更重,损失函数偏好低估(尖锐预测)。
  • 二次和 DS 损失:\(\ell(G_\sigma, G) < \ell(G_{1/\sigma}, G)\),即低估尺度被惩罚更重,损失函数偏好高估(保守预测)。
  • 球面损失:\(\ell(G_\sigma, G) = \ell(G_{1/\sigma}, G)\),即对称,无偏好。

定理 2(指数族):设 \(\{G_\theta : \theta > 0\}\) 是一个最小指数族,固定 \(G = G_1\),\(\theta > 1\)。对于对数损失:

  • 若 \(A''(\theta)\) 满足 \(u^3 A''(u)\) 递增,则 \(\ell(G_\theta, G) < \ell(G_{1/\theta}, G)\),即低估自然参数被惩罚更重。
  • 若 \(u^3 A''(u)\) 递减,则方向反转。
  • 若 \(u^3 A''(u)\) 恒定,则对称。

定理 3(位置族):设 \(\{G_\mu : \mu \in \mathbb{R}\}\) 是一个位置族,固定 \(G = G_0\),\(\mu > 0\)。对于 CRP、二次、能量、球面、DS 损失,\(\ell(G_\mu, G) = \ell(G_{-\mu}, G)\),即位置方向总是对称的。对于对数损失,当 \(G\) 的密度对称时也对称。

定理 4(分布偏移下的 hedging):设真实分布 \(G\) 在训练和测试之间存在分布偏移,偏移方向未知但关于某个参数(如尺度)对称。则: - 如果损失函数在尺度上偏好低估(如 CRP),预测者应选择比真实信念更尖锐的预测以降低期望损失。 - 如果损失函数在尺度上偏好高估(如二次),预测者应选择比真实信念更平坦的预测。 - 这种 hedging 策略的收益大小由损失函数的不对称程度决定,且不依赖于偏移的具体分布,只依赖于偏移的对称性。

定理 4 的证明思路:设训练时真实尺度为 \(\sigma_{\text{train}} = 1\),测试时真实尺度 \(\sigma_{\text{test}}\) 满足 \(\log \sigma_{\text{test}}\) 关于 0 对称分布。预测者选择预测尺度 \(\sigma\)。期望损失为

\[\mathbb{E}[\ell(G_\sigma, G_{\sigma_{\text{test}}})] = \mathbb{E}[h(\sigma_{\text{test}}) f(\sigma/\sigma_{\text{test}})].\]
利用 \(f\) 的凸性和 \(h\) 的单调性,可以证明最优 \(\sigma^*\) 不等于 1,且 \(\sigma^* < 1\) 当且仅当损失函数偏好低估尺度。

证明路线与技术技巧

整体路线(以定理 1 为例):

  1. 第一步:将损失差分解为散度差。利用 \(\ell(F, G) - \ell(G, G) = d(F, G)\),将问题转化为比较 \(d(G_\sigma, G_1)\) 与 \(d(G_{1/\sigma}, G_1)\)。
  2. 第二步:利用对称性。\(d(G_\sigma, G_1) = d(G_1, G_\sigma)\),将问题转化为比较 \(d(G_1, G_\sigma)\) 与 \(d(G_{1/\sigma}, G_1)\)。
  3. 第三步:利用可伸缩性。\(d(G_1, G_\sigma) = h(\sigma) d(G_{1/\sigma}, G_1)\),将问题转化为比较 \(h(\sigma)\) 与 1 的大小。
  4. 第四步:确定 \(h\) 的单调性。通过直接计算(变量替换)确定各损失函数的 \(h\):CRP 和能量损失 \(h(\sigma) = \sigma\)(递增),二次损失 \(h(\sigma) = 1/\sigma\)(递减),DS 损失 \(h(\sigma) = 1\)(恒定)。
  5. 第五步:得出结论。\(h\) 递增意味着 \(d(G_\sigma, G_1) > d(G_{1/\sigma}, G_1)\),即高估被惩罚更重。

关键引理:

  • 引理 1(可伸缩性分类):给出了各损失函数的 \(h\) 函数的具体形式。证明方法:直接代入散度定义,做变量替换 \(x \to x/\sigma\)。
  • 引理 2(对称性 + 可伸缩性 ⇒ 不对称性):这是全文的技术核心。证明方法:利用 \(d(G_\sigma, G_1) = h(\sigma) d(G_{1/\sigma}, G_1)\) 和 \(d(G_\sigma, G_1) = d(G_1, G_\sigma)\),推导出 \(d(G_\sigma, G_1) / d(G_{1/\sigma}, G_1) = h(\sigma)\),从而将不对称性归结为 \(h\) 的单调性。
  • 引理 4(指数族的对数损失):将 \(d(p_\theta, p_1) - d(p_{1/\theta}, p_1)\) 表示为 Bregman 散度之差,然后利用 \(u^3 A''(u)\) 的单调性判断符号。

技术技巧点名:

  • Bregman 散度:用于将对数损失的期望差分解为凸函数的 Bregman 散度,从而将不对称性问题转化为凸函数的几何性质问题。
  • 变量替换(change of variables):在尺度族和位置族上计算散度时,通过变量替换将 \(d(G_\sigma, G_1)\) 化为 \(d(G_1, G_{1/\sigma})\) 的倍数,从而得到 \(h\) 函数。
  • Pexider 方程:用于证明可伸缩性条件 \(h(\sigma\tau) = h(\sigma)h(\tau)\) 蕴含 \(h\) 是幂函数 \(h(\sigma) = \sigma^\gamma\)。
  • Lambert W 函数:在定理 6 中,求解对数损失差为零的根时用到。

真实例子与应用

例子 1:COVID-19 死亡人数预测(Cramer et al., 2022a, 2022b)

  • 数据:美国 COVID-19 预测中心(COVID-19 Forecast Hub)收集的 71 个预测模型对每周死亡人数的概率预测,时间跨度为 2020 年 4 月至 2022 年。
  • 方法:将每个预测分布转换为均值和标准差,然后评估其在对数损失和 CRP 损失下的表现。通过比较预测分布与真实分布的尺度(标准差)关系,检验预测者是否存在系统性偏差。
  • 结果:作者发现,在对数损失下,预测分布的标准差普遍小于真实分布的标准差(即预测者倾向于"过度自信"),而在 CRP 损失下,预测分布的标准差普遍大于真实分布的标准差(即预测者倾向于"保守")。这与理论预测一致:对数损失偏好低估尺度(惩罚高估更重),CRP 损失偏好高估尺度(惩罚低估更重)。
  • 意义:这一发现意味着,在 COVID-19 预测评估中,选择不同的评分规则会系统性地改变预测者的排名。如果评估者使用对数损失,那么"尖锐"的预测者会被高估;如果使用 CRP 损失,那么"保守"的预测者会被高估。

例子 2:气温预测(CMIP6 气候模型,Eyring et al., 2016)

  • 数据:CMIP6 中 30 个气候模型对 1950-2014 年月最高气温的模拟,与 HadEX3 观测数据(Dunn et al., 2020)对比。
  • 方法:对每个模型在每个空间格点上构建预测分布(通过核密度估计),然后计算其与观测分布之间的 Cramér 距离和 KL 散度。通过比较预测分布与观测分布的尺度关系,检验模型是否存在系统性偏差。
  • 结果:作者发现,30 个模型中,有 27 个模型的预测分布在 Cramér 距离下表现为"过度自信"(标准差偏小),而在 KL 散度下表现为"保守"(标准差偏大)。这与理论预测一致:Cramér 距离偏好低估尺度,KL 散度偏好高估尺度。
  • 意义:这一发现意味着,气候模型的排名高度依赖于评估指标的选择。如果使用 Cramér 距离,那么"尖锐"的模型会被高估;如果使用 KL 散度,那么"保守"的模型会被高估。

例子 3:零售预测(M5 不确定性竞赛,Makridakis et al., 2022)

  • 数据:M5 竞赛中 42 个团队对沃尔玛 3049 种商品的 28 天日销售额预测。
  • 方法:将每个团队的预测分布转换为分位数形式,然后计算其在不同加权方案下的 CRP 损失和二次损失。通过比较预测分布与真实分布的尺度关系,检验团队是否存在系统性偏差。
  • 结果:作者发现,在 CRP 损失下,排名靠前的团队倾向于产生"保守"的预测(标准差偏大),而在二次损失下,排名靠前的团队倾向于产生"尖锐"的预测(标准差偏小)。这与理论预测一致:CRP 损失偏好低估尺度,二次损失偏好高估尺度。
  • 意义:这一发现意味着,零售预测竞赛的排名高度依赖于评估指标的选择。如果竞赛组织者希望鼓励"诚实"的预测,那么需要选择在参数方向上对称的评分规则,或者明确告知参赛者评估指标。

🔎 结论是否比证明窄

是,结论比证明窄。 具体表现:

  1. 定理 1 的证明依赖于"对称 + 可伸缩"两个条件,但作者在结论中将其表述为"CRP 和能量损失偏好低估尺度"这一更一般的断言。实际上,对于非对称的尺度族(如对数正态分布),CRP 损失的不对称方向可能反转。作者在正文中承认了这一点("the direction of asymmetry may depend on the specific scale family"),但在摘要和引言中的表述过于绝对。

  2. 定理 2 的证明只覆盖了 \(u^3 A''(u)\) 单调的情形,但作者在结论中将其推广为"对数损失在指数族上通常偏好低估自然参数"。实际上,对于 \(u^3 A''(u)\) 非单调的指数族(如某些广义伽马分布),结论可能不成立。作者在 Remark 2 中提到了这一点,但未给出反例。

  3. 定理 4 的 hedging 结果只在"偏移关于参数对称"的假设下成立,但作者在讨论中将其推广到更一般的分布偏移场景。实际上,如果偏移不对称(例如真实尺度更可能变大而非变小),hedging 的方向可能反转。作者在 Section 5.4 中讨论了这一点,但未给出定量刻画。

  4. 实证部分只验证了"方向性"结论,未验证"幅度"。作者证明了 CRP 偏好低估、二次偏好高估,但未量化这种偏好的幅度(例如,在 COVID-19 数据中,CRP 对高估的惩罚比对低估的惩罚大多少)。这使得读者难以判断这种不对称性在实际中是否"重要"。

四、开放问题

以下开放问题均扎根于本文的具体语句:

  1. 非对称尺度族上的不对称性方向(扎根于 Theorem 1 的证明和 Remark 1):本文的定理 1 假设尺度族是对称的(即 \(G_\sigma\) 和 \(G_{1/\sigma}\) 关于某个变换对称)。对于非对称的尺度族(如对数正态、伽马分布),CRP 和能量损失的不对称方向是否仍然成立?作者在 Remark 1 中承认"the direction of asymmetry may depend on the specific scale family",但未给出系统刻画。要确认这是否是真 gap:去读近期关于 scoring rules 几何性质的文献(如 Fissler & Ziegel 2021, 2023),看是否已有非对称尺度族的结果。

  2. 多维输出空间的不对称性(扎根于 Section 2 中 \(\mathcal{Y} \subseteq \mathbb{R}^d\) 的设定和 Section 6.3 的讨论):本文的理论结果主要针对一维输出空间(\(\mathcal{Y} \subseteq \mathbb{R}\)),能量损失虽然定义在多维空间,但其不对称性分析依赖于各向同性的伸缩。对于多维输出空间中的各向异性伸缩(即不同维度有不同的伸缩因子),不对称性的方向如何?作者在 Section 6.3 中提到了这一方向,但未给出结果。

  3. hedging 策略的最优幅度(扎根于 Theorem 4 和 Section 5.4):本文证明了 hedging 的方向(向被惩罚较轻的方向偏移),但未给出最优偏移量。给定偏移的分布(如 \(\log \sigma_{\text{test}}\) 的方差),最优预测尺度 \(\sigma^*\) 是多少?它与损失函数的曲率、偏移的幅度有何定量关系?作者在 Section 5.4 中给出了数值例子,但未给出解析刻画。

  4. 不对称性与模型选择的关系(扎根于 Section 4 的实证结果):本文的实证部分表明,不同评分规则会系统性地改变预测者的排名。这是否意味着,在模型选择(如交叉验证)中,选择不同的评分规则会导致选择不同的模型?如果模型空间包含"尖锐"和"保守"两类模型,那么评分规则的选择会如何影响最终选出的模型?作者在 Section 6 中提到了这一含义,但未深入探讨。

  5. 对称化评分规则的存在性(扎根于 Proposition 1):本文证明了不存在非零权重函数使得阈值加权 CRP 在尺度和位置方向上同时对称。那么,是否存在非权重的变换(如非线性变换)可以同时对称化尺度和位置方向?作者在 Section 6.3 中提出了这一问题,但未给出答案。

提醒:要确认上述问题是否是真 gap,建议去读以下近期文献的 intro 和 conclusion: - Fissler, T., & Ziegel, J. (2021). "Order-sensitivity of proper scoring rules." JRSS-B. - Fissler, T., & Ziegel, J. (2023). "On the geometry of scoring rules." Bernoulli. - Frongillo, R., & Kash, I. (2015). "On the geometry of proper scoring rules." NeurIPS. - 以及本文引用的 Allen et al. (2023a, 2023b) 和 Taillardat et al. (2023) 的后续工作。

如果这些文献中已有非对称尺度族或各向异性伸缩的结果,那么本文的开放问题 1 和 2 就不是真 gap;如果它们都指向同一方向(即"不对称性是普遍存在的"),那说明这是一个共识性的 gap,值得深入研究。


Maintained by 陈星宇 · Homepage · Source on GitHub

评论