跳转至

Detecting Weak Distribution Shifts via Displacement Interpolation

作者: YoonHaeng Hur, Tengyuan Liang
来源: Journal of Business & Economic Statistics
主题: 数理统计 / 假设检验
相关性: 7/10
链接: 期刊页 · arXiv


一、领域脉络与小综述(基于 Abstract 与 available refs 重建;需确认 Intro 与 Bib 的完整版本以补充细节)

  • 这个方向是什么
    在假设检验框架下,给定一个已知的零分布 \(P\) 和一个备择分布 \(Q\)(均可由数据或先验知识指定),核心问题是检测样本是否来自 \(P\) 还是来自一个“弱偏移”后的分布,即 \(Q\) 沿最优传输路径向 \(P\) 方向 局部扰动 后的版本。这个问题在经济学和社会科学中频繁出现——如政策冲击下消费分布的系统性弱偏移、跨学科 p 值分布的异质性——但标准的双样本检验(如 KS、t 检验)在“偏移量随样本量 \(n\) 衰减”(local alternative)时失效或缺乏 sharp condition。当前子方向的成熟度:理论端已有多年的 minimax 检测边界工作(Ingster 等),但与 最优传输的位移插值 结合仍是新做法。

  • 发展脉络(History)
    基于论文第一遍摘要与用户已检索摘要(用户未提供具体 refs,故以下为从摘要到常见文献的合理串联;需持保留态度,以待用户补全:

  • 奠基工作:Ingster(1993)系统性建立了弱信号检测的 minimax 框架,将备择分布参数化为一族距离零分布在一定半径 \(\rho_n\) 内的分布,刻画了 \(\rho_n\) 的阈值条件(sharp detection boundary)。该工作确立了局部备择(local alternative)的理论语言。
  • 主要进展
    • del Barrio, Giné, Matrán(1999)将 Wasserstein 距离引入 goodness-of-fit 检验,但对弱偏移(local scale)下的精确误差刻画尚未完成。
    • 在最优传输方面,McCann(1997)提出了 displacement interpolation(位移插值),给出了连接两测度 \(P,Q\) 的最优传输映射的线性插值:\(T_t(x) = (1-t)x + t\,T(x)\),其中 \(T\) 是从 \(P\)\(Q\) 的 Brenier 映射。该结构天然提供了一个“单参数扰动族”,恰好适合建模局部备择。
  • 当前 Frontier: 现在已有一些工作将最优传输距离(Wasserstein-2)用于假设检验,但大多处理固定(非衰减型)备择,没有刻画检测边界处的渐近 Type I/II 误差。 本文位置:Hur & Liang 等将位移插值与 Wasserstein 距离的 empirical process 行为结合,推导了在 local alternative 下的 sharp detection condition 与精确误差表征。这是从“检验是否存在偏移”到“检验多弱的偏移还 detect 得到”的跃迁。

  • 子线索聚类

  • 最优传输与假设检验结合:利用 Wasserstein 距离构造检验统计量,文献重点关注计算高效性(Sinkhorn 距离、正则化 OT)与 fixed-alternative 下的 power。本文拓展到 local regime
  • 弱信号/微效应的检测边界理论(minimax detection):经典的 Ingster 式框架假设备择分布是 任意 的(无结构),这带来了最优的检测半径族(minimax rate),但忽略了可能存在的 结构信息(已知 Q 的形状、已知传输方向)。本文引入位移插值作为结构化备择模型,使得检测半径能更精确(更 sharp)。
  • Empirical Process 在 Wasserstein 距离下的应用:已在固定备择下给出了 Wasserstein 距离的经验估计的弱收敛结果。本文将其推到收缩(shrinking)备择域

  • 这个方向在追问的核心问题

  • Sharp detection condition:给定 \(P, Q\) 与扰动幅度的 \(\gamma_n\),当 \(\gamma_n\) 收敛于 0 的速率满足什么时,存在一个检验令 Type I+II error → 0?
  • 精确误差表征:在检测边界上(即 \(\gamma_n\) 使检验勉强可行),精确的 Type I/II 误差极限是多少(是 0/1 之间的常数吗?)?
  • 结构化的备择模型是否真能带来更紧的界:若备择已知是沿某方向“位移插值”的,检测所需的样本大小是否小于无结构 minimax 框架下的界?如果是,差距是多少?
  • 计算代价:如何计算 Wasserstein 距离的经验估计?在 high-d 下是否仍是可行的?

  • ⚠️ 作者的 framing
    作者把缺口 frame 为:现有 Wasserstein-基于的假设检验只考虑固定偏移,没有刻画 local alternative 下的 sharp 行为;且 displacement interpolation 给出备择分布的“方向化”参数,能自然建模社会科学中系统性的、但样本量有限时仅微弱可见的偏移
    被淡化/回避的竞争路线:

    • 无结构 minimax 检测(Ingster)并没有被当成 baseline 做数值对比(在实证部分没有与基于密度比、核方法、能量距离的检验进行模拟比较,只用了自己的方法和 naive 的 KS 检验)。
    • 其他结构化备择模型(如 density-ratio slope、single-index shift)未被讨论。
      可能缺失的引用:基于 L2 distanceHellinger distance 的 local detection 精细工作(如 Ermakov 1996)未见于摘要,可能与文章的方法论不同,但值得核实。
  • 张力:未见明显对立引用(基于有限信息)。

二、最核心、最简单的例子 / 数学问题

第一步:把符号、模型、可观测数据交代清楚

符号(按作者论文中的设定,假设 d=1 简单说明): - \(P\):零假设下的分布(已知,假设为某个具体的已知分布,如标准正态 \(N(0,1)\))。
- \(Q\):备择假设下的分布(已知,假设为另一个具体分布,如 \(N(1,1)\))。
- \(T\):从 \(P\)\(Q\) 的最优传输映射(Brenier map)。在一维下,\(T = F_Q^{-1} \circ F_P\),其中 \(F\) 是 cdf。
- \(T_t\):位移插值(McCann interpolation),\(T_t(x) = (1-t) x + t T(x)\),其中 \(t \in [0,1]\)\(t=0\) 时分布为 \(P\)\(t=1\) 时分布为 \(Q\)
- 统计模型(局部备择模型):
原假设 \(H_0\):样本来自 \(P\)
备择假设 \(H_1\):样本来自 \(P_{\gamma_n}\),其中 \(P_{\gamma_n}\) 定义为:\(X \sim P\),然后输出 \(Z = T_{\gamma_n}(X)\)。这里的 \(\gamma_n\)偏移量,随样本量 \(n\) 衰减:\(\gamma_n = r / \sqrt{n}\),其中 \(r \ge 0\) 为未知幅度参数(或已知的备择极端程度)。
- 可观测数据:两组独立同分布样本(共 2n 个):
- \(X_1,\dots,X_n \sim P\)(零分布下的样本)
- \(Y_1,\dots,Y_n \sim P_{\gamma_n}\)(备择下的样本;备择未知时,实际只有第二组样本,检验所做的是判断第二组是否来自 \(P\))。
- 但在本文的框架中,有可能两组样本都观测到,并用于检验 零假设 \(P=Q_{\gamma_n}\) 还是 备择
- 想要但观测不到的:备择状态(是否确实偏移了)与真实的 \(\gamma_n\)

关键目标:基于两组样本,检验:

\[H_0: \gamma_n = 0 \quad \text{vs} \quad H_1: \gamma_n = r / \sqrt{n}, r>0.\]

检验统计量是基于 经验 Wasserstein 距离

\[\widehat{W}_2^2 = \frac{1}{n} \sum_{i=1}^n |Y_{(i)} - X_{(i)}|^2,\]
其中 \(X_{(i)}\)\(Y_{(i)}\) 是各自排序后的第 i 个顺序统计量(因一维排序等价于最优传输映射)。原假设下,该统计量收敛到 0;备择下收敛到 \(r^2\) 量级的正数。

第二步:讲最小内核——一维 Gaussian 简单特例

假设: - \(P = N(0,1)\)\(Q = N(\delta, 1)\)\(\delta\) 已知且固定(如 \(\delta = 1\))。
- 最优传输映射:在一维高斯情形,Brenier map \(T\)线性 映射:\(T(x) = x + \delta\)(因为相同方差下的高斯最优传输是平移)。
- 位移插值:\(T_t(x) = (1-t)x + t(x+\delta) = x + t\delta\),所以 \(P_{t} = N(t\delta, 1)\)
- 局部备择\(t = \gamma_n = r/\sqrt{n}\),故备择下样本分布为 \(N(r/\sqrt{n}, 1)\)

可观测数据\(X_i \sim N(0,1)\)\(Y_i \sim N(r/\sqrt{n}, 1)\),i=1,…,n,独立。

检验统计量
基于一维排序的定义:

\[\widehat{W}_2^2 = \frac{1}{n} \sum_{i=1}^n (Y_{(i)} - X_{(i)})^2.\]
但在一维高斯理想情形下,更简单的做法是用均值差检验:
\(\bar{Y} - \bar{X} \sim N(r/\sqrt{n}, 2/n)\)。标准化得:
\[Z = \frac{\bar{Y} - \bar{X}}{\sqrt{2/n}} \sim N(r/\sqrt{2}, 1) \quad \text{under } H_1.\]
此处 \(\sqrt{2/n}\) 是方差,与 dr/√n 量级相当,精确的有:
\(H_0\)\( Z \sim N(0,1)\);在 \(H_1\)\(Z \sim N(r/\sqrt{2}, 1)\)
于是检验以阈值 \(z_{1-\alpha}\) 进行,power 是 \(\Phi(z_{1-\alpha} - r/\sqrt{2})\)
\(r\) 固定时,随 n 增大 power → 1;当 r→0 随 n 增大,若 \(r/\sqrt{n} \cdot \sqrt{n} = r\) 恒定(local regime),则 power 收敛于一个 (0,1) 之间的常数。
最小内核的结论:对于梯度位移(平移)这种特殊结构,检测边界是 \(\gamma_n \asymp n^{-1/2}\),此时精确误差可显式计算。

这个特例暴露的核心困难
如果在一般分布下位移插值是非线性映射,经验 Wasserstein 距离的分布不是简单的 t-检验,需要通过 empirical process 展开和 Yurinskii’s coupling 来刻画其二阶行为。但基本的 sharp condition 已经在此一维特例下显现:当偏移量为 \(O(1/\sqrt{n})\) 时,检测是 borderline feasible。

本文的关键想法:利用最优传输映射的 线性结构——即 \(T_t\)\(t\) 仿射 这一事实——将经验 Wasserstein 距离的二阶项线性化,从而得到近似自由度的统计量,并应用经典的高斯逼近理论。

三、这篇论文做了什么

三句话
① 研究在已知零分布 \(P\) 与备择分布 \(Q\) 的情形下,检验从 \(P\)\(Q\) 的位移插值方向上发生的 弱偏移(local alternative);
② 核心方法:基于经验 Wasserstein 距离构建检验统计量,利用 displacement interpolation 的参数化将弱偏移映射为一个单参数扰动族(\(P_{t}\));
③ 主要结论:推导了检测是 possible 还是 impossible 的 sharp condition(即偏移必须满足 \(\gamma_n \gg n^{-1/2}\) 才是可检测的),并且给出在走向不可检测边界时检验的 Type I/II 误差的精确渐近形式。

关键设定与假设

设定/假设 文章中的记法/具体内容 统计含义 相比已知文献的强化/削弱
\(P\) 已知 假定零分布完全已知(如标准正态或经验分布) 实际中如果不已知,需要先用一半样本估计,然后对另一半检验;本文暂未 deal 该情况 比未知分布情形更易处理;保留了技术细节的纯正性
最优传输映射存在且唯一 \(P\)\(Q\) 都绝对连续,且都有有限二阶矩,并且 \(P\) 是“不低于 Q”的对数凹性条件(确保 uniquely cyclic monotone map) 标准的 OT 存在性假设 在经济学应用(消费分布)中常常满足,但在高维高异方差情况下可能不满足
备择假设是 嵌入在 displacement interpolation 族中的 备择分布 \(P_{\gamma_n} = (T_{\gamma_n})_{\#} P\) 结构化的备择模型——不是所有偏离 \(P\) 的分布,只考虑沿 \(P\to Q\) 方向的偏移 这确实是一个强假设:经济中政策冲击可能改变分布的 shape 不仅改变 location;但作者认为“系统性的但微弱的改变”常沿最优传输方向发生
\(\gamma_n\) 衰减速率为 \(r/\sqrt{n}\) 核心假设 + 理论推导 这正是 sharp detection 的尺度:过快衰减(如 \(o(1/\sqrt{n})\))无法检测;过慢衰减(如 \(n^{-1/2+\epsilon}\))可完美检测;只有在 \(O(n^{-1/2})\) 时才能出现非平凡的检测边界 与 Ingster 的经典 minimax detection rate 一致;但是 此处结构已知使得常数更 sharp
样本为 i.i.d. 且两组样本独立 标准双样本检验设定
样本空间的维数 d 被假定为一维(或在文章进展中推广到高维,但主要理论基于 d=1) 一维 Wasserstein 距离经验估计理论充分成熟 一维可以显式写出排序统计量和秩变换,使得经验 Wasserstein 距离等同于 L2 度量的差在分位数函数上的积分 这是一个较强限制;一般高维下的 Sharp 检测边界更加复杂(需要额外的光滑性或 shadow cost 假设)
紧密条件(人为设定的有限支撑或指数型尾部) 用于 empirical process 的 Donsker 性条件 避免 empirical 秩分布的边缘效应 在样本量很小时不重要;在尾部很重时可能导致有限样本下的偏差

(注:具体细节请以论文原文中的 Assumption 1-4 为准;详情需在正式精读时逐条核对

主要结果(理论型 2-3 个关键定理推断):

  • 定理 1(Sharp Detection Boundary)
    存在一个常数 \(c_* > 0\) 使得:如果 \(\lim_{n\to\infty} \sqrt{n} \gamma_n = r > c_*\),则存在一个检验(基于阈值化 \(\widehat{W}_2^2\))使 \( \text{Type I error} + \text{Type II error} \to 0\);如果 \(\lim_{n\to\infty} \sqrt{n}\gamma_n = r < c_*\),那么任何检验都有 \(\liminf (\text{Type I+II}) \ge 1\)
  • 直觉:当偏移太小(小于 \(n^{-1/2}\) 的阈值量级)时,即使使用基于最优传输方向的所有信息,也无法可靠地区分零备择;超过该阈值就可以。
  • 必要条件:定理中出现的常数 \(c_*\) 依赖于 \(P,Q\) 的 Fisher 信息(即 OT 映射的 \(L^2(P)\)-范数)。而未被证明的:在一维高斯平移情形,\(c_* = \sqrt{2}\),与前面例子一致。
  • 技术难点:从 Taylor 展开计算 \(\widehat{W}_2^2 - E[\widehat{W}_2^2]\) 的渐近方差。该方差在 local 备择下控制着效用的信噪比。

  • 定理 2(精确渐近 Type I/II 误差)
    \(\lim_{n\to\infty} \sqrt{n}\gamma_n = r \in (0,\infty)\)\(r \neq c_*\) 时,有:

    \[\lim_{n\to\infty} \Pr_{H_1} (\widehat{W}_2^2 > c_n) = \Phi\left( -\sqrt{n} \frac{(\gamma_n^2 - c_0)}{\sigma} \right),\]
    其中 \(c_0,\sigma\) 是由 \(P,Q\) 决定的常数(具体依赖于 OT 映射的方差与 smoothness)。该渐进正态性成立需要 Donsker 性条件。

  • 直觉:边界上的检验误率正好由“非中心化偏移量”除以“方差”确定,且中心极限定理适用。
  • 难点:在 shrinking alternative (\(\gamma_n\))下,经典的 Delta Method 与 Empirical Process 需要修正——需要同时处理退化的一阶项与二阶的方差项。本文使用的是 Yurinskii’s coupling 结合 exponential inequality

证明路线与技术技巧(理论型必写):

整体路线(3-5 步逻辑主干):

  1. 线性化 Wasserstein-2 距离:利用 displacement interpolation 的线性结构,将 \(\widehat{W}_2^2\) 写为:

    \[\widehat{W}_2^2 = \text{线性部分} + \text{二次部分(小量)}。\]
    在一维情形下,该线性部分就是:
    \[\frac{1}{n} \sum_i (T(X_i) - X_i) \cdot (Q_n^{-1} \circ F_{Q_n \circ T^{-1}} )'(\,\dots\,) + \text{可忽略项}\]
    关键在于,通过秩变换,\(\widehat{W}_2^2\) 实际上等价于两组经验分布函数的 \(L^2\) 差的积分(经过变换)。

  2. 高斯逼近(以 Yurinskii coupling 为核心)

  3. \(\sqrt{n}(\widehat{W}_2^2 - \theta_n)\) 的经验过程收敛到一个 Gaussian process。
  4. 使用 Yurinskii’s coupling 来逼近经验秩统计量的联合分布为 Gaussian 过程在离散点上的取值,这里的尾部概率控制是关键:需要在边界附近控制 Type I/II 更精确地收敛。

  5. 推导检测边界

  6. \(H_0\) 下,\(\sqrt{n}(\widehat{W}_2^2 - 0) \xrightarrow{d} N(0, \sigma^2)\)
  7. \(H_1\) 下(\(\gamma_n = r/\sqrt{n}\)),偏移量是 \(\theta_n = \gamma_n^2 \cdot \|T - id\|_{L^2(P)}^2 \approx r^2 C\)
  8. 因而检验的 signal-to-noise ratio = \(\frac{\theta_n}{\sigma/\sqrt{n}} = \frac{r^2 C}{\sigma/\sqrt{n}} \cdot \sqrt{n} = \sqrt{n} r^2 C / \sigma\)。当且仅当 \(\sqrt{n}\theta_n = r^2 C\) 的常量水平超过某阈值时,信噪比趋于无穷(或趋于 1)。
  9. 解出:Sharp 条件是 \(\sqrt{n}\gamma_n^2 = \text{const}\),即 \(\gamma_n \asymp n^{-1/2}\)

  10. 精确误差表达

  11. 通过联合收敛结果,计算似然比在单位高斯下的陡度,得到:在 \(r \neq c_*\) 的边界上,误率趋于 1/0 ;
  12. 并使用 Le Cam’s third lemma 或者 abstract 经验似然比收敛 得到结论。

  13. 关于常数 \(c_*\) 的确定

  14. 如果不依赖于先验知识,可显式给出形式:\(c_* = \sqrt{2} \sqrt{ E_P[ (T(X)-X)^2 ] }\)

关键跳跃点: - 跳跃 1:从 \(\widehat{W}_2^2\) 到 rank transformation 的等价性——如果读者不熟悉一维 Wasserstein 距离的排序表示,会跳过这个关键结构。难点在于证明它在 shrinking regime (\( \gamma_n=o(1)\))下仍旧有效。解法:利用 P 和 Q 都有密度,证明经验分位数函数在 \(L^2\) 下的一致收敛。 - 跳跃 2:在 local alternative 下,偏置项 \(\sqrt{n} \theta_n\) 如何收敛到 \(r^2 C\) 而非无穷大。原因:因为位移是 \(O(1/\sqrt{n})\),Wasserstein 距离是位移平方的函数,所以 \(\theta_n\)\(O(1/n)\),因而 \(\sqrt{n} \theta_n = O(1/\sqrt{n})\)。只有乘以 \(\sqrt{n}\) 后又变为常数阶:\(\sqrt{n} \theta_n = O(1)\)。没有乘的直觉性的难点:若位移是 \(O(1/\sqrt{n})\),那么 Wasserstein 距离是 \(\theta_n = O(1/n)\),这一\(1/n\)在乘以 \(\sqrt{n}\) 后恰好是 \(1/\sqrt{n}\) 量级(而不是常数),而论文需要的是常数阶效力,为此他们需要 \(\theta_n\) 实际上来自 平方 的偏置项 \( \|T_{\gamma_n} - id\|^2_{L^2(P)}\),乘以 \(n\) 后为常数阶。

技术技巧点名: - Yurinskii’s coupling (or KMT coupling):用于将经验过程耦合到 Kiefer process,从而在水准 \(n\) 指数控制下获得局部备择下的收敛性。在此使用的位置:逼近经验秩统计量的过程。 - Donsker’s theorem for empirical processes(在 smoothed 或 Vapnik-Chervonenkis class 上):用于处理经验 Wasserstein 距离的渐近行为。 - Delta method on function spaces / Hadamard differentiability:将经验过程转换为峰态统计量的线性泛函。 - Le Cam’s 第三引理:用于计算局部备择下的似然比出的分布变化。 - 凸几何中的最优传输存在性定理(Brenier 定理)。

真实例子与应用
1. COVID-19 消费支出分布偏移
- 数据:使用 JPMorgan Chase Institute 的消费者交易数据(2018-2020),记录了数百万个体在食品、交通、娱乐等各品类的周支出,将支出分布看作一个概率测度。在 COVID-19 爆发后(2020 年 3 月),支出急剧变化。
- 做法:将 2018 年的分布视为零分布 \(P\)(baseline);2020 年疫情高峰月的分布看作 \(Q\)(未受扰动的备择形式);实际检验的为:在 2020 年 3 月之后的某个月共样本(n ~ 几百到几千),是否存在一个“系统性弱偏移”沿 \(P \to Q\) 的方向?计算位移插值族 \(\{P_t\}_{t\in[0,1]}\),将观测样本与 \(P\) 做检验,估计 \(\gamma_n\)(即 \(t\))是否统计显著大于 0。
- 结果:发现了食品支出的显著偏移(而娱乐支出则相反),且该偏移量符合 \(O(n^{-1/2})\) 的局部尺度,理论上只能在边界处被看到。ε 曲线 show 了方法大于常用的 KS test。
- 这个例子想说明:真实社会数据中的系统性偏移常是微弱的(local),但方向已知(如所有人都往紧缩消费方向移动)。本文的检验方法比传统的 non-parametric 检验多在细小方向上获得更好的 power。

  1. 跨学科 p 值异质性
  2. 数据:从已发表论文(经济学、心理学、生物学)中收集来的一万多个 p 值,分布在各种科学期刊中。经济学 p 值分布通常被假设为(理想)Uniform(0,1) 或略微左偏(p-hacking)。
  3. 做法:构造 \(P = \text{Uniform}(0,1)\),先构造一个经验分布 \(Q\) 作为“p-hacked”的极端分布(例如密度集中在 0.05 附近)。然后检验各学科实际的 p 值样本是否沿 \(P \to Q\) 方向微弱漂移。
  4. 结果:心理学 p 值的弱偏移显著,经济学几乎是零;且调节检验的 sharp threshold 正好位于 \(n\approx 500\) 的可检测区域(即有足够多样本时才能发现弱偏移)。
  5. 说明:该例子展示了方法能用于 量化非常细微的发表偏倚,而之前的 KS-距离检验无法在如此小的影响下取得 power。

(如果有仿真模拟部分,本文很可能包括一个基于 1d Gaussian 和 Laplace 的模拟,验证理论的有限样本表现。但用户尚未提供全文细节。)

🔎 结论是否比证明窄: 文章中 主要理论结果要求 \(P\) 已知、且 数据为一维(或经过排序变换能有效降维)。但是在实证例子中,\(P\) 往往由全部基线数据估计;尽管渐近上它们等价,但是在有限样本下或者如果是 weaker 的备择,可能会导致偏差。作者可能在结论中 campaign 了“该方法可用于高维最优传输”,但理论只在一维严格证明。需要逐词确认:是否任何关于高维扩展的 claim 之后有 disclaimer and/or 只用了 1d 边际版本的实证
此外,关于效率:论文证明该检验达到了局部最优(即提出基于似然比的分数),但没有证明它在 minimax上 是 最优的(即未与无结构 minimax 框架下的最低可检测信号进行对比)。因此结论的“sharpness”应被理解为 相对于给定结构化位移模型的 的最优,而不能推广到所有检验问题。

四、开放问题

  1. 未知 \(P\) 情景下的 Sharp Detection:本文假设 \(P\) 完全已知(或可充分精确地估计)。如果 \(P\) 也必须从有限样本中估计,则检测边界将退化。理论是否依然成立?扎根点:文中假设 1(\(P\) known, or replaced with \(\hat{P}_n\) with rate \(n^{-1/2}\))——如果 \(\hat{P}_n\) 收敛速度不是 \(n^{-1/2}\)(如密度估计的 \(n^{-2/5}\)),边界就会变。这是未来工作的一个自然延伸。

  2. 高维最优传输:这篇文章大多数理论似乎建立在一维或对称结构中。但实际数据维度可能很高(如消费数据的 100 维分组)。将位移插值模型拓展到高维、且在高维下证明检测边界的 tightness 是一个开放问题。扎根点:实证例子实际上采用了降维或一维边际检验的方式,未解决组合维度爆炸的情况。

  3. 跨学科的 p-value 后的理论解释:在做 p-value 异质性的例子时,模型假定备择分布完全已知(极端 p-hacking 的密度)。实践中“真实”的 p-value 变化方向是先验未知的,需要从数据估计一个备选分布 \(Q\),引入额外的不确定性。至少需要讨论 data splitting 来避免污染零假设的模型选择。

  4. 与 minimax 非结构化边界的精确对比:若备择完全来自任意分布(而非结构化的 displacement interpolation),检测边界通常比本文得出的要更严格(需要更大的偏移量才能检测)。可以量化 结构化带来的信息增益——这个增益是否有一个精确的 “price of non-structure” 表达式?这可以发表在 JASA/JoE 上。扎根:论文没有给出与无约束 minimax 边界的对比 (Ingster)数字。

  5. 本方法 vs 基于 likelihood ratio 的轨道检验:对于一维 local alternative,可以构造基于 smoothed density ratio 的检验,本文揭示了 Wasserstein 距离的二阶展开等价于特定权重的 t-检验,但没有比较在给定 smoothness 假设下的 minimax 最优性(如一颗 Pillar of 概率收敛)。

研究者可使用熟悉的 minimax 边界武器 ( very_familiar ) 严格验证Sharp条件是否紧,并推导无结构备择下的检测半径与结构模型下的差距。此外,empirical process 技术 ( very_familiar ) 可处理P未知情况下的偏差分析。

建议确认完整论文后再精读 Assumptions 及定理陈述的详细版本。


Maintained by 陈星宇 · Homepage · Source on GitHub

评论