跳转至

Refined Berry-Esseen bounds under local dependence

讲者: Zhuosong Zhang
会场: Stein Method with Recent Advances
报告题目: Refined Berry-Esseen Bounds under Local Dependence
链接: arXiv
来源: JCSDS 2026 · 返回会议总览

一、领域脉络与小综述

这个方向是什么

这个子方向是概率论与数理统计中的正常近似理论，具体关注的是Berry-Esseen界——即中心极限定理（CLT）的收敛速度。核心问题是：对于局部依赖（local dependence）的随机变量之和，能否得到与独立同分布情形同样最优的 \(O(1/\sqrt{n})\) 收敛速率？这里的“局部依赖”是指每个随机变量只与一个“邻域”内的变量相关，而与邻域外的变量独立。该方向在图论、U-统计量、随机图、模式匹配等众多领域有直接应用。

发展脉络

  1. 奠基工作：Hoeffding and Robbins (1948) 最早研究了局部依赖随机变量的CLT。Chen and Shao (2004) 是里程碑式的工作，他们首次将Stein方法系统应用于局部依赖设定，在条件 (LD1) + (LD2′) 下建立了最优的Berry-Esseen界。这里的 (LD2′) 是一个较强的条件，要求每个 \(A_i\) 的邻域 \(B_i\) 足够大，使得 \(\{X_k: k \in A_i\}\) 与 \(\{X_l: l \notin B_i\}\) 独立。

  2. 主要进展：

    • Wasserstein距离：Barbour, Karoński and Ruciński (1989) 对可分解随机变量（decomposable random variables）证明了Wasserstein-1距离下的CLT，其条件比 (LD1)+(LD2′) 更弱。Fang (2019) 在 (LD1)+(LD2)+(LD3) 下建立了Wasserstein-2距离的界。Liu and Austern (2023) 进一步推广到Wasserstein-p距离。
    • Berry-Esseen界：Fang (2016) 对有界可分解随机向量得到了最优速率的多元Berry-Esseen界。Eichelsbacher and Rednoß (2023) 使用Stein-Tikhomirov方法得到了可分解随机变量的Berry-Esseen界。
    • 自正则化：Zhang (2024) 在 (LD1)+(LD2′) 下首次得到了自正则化和的Berry-Esseen界。

  3. 当前Frontier与本文位置：

    • 核心张力：作者明确指出，在 (LD1)+(LD2′) 框架下，图依赖（graph dependency）的Berry-Esseen界与Wasserstein距离的界不匹配（见Remarks 3.2和3.3）。根源在于 (LD2′) 中的 \(B_i\) 集合太大，导致依赖结构刻画不够精细。
    • 本文的突破：作者采用更灵活的 (LD2) 条件（由Fang (2019) 引入），替代了 (LD2′)。(LD2) 允许 \(A_{ij}\) 比 \(A_i \cup A_j\) 更小，从而更精确地刻画依赖关系。本文的核心贡献是：在 (LD1)+(LD2) 下，首次建立了与Wasserstein距离界相匹配的、最优速率的Berry-Esseen界，并推广到了自正则化情形。

子线索聚类

  1. Stein方法 + 浓度不等式路线：这是本文采用的核心路线。Chen and Shao (2004, 2007) 是奠基者，他们发展了“浓度不等式方法”（concentration inequality approach）来得到最优的Berry-Esseen界。本文在此基础上，开发了一类新的、更一般的随机化浓度不等式（Propositions 4.5和4.6），以适应更弱的 (LD2) 条件。
  2. Wasserstein距离路线：以Barbour, Karoński and Ruciński (1989)、Fang (2019)、Liu and Austern (2023) 为代表。他们关注的是Wasserstein距离下的收敛速度，其条件通常比Berry-Esseen界所需的更弱。本文的Berry-Esseen界在图依赖例子中与Ross (2011) 的Wasserstein界匹配，说明其结果的紧致性。
  3. 自正则化路线：Zhang (2024) 是直接前驱。本文在更弱的 (LD2) 下改进了Zhang (2024) 的结果，显著减小了依赖参数 \(\kappa\) 的阶数（因为 \(A_{ij}\) 比 \(B_i\) 小得多）。

核心问题与瓶颈

  • 核心问题：
    1. 在给定依赖结构下，Berry-Esseen界的最优收敛速率是什么？
    2. 如何用最少的依赖信息（最小的 \(\kappa, \tau\)）来刻画这个速率？
    3. 当方差未知时，自正则化统计量能否达到同样的最优速率？
  • 已知瓶颈：依赖结构 (LD2′) 过于粗糙，导致在图依赖等例子中，Berry-Esseen界中的 \(d\)（最大度）的幂次过高（如 \(d^5\)），远不如Wasserstein界中的 \(d^2\)。本文通过引入更精细的 (LD2) 条件，将 \(d\) 的幂次从 \(d^5\) 降低到 \(d^2\)，解决了这个瓶颈。

⚠️ 作者的Framing

  • 作者的缺口定位：作者将缺口明确地定位为“在 (LD1)+(LD2) 下，Berry-Esseen界与Wasserstein界的不匹配”。他们声称，通过开发新的浓度不等式，他们的结果“更尖锐”（sharper）、“在 \(\kappa\) 上改进了”Chen and Shao (2004) 和 Zhang (2024) 的结果，并且“在矩条件上弱于”Eichelsbacher and Rednoß (2023) 和 Janisch and Lehéricy (2024) 的结果。
  • 被淡化的竞争路线：作者淡化了Wasserstein距离路线（如Fang (2019)）和Stein-Tikhomirov方法（如Eichelsbacher and Rednoß (2023)）。他们强调自己的方法（Stein方法+浓度不等式）能直接得到Kolmogorov距离下的最优界，而Wasserstein界不能直接转化为Kolmogorov界。对于Stein-Tikhomirov方法，他们指出其矩条件更强。
  • 值得研究者去查的问题：作者在引言中没有引用任何关于高阶影响函数（HOIF） 或去偏机器学习（DML） 的文献。这些是现代因果推断中处理复杂依赖结构（如交叉拟合、Neyman正交性）的核心工具。为什么这些方法没有被提及？ 这是一个值得探索的张力点：本文的局部依赖框架是否与HOIF/DML框架有深层联系？或者，本文的浓度不等式方法能否为HOIF/DML提供新的理论保证？

张力

  • 未见明显对立引用：被引文献之间没有直接矛盾。它们是在不同度量（Kolmogorov vs. Wasserstein）、不同条件（(LD2′) vs. (LD2)）下取得进展，彼此是互补而非对立关系。唯一的“张力”是作者指出的Berry-Esseen界与Wasserstein界在特定例子中的不匹配，这恰恰是本文要解决的。

二、最核心、最简单的例子 / 数学问题

第一步：符号、模型与可观测数据

  • 符号：
    • \([n] = \{1, 2, \dots, n\}\)：指标集。
    • \(X_i\)：第 \(i\) 个随机变量，满足 \(\mathbb{E}[X_i] = 0\)。
    • \(S_n = \sum_{i=1}^n X_i\)：总和。
    • \(\sigma^2 = \text{Var}(S_n)\)：总和的方差。
    • \(W_1 = S_n / \sigma\)：标准化后的和（非自正则化）。
    • \(W_2 = S_n / V\)：自正则化和，其中 \(V\) 是方差的一个估计量。
    • \(A_i \subset [n]\)：\(X_i\) 的“依赖邻域”。\(X_i\) 与 \(\{X_j: j \notin A_i\}\) 独立。
    • \(A_{ij} \supset A_i\)：\(\{X_i, X_j\}\) 的“联合依赖邻域”。\(\{X_i, X_j\}\) 与 \(\{X_k: k \notin A_{ij}\}\) 独立。
    • \(\kappa = \max\{ \sup_i |N_i|, \sup_{i,j} |A_{ij}| \}\)：依赖结构的“规模”参数，其中 \(N_i = \{k: i \in A_k\}\)。
    • \(\tau = \sup_i |D_i|\)：另一个依赖参数，其中 \(D_i = \{(k,l): l \in A_k, \{i\} \cap A_{kl} \neq \emptyset\}\)。
    • \(\Phi(z)\)：标准正态分布的累积分布函数。
  • 模型：
    • 数据生成机制由局部依赖结构 (LD1) 和 (LD2) 定义。
    • (LD1)：对任意 \(i\)，存在 \(A_i\)，使得 \(X_i \perp \{X_j: j \notin A_i\}\)。
    • (LD2)：对任意 \(i\) 和 \(j \in A_i\)，存在 \(A_{ij} \supset A_i\)，使得 \(\{X_i, X_j\} \perp \{X_k: k \notin A_{ij}\}\)。
    • 这是一个非参数模型：除了零均值和有限四阶矩外，对 \(X_i\) 的分布没有其他参数假设。依赖结构由集合 \(A_i\) 和 \(A_{ij}\) 描述，这些集合是已知的（或至少其大小 \(\kappa, \tau\) 是已知的）。
  • 可观测数据：
    • 研究者可以观测到所有 \(X_i\) 的样本实现值。
    • 不可观测的是 \(X_i\) 之间的依赖关系图（即 \(A_i\) 和 \(A_{ij}\) 的具体内容），但本文假设这些依赖结构是已知的（例如，在 \(m\)-依赖序列中，\(A_i = \{i-m, \dots, i+m\}\) 是已知的）。研究者需要知道 \(\kappa\) 和 \(\tau\) 的上界。

第二步：最小内核——\(m\)-依赖序列

本文的一般性设定可以退化为一个经典且直观的特例：\(m\)-依赖序列。

  • 最简特例：假设 \(X_1, X_2, \dots, X_n\) 是一个平稳的 \(m\)-依赖序列。这意味着 \(X_i\) 与 \(X_j\) 独立当且仅当 \(|i-j| > m\)。
  • 映射到本文记号：
    • \(A_i = \{j: |i-j| \le m\}\)。所以 \(|A_i| = 2m+1\)。
    • \(A_{ij} = A_i \cup A_j\)。因为如果 \(|i-j| \le m\)，那么 \(A_i\) 和 \(A_j\) 有重叠，它们的并集包含了所有与 \(X_i\) 或 \(X_j\) 相关的变量。所以 \(|A_{ij}| \le 4m+1\)。
    • \(\kappa = \max_i |N_i|\)。\(N_i = \{k: i \in A_k\}\)，即所有“邻域包含 \(i\)”的指标。对于 \(m\)-依赖序列，\(N_i = \{k: |k-i| \le m\}\)，所以 \(|N_i| = 2m+1\)。因此 \(\kappa = O(m)\)。
    • \(\tau = \sup_i |D_i|\)。\(D_i = \{(k,l): l \in A_k, i \in A_{kl}\}\)。这个量比较复杂，但直观上它衡量的是“与 \(i\) 有间接依赖关系”的变量对的数量。对于 \(m\)-依赖序列，\(\tau = O(m^2)\)。
  • 核心思路：
    • 本文要证明的定理2.1，在这个特例下退化为：
      \[\sup_{z \in \mathbb{R}} |P(S_n/\sigma \le z) - \Phi(z)| \le C \frac{m^2}{\sigma^3} \sum_{i=1}^n \|X_i\|_4^3 + C \frac{m^{3/2}}{\sigma^2} \left( \sum_{i=1}^n \|X_i\|_4^4 \right)^{1/2}.\]
    • 这个界的关键在于，它只依赖于 \(m\) 的多项式（\(m^2\) 和 \(m^{3/2}\)），而不是指数级。这比在 (LD2′) 下得到的界（可能包含 \(m^5\) 或更高次幂）要好得多。
    • 为什么能改进？ 因为 (LD2) 允许 \(A_{ij}\) 比 \(A_i \cup A_j\) 更小。在 \(m\)-依赖序列中，如果我们用 (LD2′)，\(B_i\) 必须包含所有与 \(A_i\) 中变量相关的变量，这会导致 \(B_i\) 非常大（\(O(m)\) 的邻域）。而 (LD2) 中的 \(A_{ij}\) 只需要包含与 \(\{X_i, X_j\}\) 联合相关的变量，这通常就是 \(A_i \cup A_j\)，其大小也是 \(O(m)\)。但关键在于，新的浓度不等式（Proposition 4.5）能够利用 \(A_{ij}\) 的精细结构，而不是像 (LD2′) 那样需要一个更大的“缓冲带”。这使得证明中的许多求和项可以被更有效地控制，从而降低了 \(\kappa\) 和 \(\tau\) 的幂次。

三、这篇论文做了什么

三句话

  1. 研究了什么问题：在更一般的局部依赖结构 (LD1)+(LD2) 下，建立了非自正则化和自正则化和的Berry-Esseen界，并应用于图依赖、分布式U-统计量、约束U-统计量和装饰单射同态和。
  2. 核心工具/方法：Stein方法 + 新开发的随机化浓度不等式（Propositions 4.5和4.6）。这些不等式通过递归论证（recursive argument）得到，是经典浓度不等式（如Chen and Shao (2004)）的推广。
  3. 主要结论：得到了与Wasserstein距离界相匹配的、最优速率的Berry-Esseen界（定理2.1和2.2），在依赖参数 \(\kappa\) 和 \(\tau\) 上显著优于前人结果，且矩条件更弱（仅需四阶矩）。

关键设定与假设

  • 核心假设：(LD1) 和 (LD2)。这是本文区别于前人工作的核心。相比 (LD2′)，(LD2) 允许 \(A_{ij}\) 更小，从而更精细地刻画依赖。
  • 参数：\(\kappa\) 和 \(\tau\)。\(\kappa\) 衡量了“直接依赖”的规模（邻域大小），\(\tau\) 衡量了“间接依赖”的规模（二阶邻域的交叠）。本文的界以 \(\kappa\) 和 \(\tau\) 的多项式形式给出。
  • 矩条件：\(\mathbb{E}|X_i|^4 < \infty\)。这比Eichelsbacher and Rednoß (2023) 和 Janisch and Lehéricy (2024) 的矩条件更弱（后者需要有界性或更高阶矩）。
  • 自正则化：定理2.2中的方差估计量 \(V\) 是精心设计的，它利用了局部依赖结构（\(Y_i = \sum_{k \in A_i} X_k\)），并包含一个截断函数 \(\psi\) 以保证分母远离零。

主要结果

  • 定理2.1（非自正则化）：给出了 \(W_1 = S_n/\sigma\) 的Berry-Esseen界，形式为 \(C \kappa^2 \sum \|X_i\|_4^3 / \sigma^3 + C \kappa^{1/2}(\kappa + \tau^{1/2}) (\sum \|X_i\|_4^4)^{1/2} / \sigma^2\)。
    • 直觉：第一项是“三阶矩”项，第二项是“四阶矩”项。\(\kappa\) 和 \(\tau\) 的出现反映了依赖结构对收敛速度的影响。
    • 必要条件：\(\sigma^2\) 不能太小，否则界无意义。证明中假设了 \(\beta_2 \le 1/8\) 等条件来保证递归论证的收敛。
    • 解决的技术难点：在 (LD2) 下，经典的浓度不等式方法（如Chen and Shao (2004)）不再适用，因为递归过程中需要处理更复杂的依赖关系。本文通过引入新的随机化浓度不等式（Proposition 4.5） 解决了这个难点。
  • 定理2.2（自正则化）：给出了 \(W_2 = S_n/V\) 的Berry-Esseen界，形式与定理2.1类似，但多了一个因子 \(\lambda = \kappa \sum \|X_i\|_2^2 / \sigma^2\)。
    • 直觉：\(\lambda\) 通常为 \(O(1)\)（例如在U-统计量中），所以自正则化并未损失收敛速率。
    • 解决的技术难点：自正则化情形下，分母 \(V\) 是随机的，使得Stein方程的处理更加复杂。本文开发了针对自正则化和的浓度不等式（Proposition 4.6），并利用Lemma 4.3来处理分母的随机性。
  • 应用（定理3.1, 3.4, 3.9, 3.15）：
    • 图依赖：将 \(\kappa\) 和 \(\tau\) 替换为图的最大度 \(d\)，得到 \(O(d^2 \sum \|X_i\|_4^3 / \sigma^3 + d^{3/2} (\sum \|X_i\|_4^4)^{1/2} / \sigma^2)\) 的界。这匹配了Ross (2011) 的Wasserstein界，并显著优于Chen and Shao (2004) 的 \(O(d^5)\) 和 Janisch and Lehéricy (2024) 的 \(O(d^2)\)（但后者需要有界性）。
    • 分布式U-统计量：得到了 \(O(m / \sqrt{N})\) 的Berry-Esseen界，其中 \(m\) 是核函数的阶数，\(N\) 是总样本量。这去掉了Chen and Peng (2021) 中关于子集数量 \(k = O(N^a)\) 的限制（\(a < 1/2\)），代价是需要四阶矩。
    • 约束U-统计量：得到了 \(O(n^{-1/2})\) 的最优速率，与Janson (2023) 的结果一致，但本文的方法更统一，并给出了自正则化版本。
    • 装饰单射同态和：得到了 \(O(n^{-1})\) 的界（当方差阶数为 \(n^{2v-2}\) 时），这是自正则化情形下的新结果。

证明路线与技术技巧

  • 整体路线（以定理2.1为例）：
    1. Stein方程：将Berry-Esseen界问题转化为求解Stein方程 \(f'(w) - w f(w) = h_{z,\varepsilon}(w) - \Phi(h_{z,\varepsilon})\)，并利用其解的性质（有界性、光滑性）。
    2. Stein恒等式：利用局部依赖结构，将 \(\mathbb{E}[W_1 f(W_1)]\) 展开为一系列期望项的和。关键步骤是将 \(S_n/\sigma\) 替换为 \(S^{(i)}/\sigma\)（去掉 \(X_i\) 及其邻域），利用独立性。
    3. 分解：将 \(\mathbb{E}[h_{z,\varepsilon}(W_1)] - \mathbb{E}[h_{z,\varepsilon}(Z)]\) 分解为 \(I_1, I_2, I_3\) 三项。
      • \(I_1\) 控制 \(\hat{K} - \sigma^2\)，其中 \(\hat{K} = \sum_i \sum_{j \in A_i} X_i X_j\)。这通过Lemma 4.1（一个关于二阶矩的界）来控制。
      • \(I_2\) 控制一个“线性”项，通过Hölder不等式和矩条件直接控制。
      • \(I_3\) 是最困难的部分，它涉及一个“二次”项，需要用到浓度不等式。
    4. 浓度不等式（Proposition 4.5）：这是证明的核心。它给出了形如 \(\mathbb{E}[\xi_A \mathbf{1}(\eta_B \le S_A/\sigma \le \zeta_B)]\) 的期望的上界，其中 \(\xi_A\) 是 \(X_A\) 的函数，\(\eta_B, \zeta_B\) 是线性函数，\(S_A\) 是去掉 \(A\) 的邻域后的和。这个不等式通过递归论证证明：假设不等式对更小的集合成立，然后利用Stein方法的思想和局部依赖结构，推导出对当前集合也成立。
    5. 应用浓度不等式：将 \(I_3\) 中的指示函数转化为Proposition 4.5的形式，然后代入该不等式，得到 \(I_3\) 的上界。
    6. 合并：将 \(I_1, I_2, I_3\) 的界合并，并选择 \(\varepsilon = \beta_2 + \beta_3\)，最终得到定理2.1的界。
  • 关键跳跃点：
    • 从 (LD2′) 到 (LD2) 的浓度不等式：这是最吃功夫的地方。在 (LD2′) 下，递归论证中“去掉一个变量”后，剩余变量的依赖结构仍然满足 (LD2′)。但在 (LD2) 下，去掉一个变量后，剩余变量的依赖结构可能不再满足 (LD2)。本文的Proposition 4.5通过更精细地划分指标集（如 \(D_{A,1}, D_{A,2}, D_{A,3}\)）和更复杂的递归结构，绕过了这个困难。
    • 自正则化情形的浓度不等式（Proposition 4.6）：分母 \(V\) 的存在使得递归论证更加复杂。本文通过引入截断函数 \(\psi\) 和一系列复杂的代数不等式（如Lemma 4.3, 4.4），将问题转化回类似非自正则化的形式，然后应用类似的递归论证。
  • 技术技巧点名：
    • Stein方法：核心框架。
    • 浓度不等式方法：Chen and Shao (2004) 开创的技术，本文将其推广。
    • 递归论证：证明浓度不等式的核心技巧。
    • Hölder不等式、Young不等式、Minkowski不等式：用于控制各种矩和交叉项。
    • 截断函数 \(\psi\)：用于处理自正则化分母的随机性，保证其有界且远离零。
    • \(cM_k(t)\) 和 \(M(t)\) 的构造：在Stein方法的证明中，通过引入这些“鞅差”或“补偿器”来利用局部依赖结构。

真实例子与应用

  • 本文为纯理论 + 应用导向：论文本身没有进行模拟或真实数据分析。它的“应用”体现在将主要定理应用于四个具体的统计/概率模型，并推导出这些模型下的Berry-Esseen界。这些应用本身就是理论贡献。
    • 图依赖：验证了主要结果在随机图（如Erdős–Rényi图）子图计数问题中的有效性。
    • 分布式U-统计量：为“分而治之”的大数据统计推断提供了理论保证。
    • 约束U-统计量：为模式匹配（如DNA序列、随机排列）中的统计量提供了正常近似速率。
    • 装饰单射同态和：为更一般的随机图模型（如装饰图）中的子图计数提供了CLT。

🔎 结论是否比证明窄

  • 是。作者在定理2.1和2.2的陈述中，将常数 \(C\) 称为“绝对常数”。然而，在证明过程中，这个常数依赖于许多隐含的假设，例如 \(\beta_2 \le 1/8\) 等。虽然这些假设可以通过缩放来满足，但常数 \(C\) 的具体值并未给出，且可能非常大。因此，结论是“存在一个常数 \(C\)”，而不是一个显式的、可计算的界。
  • 另一个窄化：定理2.2中的自正则化统计量 \(W_2\) 依赖于一个特定的方差估计量 \(V\)，该估计量利用了局部依赖结构（\(Y_i = \sum_{k \in A_i} X_k\)）。这个估计量不是经典的t-统计量。作者在Remark 2.3中承认，对于独立同分布情形，\(W_2\) 退化为t-统计量，但这里的 \(V\) 是一个更一般的构造。因此，结论的适用范围被限制在这个特定的 \(V\) 上，而不是所有可能的自正则化统计量。

四、开放问题

  1. 高阶矩与最优性：本文的界依赖于四阶矩。能否在仅有三阶矩的条件下得到同样的最优速率？这是Chen and Shao (2004) 在 (LD2′) 下已经做到的。作者在Remark 2.3中暗示，对于独立情形，他们的界在四阶矩下是最优的，但三阶矩情形是开放的。扎根于：Remark 2.3 和 定理2.1的界中同时包含三阶矩和四阶矩项。
  2. 非均匀Berry-Esseen界：本文得到的是均匀Berry-Esseen界（\(\sup_z\)）。能否得到非均匀的界（如 \(|P(W_1 \le z) - \Phi(z)| \le C (1+|z|)^{-3} \beta\)）？这在独立情形下已有结果（如Chen and Shao (2001)），但在 (LD2) 下是开放的。扎根于：作者在引言中引用了Chen and Shao (2001) 的非均匀界，但本文并未推广。
  3. 自正则化方差估计的推广：定理2.2中的方差估计 \(V\) 是专门为局部依赖结构设计的。能否将其推广到更一般的依赖结构（如混合序列、鞅差序列）？或者，能否证明经典的t-统计量在局部依赖下也达到同样的最优速率？扎根于：定理2.2的陈述和Remark 2.3。
  4. 与高阶影响函数（HOIF）的联系：本文的浓度不等式方法在处理“局部依赖”时，本质上是在控制高阶交互项（如 \(X_i X_j X_k\)）的贡献。这与HOIF理论中通过高阶U-统计量来构造去偏估计量的思路有异曲同工之处。一个开放问题是：能否将本文的浓度不等式方法应用于HOIF的Berry-Esseen界分析？ 这需要将HOIF中的“交叉拟合”和“Neyman正交性”转化为某种局部依赖结构。扎根于：本文的引言和参考文献中完全没有提及HOIF或DML，这是一个值得探索的空白。

Maintained by 陈星宇 · Homepage · Source on GitHub

评论