Independence Is Not Always Consistently Testable

作者: Senhan Yao
主题: 数理统计 / 假设检验
相关性: 6/10
链接: https://arxiv.org/abs/2608.07860

---

一、领域脉络与小综述

这个方向是什么

这个子方向研究的是：在仅假设平稳性和遍历性（即最弱的非参数时间序列假设）的非参数框架下，能否从有限样本中一致地检验两个坐标过程之间的独立性。核心问题是：是否存在一个检验程序，当样本量趋于无穷时，其犯第一类错误（将独立误判为相依）和第二类错误（将相依误判为独立）的概率都趋于零。这个问题的根本困难在于，平稳遍历过程族过于庞大，以至于经典的非参数工具（如经验分布、核密度估计）的收敛速度可以任意慢，甚至不收敛。

发展脉络（history）

1. 奠基工作：Ryabko 提出问题并得到部分否定结果。Ryabko [1] 明确提出了坐标独立性检验问题，并证明了当原假设限制在固定阶马尔可夫或隐马尔可夫类时，存在一致检验。他同时指出，无限制的平稳遍历情形是未解决的。随后，Ryabko [2]（后总结于 [3, Sec. 5.6.5]）证明了：不存在 α-水平一致 的独立性检验（即第一类错误在每一个样本量下都被 α 控制，且对每个相依备择假设几乎必然最终拒绝）。Ryabko 将此称为“非对称一致性”（asymmetric consistency），并明确将“渐近一致性”（asymptotic consistency，即几乎必然最终正确）的情形标记为 “Open question”（[3, Sec. 5.7.3, Table 5.2]）。

2. 主要进展：强弱一致性分离与相关方法。Yao [8] 证明了，对于平稳遍历二元过程上的一般假设检验问题，收敛于概率（弱一致性）和几乎必然最终正确（强一致性）并不等价。这意味着坐标独立性检验问题不能仅仅通过否定强一致性来解决。同时，Loh [5] 发展了用有限时域近似方法研究遍历性及相关性质的可检验性。Nobel [4] 更早地研究了平稳遍历族的一般假设检验问题。

3. 当前 frontier：本文的位置。本文直接回答了 Ryabko 的开放问题，并且给出了一个更强的否定结果：它否定了弱一致性（收敛于概率）的可能性，而不仅仅是强一致性。因此，它比 Ryabko 的“非对称一致性”不可能性结果更强，也完全回答了 Table 5.2 的开放问题。本文的证明结合了 Yao [8] 的“稀有标记”（rare marker）对角化策略和一个专门为独立性设计的耦合引理（Lemma 3）。

子线索聚类

1. Ryabko 的检验框架：以 Ryabko [1, 2, 3] 为代表，系统研究了在平稳遍历假设下各种假设检验问题的可检验性，包括独立性、同质性、聚类等。其核心是区分“渐近一致性”、“弱渐近一致性”和“α-水平一致性”等不同强度的检验标准，并证明在不同标准下可检验性不同。

2. 序列独立性检验：以 Morvai 和 Weiss [6] 以及 Khaleghi 和 Lugosi [7] 为代表，研究的是单个平稳遍历过程是否为 i.i.d.（即序列独立性），而非两个过程之间的独立性。他们得到了强一致检验。本文明确区分了这两个问题。

3. 强弱一致性分离：以 Yao [8] 为代表，证明了在平稳遍历设定下，弱一致性和强一致性不等价，为本文的结论（否定弱一致性）提供了理论基础。

这个方向在追问的核心问题

1. 是否存在一致检验？ 在仅假设平稳遍历性的最弱非参数框架下，能否从渐增长样本中一致地判定两个过程的独立性？本文给出了否定答案。
2. 强弱一致性是否等价？ 对于一般的平稳遍历假设检验问题，收敛于概率和几乎必然收敛是否等价？Yao [8] 证明不等价，本文则利用这一点，证明了一个更强的否定结果。
3. 下界能否改进？ 本文给出的假阳性概率上极限下界是 1/2。这个常数能否改进到 1？或者能否证明对于任何 ε > 0，都存在一个独立原假设使得假阳性概率的上极限至少为 1 - ε？

⚠️ 作者的 framing

• 作者的缺口 frame：作者将缺口 frame 成“Ryabko 的开放问题（渐近一致性）尚未解决，且由于 Yao [8] 证明了强弱一致性不等价，因此不能仅通过否定强一致性来回答”。作者通过证明弱一致性也不可能，从而彻底否定了这个开放问题，并声称这是对 Ryabko 结果的强化。
• 被淡化/回避的竞争路线：作者明确区分了“坐标间独立性”和“序列独立性”，并指出 Morvai-Weiss [6] 和 Khaleghi-Lugosi [7] 解决的是后者，从而将他们的强一致结果排除在竞争路线之外。作者没有讨论任何试图构造弱一致检验的正面尝试，因为本文的目的就是证明其不可能。
• 什么明显该被引/该存在、却没出现在 intro 里？ 未见明显缺失。intro 引用了该子领域最核心的几篇工作（Ryabko, Yao, Nobel, Loh, Morvai-Weiss, Khaleghi-Lugosi），覆盖了问题的提出、部分否定、强弱分离、相关方法等关键节点。

张力

未见明显对立引用。所有被引工作基本都指向同一个结论：在平稳遍历假设下，独立性检验是困难的，且不同强度的检验标准会导致不同的可检验性。本文是这一共识的最终否定。

二、最核心、最简单的例子 / 数学问题

第一步：把符号、模型、可观测数据交代清楚

• 符号：
  • (X_t, Y_t)_{t∈Z}：一个二元（binary，取值 0 或 1）的联合平稳遍历过程。Z 表示整数集（两边的过程）。
  • n：样本量，即我们能观测到的数据长度。
  • (X_1, Y_1), ..., (X_n, Y_n)：可观测的有限样本。
  • ϕ_n：一个检验，是一个从 ({0,1}^2)^n 到 {0, 1} 的可测映射。ϕ_n = 1 表示拒绝独立（判定为相依），ϕ_n = 0 表示不拒绝独立。
  • P：一个定义在 ({0,1}^2)^Z 上的概率测度，代表一个联合平稳遍历过程。
  • I：所有使得 (X_t) 和 (Y_t) 这两个坐标过程独立的联合平稳遍历律 P 的集合。
  • E \ I：所有使得 (X_t) 和 (Y_t) 不独立的联合平稳遍历律 P 的集合。
  • P{ϕ_n = 1}：在过程 P 下，基于样本 (X_1, Y_1), ..., (X_n, Y_n) 做出拒绝（判定为相依）的概率。
• 模型：
  • 数据生成机制：(X_t, Y_t) 来自一个未知的联合平稳遍历过程 P。我们只知道 P ∈ E（平稳遍历族），除此之外没有任何参数或结构假设（如马尔可夫性、混合性等）。
  • 要检验的假设：H_0: P ∈ I（坐标独立） vs H_1: P ∈ E \ I（坐标相依）。
• 可观测数据：
  • 可观测：长度为 n 的样本 (X_1, Y_1), ..., (X_n, Y_n)。每个 (X_t, Y_t) 是一个二元对，取值于 {0,1}^2。
  • 不可观测/想要但观测不到：整个过程的无限历史 (X_t, Y_t)_{t∈Z}，以及过程的真实分布 P。我们只能通过有限样本去推断 P 是否属于 I。

第二步：讲最小内核

本文的核心是证明：不存在一个检验 (ϕ_n) 能同时满足以下两个条件： 1. 对所有独立原假设 P ∈ I，假阳性概率趋于 0：P{ϕ_n = 1} → 0。 2. 对所有相依备择假设 P ∈ E \ I，功效趋于 1：P{ϕ_n = 1} → 1。

最简特例：考虑一个最简单的设定，其中所有过程都是二进制的（取值 0 或 1），且是平稳遍历的。这就是论文本身的设定。

核心困难：平稳遍历族过于庞大，包含了许多“几乎独立”但又不是完全独立的过程。一个检验要想对所有相依备择假设都有高功效，它必须足够“敏感”，以至于能检测到非常微弱的相依性。但问题在于，我们可以构造一个独立的原假设过程，它在任何有限样本上，都与某个相依的备择假设过程“看起来几乎一样”。因此，任何对相依备择假设敏感的检验，都会在这个精心构造的独立原假设上犯错。

关键想法（对角构造 + 稀有标记）： 1. 递归构造：我们递归地构造一系列“临时”的相依过程 Q_s 和一个“最终”的独立过程 P*。 2. 稀有标记：引入两个独立的 i.i.d. 标记过程 K^X_t 和 K^Y_t，它们取值于自然数，且概率质量函数为 P(K = k) = 2^{-k}。这些标记决定了在时刻 t，我们使用哪个“环境”过程来生成 X_t 和 Y_t。由于 P(K > b) = 2^{-b}，标记值很大的事件是稀有的。 3. 对角化：对于第 s 步，我们构造一个相依过程 Q_s。在 Q_s 中，对于标记值小于某个阈值 a_s 的“低层”时刻，X_t 和 Y_t 由之前步骤构造的独立环境生成（因此是独立的）；但对于标记值大于等于 a_s 的“高层”时刻，X_t 和 Y_t 都由同一个周期为 2 的随机过程 W_s 生成（因此是完全相依的）。这保证了 Q_s 是相依的。 4. 耦合引理（Lemma 3）：这是核心技巧。对于第 s 步，我们有一个相依过程 Q_s，它在高层使用 W_s。现在，我们想构造一个独立的最终过程 P*。在 P* 中，高层时刻的 X_t 和 Y_t 应该由两个独立的周期过程 U_s 和 V_s 生成。Lemma 3 告诉我们，可以构造 U_s 和 V_s，使得在长度为 n_s 的有限样本上，(U_s, V_s) 与 (W_s, W_s) 以概率至少 1/2 - ε_s 完全一致。这意味着，在 Q_s 和 P* 的有限样本上，它们看起来几乎一样。 5. 矛盾：因为 Q_s 是相依的，任何“好”的检验 ϕ_{n_s} 必须以高概率拒绝它（Q_s{ϕ_{n_s} = 1} > 1 - ε_s）。但是，由于 Q_s 和 P* 在样本 1 到 n_s 上以高概率相同，检验 ϕ_{n_s} 也必然以至少 (1/2 - ε_s)(1 - 2ε_s) 的概率拒绝 P*。当 s → ∞ 时，这个下界趋近于 1/2。因此，P* 的假阳性概率的上极限至少为 1/2，不趋于 0。

一句话总结：论文通过一个对角构造，让任何“对所有相依备择假设都有效”的检验，都必然在一个精心设计的独立原假设上，沿着无穷多个样本量，有至少 1/2 的假阳性概率。

三、这篇论文做了什么

三句话

1. 研究了什么问题：在联合平稳遍历二元过程的非参数框架下，检验两个坐标过程之间独立性的问题。
2. 核心工具/方法：结合了稀有标记（rare markers）对角化策略（来自 [8]）和一个专门为独立性设计的交替块耦合引理（Lemma 3），通过递归构造一个“临时”相依过程和一个“最终”独立过程，并利用它们在有限样本上的不可区分性来导出矛盾。
3. 主要结论：不存在一个检验能在概率意义下逐点一致（pointwise consistent in probability）。具体地，任何对每个相依备择假设功效趋于 1 的检验，必然在某个独立平稳遍历原假设下，沿无穷多个样本量有非零的假阳性概率，其上极限至少为 1/2。

关键设定与假设

• 设定：(X_t, Y_t)_{t∈Z} 是取值于 {0,1}^2 的联合平稳遍历过程。这是最弱的非参数时间序列假设，不要求任何混合性、马尔可夫性或有限记忆。
• 假设：
  • 平稳性：过程的联合分布不随时间平移而改变。
  • 遍历性：任何平移不变的事件概率为 0 或 1。这保证了时间平均可以收敛到总体平均，但收敛速度可以任意慢。
  • 二进制字母表：X_t, Y_t ∈ {0, 1}。作者指出，结论对任何更大的字母表也成立，因为二进制是特例。
• 相比已有文献：
  • 相比 Ryabko [2, 3] 的“α-水平一致性”不可能性，本文证明了更强的“弱一致性”不可能性。
  • 相比 Morvai-Weiss [6] 和 Khaleghi-Lugosi [7] 的序列独立性检验，本文研究的是坐标间独立性，且结论是负面的（不可能），而他们是正面的（可能）。

主要结果

• 定理 1：设 (ϕ_n) 是任意一个满足条件 P{ϕ_n = 1} → 1 对所有 P ∈ E \ I（即对所有相依备择假设功效趋于 1）的检验序列。那么，存在一个 P* ∈ I（即一个坐标独立的联合平稳遍历律），使得 limsup_{n→∞} P*{ϕ_n = 1} ≥ 1/2。
  • 直觉：任何“好”的检验（对所有相依情形都有效）都必然在一个独立情形上表现很差（假阳性概率不趋于 0）。
  • 必要条件：检验必须对所有相依备择假设都有效。如果只要求对某个子类有效，则可能存在一致检验（如 Ryabko [1] 对马尔可夫类的结果）。
  • 解决的技术难点：如何构造一个独立原假设 P*，使得任何满足功效条件的检验都无法避免在它上面犯错。难点在于 P* 必须同时满足：① 坐标独立；② 平稳遍历；③ 与一系列精心构造的相依过程在有限样本上难以区分。

证明路线与技术技巧

整体路线（3-5 步逻辑主干）：

1. 递归构造相依过程 Q_s：对于每个阶段 s，构造一个相依的平稳遍历过程 Q_s。Q_s 在“低层”（标记值小）使用之前阶段构造的独立环境，在“高层”（标记值大）使用一个共同的周期-2 过程 W_s，从而引入相依性。
2. 选择样本量 n_s 并应用耦合引理：由于 Q_s 是相依的，任何满足条件的检验 ϕ_n 必须在某个足够大的样本量 n_s 上以高概率拒绝它。然后，利用 Lemma 3（交替块耦合），构造两个独立的周期过程 U_s 和 V_s，使得在长度为 n_s 的样本上，(U_s, V_s) 与 (W_s, W_s) 以概率至少 1/2 - ε_s 完全一致。
3. 构造最终独立过程 P*：将所有阶段构造的独立对 (U_s, V_s) 作为“高层”环境，与标记过程结合，定义最终过程 P*。通过中国剩余定理和乘积混合系统的遍历性引理（Lemma 5, 6, 7），证明 P* 是平稳遍历且坐标独立的。
4. 导出矛盾：在 Q_s 和 P* 的公共概率空间上，考虑事件 G_s（标记值在样本内不超过阈值）和 D_s（(U_s, V_s) 与 (W_s, W_s) 在样本上一致）。在 G_s ∩ D_s 上，Q_s 和 P* 的样本完全相同。因此，检验 ϕ_{n_s} 拒绝 Q_s 的高概率会“传染”给 P*，导致 P*{ϕ_{n_s} = 1} 的下界至少为 (1/2 - ε_s)(1 - 2ε_s)，其极限为 1/2。

关键跳跃点：

• Lemma 3（交替块耦合）：这是整个证明最核心、最精巧的引理。它解决了如何让两个独立的周期过程 (U, V) 与一个共同的周期-2 过程 W 在有限样本上以高概率一致，同时保持 U 和 V 的独立性。难点在于，U 和 V 是独立的，而 W 是单一的，要让它们一致，必须利用 U 和 V 的随机相位。引理通过精心选择 U 和 V 的周期（互异的奇素数），并利用条件概率构造，使得在给定 W 的条件下，(U, V) 与 W 一致的条件概率可以任意接近 1/2。
• Lemma 5（无穷互质旋转的遍历性）：需要证明由无穷多个互质循环群直积上的平移变换是遍历的。这依赖于中国剩余定理和鞅收敛定理，是保证最终构造的 P* 具有遍历性的关键。
• Lemma 6（乘积混合系统的遍历性）：需要证明一个遍历系统与一个混合系统的乘积是遍历的。这用于处理“环境过程”（遍历的旋转）和“标记过程”（i.i.d.，因此是混合的）的乘积。

技术技巧点名：

• 稀有标记（Rare Markers）：来自 [8]。通过一个几何分布的标记过程，将不同阶段的环境“分层”，使得在固定有限样本上，只有有限多个低层环境被激活，而高层环境几乎从不被激活。这允许我们递归地修改高层环境而不影响低层样本。
• 对角构造（Diagonal Construction）：标准的递归构造，用于制造一个“极限”对象（P*），使其与一系列“近似”对象（Q_s）在有限样本上难以区分。
• 交替块耦合（Alternating-block Coupling, Lemma 3）：本文的核心技术贡献。它利用互质周期和条件概率，实现了在保持独立性的同时，让两个独立过程与一个共同过程在有限样本上高度一致。
• 中国剩余定理（Chinese Remainder Theorem）：用于证明由多个互质循环群直积上的平移变换是传递的，进而证明其遍历性（Lemma 5）。
• 乘积混合系统的遍历性（Lemma 6）：一个标准但重要的遍历理论结果，用于处理复杂系统的遍历性证明。

真实例子与应用

本文为纯理论论文，无任何真实数据例子或模拟实验。其“应用”是回答了一个理论上的开放问题，并给出了一个不可能性结果。

🔎 结论是否比证明窄

• 定理 1 的结论是紧的：它给出了一个具体的下界 1/2，并且证明了这个下界是通过构造一个具体的 P* 达到的。作者没有声称这个常数是最优的，也没有声称对所有独立原假设都成立。
• 一个潜在的“窄”点：定理 1 的结论是 limsup ≥ 1/2。这意味着假阳性概率可能只在无穷多个样本量上大于 1/2，而在其他样本量上可以很小。作者没有证明 liminf ≥ 1/2 或 lim_{n→∞} P*{ϕ_n = 1} ≥ 1/2。因此，结论是“存在一个子序列使得假阳性概率不趋于 0”，而不是“假阳性概率不趋于 0”。这是一个技术上更弱的结论，但已经足以否定“点一致”（pointwise consistency）——因为点一致要求对所有 n 都成立。
• Remark 11（有限维分布收敛）：作者证明了 Q_s 的有限维分布总变差收敛到 P* 的有限维分布。这是一个很强的性质，说明 Q_s 和 P* 在任意固定有限时域上“看起来”越来越像，这为对角构造提供了理论基础。

四、开放问题

1. 常数 1/2 能否改进？ 定理 1 给出的假阳性概率上极限下界是 1/2。能否构造一个不同的独立原假设 P*，使得这个下界提高到 1，或者证明 1/2 是最优的？这扎根于定理 1 的陈述本身。
2. 能否推广到连续状态空间？ 本文的构造依赖于二进制字母表和周期过程。能否将不可能性结果推广到取值于连续空间（如 [0,1]）的平稳遍历过程？这扎根于论文的设定（二进制）和讨论部分（“The impossibility already holds on a binary alphabet and therefore for every larger model class”），但作者并未给出连续情形的证明。
3. 能否推广到高维设定？ 如果 (X_t, Y_t) 是高维向量（如 X_t ∈ R^p, Y_t ∈ R^q），结论是否仍然成立？这扎根于论文的设定（二元过程），但高维情形下的“独立性”检验可能面临新的挑战（如维数灾难）。
4. 能否建立信息论下界？ 本文的证明是构造性的。能否从信息论角度（如 Le Cam 方法、Fano 不等式）给出一个更一般的下界，说明在平稳遍历假设下，任何检验的 minimax 风险都不可能趋于 0？这扎根于论文的“不可能性”结论，但并未使用信息论工具。

---

Maintained by 陈星宇 · Homepage · Source on GitHub

评论