跳转至

Testing Conditional Distribution Equality Using Generative Models

作者: Zekai Jin, Yi Zhang, Yun Yang, Xiaofeng Shao
主题: 数理统计 / 假设检验
相关性: 7/10
链接: https://arxiv.org/abs/2610.20447


一、领域脉络与小综述

这个方向是什么

条件分布相等性(Conditional Distribution Equality, CDE)检验是双样本检验问题在条件设定下的推广:给定协变量 \(Z\),检验两个响应变量 \(X\) 和 \(Y\) 的条件分布 \(P_{X|Z}\) 与 \(P_{Y|Z}\) 是否几乎处处相等。其核心困难在于,当 \(Z\) 的维度 \(d_Z\) 较高时,任何基于局部平滑(如核方法、近邻法)的估计都会遭遇维数灾难,导致检验功效急剧下降。该问题在因果推断(如模型诊断、反事实验证)、迁移学习(源域与目标域条件分布对齐)和仿真模型校准中均有直接应用。当前该方向的成熟度处于"方法多样但高维瓶颈未解"的阶段——已有方法在理论上保证了相合性,但在实际高维场景下功效不足。

发展脉络

  1. 奠基工作:边际双样本检验的成熟框架。Gretton et al. (2012) 提出的 MMD(最大均值差异)是边际双样本检验的经典工具,其基于核嵌入的 U-统计量结构为后续条件化推广提供了基础。该工作的核心贡献在于给出了无需密度估计的分布距离度量,但其直接推广到条件设定时(即比较联合分布 \(P_{XZ}\) 与 \(P_{YZ}\))会引入 \(Z\) 的边际分布差异,导致检验统计量被无关的 \(Z\) 信息主导。

  2. 条件化推广:从联合到条件。Huang et al. (2022) 和 Chatterjee et al. (2024) 的工作将 MMD 思想推广到条件设定,提出期望条件 MMD(ECMMD)作为总体度量。Chatterjee et al. (2024) 进一步给出基于 K-近邻的估计量,其核心思想是通过局部平均来逼近条件嵌入 \(g_X(z) = E[K(X,\cdot)|Z=z]\)。然而,该方法的理论分析(如带宽条件、近邻数 \(K\) 的选择)显式依赖于 \(d_Z\),在高维时局部邻域内样本稀疏,估计偏差增大。

  3. 生成模型介入:从"估计"到"采样"。本文(Jin, Zhang, Yang, Shao, 2026)的关键转向是:不再直接估计条件嵌入,而是利用条件生成模型(条件 GAN、扩散模型、Engression、MDN)从 \(P_{X|Z}\) 和 \(P_{Y|Z}\) 采样合成数据,再基于合成样本构造检验统计量。这一思路的源头可追溯到 Zhou et al. (2023) 的噪声外引引理(noise-outsourcing lemma),该引理保证了存在可测函数 \(G_X\) 使得 \(G_X(\kappa, Z)|Z \sim P_{X|Z}\)。本文将该引理从"存在性"推进到"可检验性"——只要生成模型一致,检验统计量就渐近等价于使用真实条件分布的 oracle 统计量。

  4. 同期竞争:核条件检验的改进。Yan et al. (2025) 提出基于条件能量距离的检验,Moskvichev et al. (2026) 研究核条件 MMD 的层级结构(CMMD0)。这些工作与本文的差异在于:它们仍依赖对 \(Z\) 的显式核平滑或正则化求逆,而本文完全绕开 \(Z\) 空间的几何结构,将高维困难转移给生成模型的表示学习能力。

子线索聚类

  • 线索 A:核嵌入与距离度量(Gretton et al., 2012; Huang et al., 2022; Chatterjee et al., 2024; Yan et al., 2025; Moskvichev et al., 2026)。这一簇的核心问题是"如何度量条件分布差异",代表性工具是 MMD、能量距离及其条件化变体。共同瓶颈是 \(d_Z\) 高时的平滑参数选择与功效退化。

  • 线索 B:生成模型与条件采样(Zhou et al., 2023; Shen & Meinshausen, 2025; 本文)。这一簇的核心问题是"如何从条件分布采样",代表性工具是条件 GAN、扩散模型、Engression、MDN。共同优势是能利用深度网络的表示学习能力适应高维 \(Z\) 的低维结构。

  • 线索 C:因果推断与公平性审计中的应用(Cherian & Candès, 2024; Chen et al., 2025)。这一簇将 CDE 检验作为工具,用于验证模型是否在敏感属性上存在条件分布差异,或评估生成数据是否忠实于真实条件分布。

这个方向在追问的核心问题

  1. 高维 \(Z\) 下检验功效的保持:当 \(d_Z\) 远大于样本量 \(n\) 时,能否构造不依赖 \(Z\) 空间几何的检验统计量?本文的回答是"可以,但前提是生成模型能捕捉 \(Z\) 的低维结构"。
  2. 生成模型误差对检验有效性的影响:生成模型估计误差如何传播到检验统计量?需要多快的收敛速度才能保证渐近有效性?本文的答案是"仅需一致性,无需速率",这是对已有文献(要求 \(o(n^{-1/2})\) 乘积速率)的实质性放宽。
  3. 局部备择假设下的功效刻画:当条件分布差异以 \(n^{-\alpha}\) 速率收缩时,检验在什么 \(\alpha\) 阈值下仍能检测到差异?本文给出 \(\alpha < 1/4\) 时功效趋于 1 的结论。

⚠️ 作者的 framing(这是作者的说法)

作者将缺口 frame 为:"现有 CDE 检验(核/距离基)在高维 \(Z\) 下因依赖局部平滑而功效不足;本文用生成模型采样替代平滑估计,将高维困难转移给生成模型的表示学习,从而在仅要求生成模型一致性的条件下实现渐近正态检验。" 作者淡化的竞争路线包括:(1) 直接估计条件密度或条件嵌入的经典非参数方法(认为其在高维下不可行);(2) 同期生成模型检验(如 Gao et al., 2026)中对生成误差的速率要求(本文声称只需一致性即可)。值得研究者去查的问题:作者在引言中未提及的、可能存在的"条件分布差异的 minimax 最优检验速率"文献——如果存在已知的 \(n^{-1/4}\) 是最优可检测速率,那么本文的贡献就是"达到最优"而非"突破最优";如果不存在,本文的 \(n^{-1/4}\) 阈值可能只是技术证明的产物而非本质界限。

张力

未见明显对立引用。但存在一个隐含张力:作者声称"仅需一致性"是极弱条件,但一致性本身在 \(d_Z\) 高时对生成模型的容量要求极高——深度网络的通用逼近定理保证存在性,却不保证可学习性(样本复杂度可能随 \(d_Z\) 指数增长)。作者在理论上回避了这一问题,仅以"生成模型可适应低维结构"作为经验性辩护。


二、最核心、最简单的例子 / 数学问题

第一步:符号、模型、可观测数据

符号清单(按类别分组):

类别 记号 含义
可观测数据 \((X_i, Y_i, Z_i)_{i=1}^{2n}\) 独立同分布样本,每对 \((X_i, Y_i)\) 共享同一个协变量 \(Z_i\),且 \(X_i\) 与 \(Y_i\) 在给定 \(Z_i\) 下可以相依
维数指标 \(d_X, d_Z\) 响应变量 \(X, Y\) 的维数(两者相同)与协变量 \(Z\) 的维数
样本划分 \(J^{(1)} = \{1,\dots,n\}\), \(J^{(2)} = \{n+1,\dots,2n\}\) 两折样本划分,用于交叉拟合
目标分布 (P_{X Z}, P_{Y
潜在/不可观测量 \(G_X, G_Y\) 真实的条件生成函数(噪声外引引理保证存在),满足 (G_X(\kappa, Z)
估计量 \(\hat{G}_X^{(j)}, \hat{G}_Y^{(j)}\) 在第 \(j\) 折上训练的条件生成模型,用于从 (P_{X
合成样本 \(\hat{X}_i^{(m)} = \hat{G}_X^{(j)}(Z_i, \kappa_i^m)\), \(\hat{Y}_i^{(m)} = \hat{G}_Y^{(j)}(Z_i, \eta_i^m)\) 对第 \(i\) 个样本的协变量 \(Z_i\),用生成模型产生 \(M\) 个合成响应
核与 RKHS \(K(\cdot, \cdot)\), \(\mathcal{H}_0\) 定义在 \(\mathbb{R}^{d_X}\) 上的特征核及其 RKHS
检验统计量 \(\hat{T}_n\) 基于合成样本构造的学生化检验统计量
oracle 统计量 \(T_n\) 使用真实生成函数 \(G_X, G_Y\) 的不可达统计量
局部备择参数 \(\alpha, \Delta(\cdot)\) 备择假设下条件分布差异的收缩速率与方向函数

数据生成机制:观测数据 \((X_i, Y_i, Z_i)\) 来自某个未知联合分布 \(P_{XYZ}\)。原假设 \(H_0: P_{X|Z} = P_{Y|Z}\) 几乎处处成立(在 \(P_Z\) 下)。备择假设允许条件分布差异存在,且差异可以随样本量收缩(局部备择)。

可观测 vs 不可观测:研究者能观测到的是 \((X_i, Y_i, Z_i)\) 的样本;观测不到的是真实条件生成函数 \(G_X, G_Y\)(只能通过生成模型 \(\hat{G}_X, \hat{G}_Y\) 逼近)以及条件分布本身。检验的关键在于:用合成样本 \(\hat{X}_i^{(m)}, \hat{Y}_i^{(m)}\) 替代真实条件采样,并证明这种替代不破坏检验的渐近性质。

第二步:最小内核

核心思想:将 CDE 检验转化为一个"条件化后的边际双样本检验"。

最简特例:设 \(d_X = 1\),\(Z\) 为一维随机变量,核 \(K\) 取高斯核。假设我们已经有了完美的条件生成器(即 \(\hat{G}_X = G_X, \hat{G}_Y = G_Y\)),那么问题退化为:

  1. 对每个观测到的 \(Z_i\),从 \(P_{X|Z=Z_i}\) 和 \(P_{Y|Z=Z_i}\) 各采样 \(M\) 个合成样本 \(\tilde{X}_i^{(m)}, \tilde{Y}_i^{(m)}\)。
  2. 构造 oracle 统计量:
    \[T_n = \frac{1}{\sqrt{n}} \sum_{i=1}^{2n} \tilde{S}_i\]
    其中 \(\tilde{S}_i = \langle K(X_i, \cdot) - K(Y_i, \cdot), \tilde{g}_X(Z_i) - \tilde{g}_Y(Z_i) \rangle_{\mathcal{H}_0}\),而 \(\tilde{g}_X(Z_i) = M^{-1} \sum_{m=1}^M K(\tilde{X}_i^{(m)}, \cdot)\) 是条件嵌入的蒙特卡洛估计。

为什么这个特例能成立:在 \(H_0\) 下,\(X_i\) 与 \(\tilde{X}_i^{(m)}\) 都服从 \(P_{X|Z=Z_i}\),因此 \(K(X_i, \cdot) - \tilde{g}_X(Z_i)\) 是均值为零的 \(\mathcal{H}_0\)-值随机元。同理 \(K(Y_i, \cdot) - \tilde{g}_Y(Z_i)\) 也是。于是 \(\tilde{S}_i\) 的期望为零,且由于样本划分保证了 \(\tilde{g}_X(Z_i)\) 与 \(X_i\) 的条件独立(生成器在第 \(j\) 折训练,\(X_i\) 在第 \(j' \neq j\) 折),\(\tilde{S}_i\) 构成鞅差序列,中心极限定理直接适用。

去掉完美生成器假设:当 \(\hat{G}_X \neq G_X\) 时,\(\hat{S}_i\) 与 \(\tilde{S}_i\) 的差异为:

\[\hat{S}_i - \tilde{S}_i = \langle K(X_i, \cdot) - K(Y_i, \cdot), (\hat{g}_X(Z_i) - \tilde{g}_X(Z_i)) - (\hat{g}_Y(Z_i) - \tilde{g}_Y(Z_i)) \rangle_{\mathcal{H}_0}\]
本文的关键定理(Theorem 2.4)证明:在 \(H_0\) 下,只要生成模型一致(\(\|\hat{g}_X(z) - \tilde{g}_X(z)\|_{\mathcal{H}_0} \to 0\) 依概率),就有 \(\hat{T}_n - T_n = o_p(1)\)。注意这里不需要任何收敛速率——这是因为在 \(H_0\) 下,\(\hat{S}_i\) 的均值恰好为零(生成器一致意味着 \(\hat{g}_X(Z_i)\) 与 \(X_i\) 渐近独立),估计误差只影响方差,而学生化步骤恰好吸收了方差中的估计误差。

这个最小内核揭示了什么:本文的数学本质是——用样本划分切断生成器估计误差与检验统计量之间的相关性,使得估计误差只进入二阶矩而不进入一阶矩。这正是为什么"仅需一致性"而非"需要速率":因为一阶矩(均值)在 \(H_0\) 下恒为零,与生成器精度无关;二阶矩(方差)通过学生化被消除。这一机制与半参数效率理论中的 Neyman orthogonality 有异曲同工之妙,但实现方式更简单——直接通过样本划分实现。

局部备择下的推广:在备择假设 \(H_{1n}\) 下,条件嵌入差异以 \(n^{-\alpha}\) 速率收缩。oracle 统计量的均值变为 \(n^{1/2 - 2\alpha} c\)(其中 \(c = E\|\Delta(Z)\|^2_{\mathcal{H}_0}\))。当 \(\alpha < 1/4\) 时,均值发散,检验功效趋于 1;当 \(\alpha = 1/4\) 时,均值收敛到常数,检验具有非平凡功效;当 \(\alpha > 1/4\) 时,均值消失,检验无法检测差异。这里的 \(n^{-1/4}\) 阈值是"生成器一致性 + 学生化"这一机制的直接产物——它比边际 MMD 检验的 \(n^{-1/2}\) 慢,反映了条件设定的额外代价。


三、这篇论文做了什么

三句话

  1. 研究了什么问题:在高维协变量 \(Z\) 下,如何检验两个条件分布 \(P_{X|Z}\) 与 \(P_{Y|Z}\) 是否相等,且检验功效不因 \(d_Z\) 增大而崩溃。
  2. 核心工具/方法:用条件生成模型(GAN、扩散模型、Engression、MDN)从估计的条件分布采样合成数据,基于合成样本构造学生化的 ECMMD 检验统计量,并采用样本划分(交叉拟合)切断生成器估计误差与检验统计量的相关性。
  3. 主要结论:在 \(H_0\) 下,只要生成模型一致(无需任何收敛速率),检验统计量渐近正态,临界值可用标准正态分位数;在局部备择下,当差异以 \(n^{-\alpha}\) 速率收缩且 \(\alpha < 1/4\) 时,检验功效趋于 1。

关键设定与假设

  • 样本划分与交叉拟合:将 \(2n\) 个样本分成两折 \(J^{(1)}\) 和 \(J^{(2)}\)。在第 \(j\) 折上,用 \(J^{(-j)}\) 训练生成器 \(\hat{G}_X^{(j)}, \hat{G}_Y^{(j)}\),然后在 \(J^{(j)}\) 上计算统计量。这一设计保证了 \(\hat{g}_X(Z_i)\) 与 \(X_i\) 的条件独立性(给定 \(Z_i\)),是证明的核心。
  • Assumption 2.3(a):核的有界性(如高斯核、拉普拉斯核),确保 RKHS 嵌入良定义且三阶矩存在。
  • Assumption 2.3(b):生成器估计误差的加权 \(L_2\) 范数期望收敛到零,即
    \[E\left[(K(X_i,X_i) + K(Y_i,Y_i)) \|\hat{g}_X(Z_i) - \tilde{g}_X(Z_i)\|^2_{\mathcal{H}_0}\right] = o(n^{-2\beta})\]
    这是"一致性"的数学表述——注意它不要求任何速率,只需 \(o(1)\)(当 \(\beta = 0\) 时)。
  • Assumption 2.3(c):oracle 统计量的方差非退化(\(\text{Var}(\tilde{S}_1) > 0\)),排除检验统计量恒为零的平凡情形。
  • 与已有文献的对比:相比 Shi et al. (2021) 和 Zhang et al. (2026) 要求生成器误差乘积 \(o(n^{-1/2})\),本文仅要求一致性(\(o(1)\)),这是实质性放宽。相比 Chatterjee et al. (2024) 的 K-近邻方法,本文不需要选择近邻数 \(K\) 或带宽,避免了高维平滑参数的调节困难。

主要结果

Theorem 2.4(原假设下的渐近正态性):在 Assumption 2.3 下,若 \(H_0\) 成立,则

\[\hat{T}_n \xrightarrow{d} N(0, 1/2)\]
其中 \(1/2\) 来自两折统计量的平均。证明路线: 1. oracle 逼近:先证明 \(\hat{T}_n - T_n = o_p(1)\)。关键在于 \(\hat{S}_i - \tilde{S}_i\) 的期望为零(由样本划分的条件独立性),方差由 Assumption 2.3(b) 控制。 2. 鞅差中心极限定理:对 oracle 统计量 \(T_n\),\(\tilde{S}_i\) 构成鞅差序列(因为 \(\tilde{g}_X(Z_i)\) 只依赖 \(Z_i\) 和训练折,与 \(X_i\) 条件独立),应用鞅差 CLT 得到渐近正态性。 3. 学生化:\(\hat{\sigma}_n^{(j)}\) 是 \(\tilde{S}_i\) 标准差的相合估计,学生化后消除未知方差。

Theorem 2.5(局部备择下的功效):在 \(H_{1n}\) 下(条件嵌入差异以 \(n^{-\alpha}\) 速率收缩), - 若 \(0 \le \alpha < 1/4\),则 \(\hat{T}_n \xrightarrow{p} \infty\),检验功效趋于 1; - 若 \(\alpha = 1/4\),则 \(\hat{T}_n - \frac{c}{\sqrt{\text{Var}(\tilde{S}_1)}} \xrightarrow{d} N(0, 1/2)\),检验具有非平凡功效; - 若 \(\alpha > 1/4\),则 \(\hat{T}_n \xrightarrow{d} N(0, 1/2)\),检验无法检测差异。

技术难点与突破: - 难点 1:生成器估计误差与检验统计量的相关性。突破:样本划分 + 交叉拟合,使得估计误差只进入二阶矩。 - 难点 2:高维 \(Z\) 下核平滑的失效。突破:完全绕开 \(Z\) 空间的几何结构,将高维困难转移给生成模型的表示学习。 - 难点 3:局部备择下统计量的漂移项计算。突破:利用 ECMMD 的二次形式结构,将漂移项分解为信号项和交叉项,交叉项由生成器一致性控制。

真实例子与应用

模拟实验: - Example 1(\(d_X = 1\),\(d_Z \in \{1, 10, 200, 2000\}\)):模型为 \(X_i = m(Z_i) + \varepsilon_i^X\),\(Y_i = 2(\delta_i - 1/2)m(Z_i) + \varepsilon_i^Y\),其中 \(\delta_i \sim \text{Bernoulli}(1 - p_{\text{flip}})\)。当 \(p_{\text{flip}} = 0\) 时 \(H_0\) 成立。结果显示:在 \(d_Z = 200\) 和 \(d_Z = 2000\) 时,GM1 的功效显著高于 NN15、MMD 和 YLZ。例如在 \(d_Z = 200, p_{\text{flip}} = 0.4\) 时,GM1 功效为 89.6%,而 NN15 仅 19.8%,MMD 仅 4.6%。YLZ 在 \(d_Z \ge 200\) 时功效为 0。 - Example 2(\(d_X = d_Z = 200\),\(s \in \{7, 14, 21\}\)):\(X\) 和 \(Y\) 为多维响应,信号仅在前 \(s\) 个坐标。结果显示 GM1 在 \(s = 7\) 和 \(s = 14\) 时功效最高,但在 \(s = 21, p_{\text{flip}} = 0.2\) 时略低于 MMD(GM1: 6.6% vs MMD: 7.0%)。

真实数据:UTKFace 人脸数据集(16,425 张图像,年龄 20–59 岁)。用预训练 ResNet-18 提取 512 维特征作为 \(Z\),年龄作为 \(X\),用 Engression 或 MDN 拟合条件生成模型。检验目标:评估生成模型是否忠实于真实条件分布。结果显示:GM100 在 \(p_{\text{flip}} \ge 0.25\) 时功效显著高于 NN5/NN15/NN30/NN50/NN100,且 \(H_0\) 下尺寸控制准确(约 5%)。这个例子想说明:当 \(Z\) 是图像特征(高维且具有低维流形结构)时,生成模型能捕捉这种结构,而核方法在 512 维空间中完全失效。

🔎 结论是否比证明窄

  • 窄处 1:Theorem 2.4 的证明假设生成器估计误差的加权 \(L_2\) 范数期望收敛到零(Assumption 2.3(b)),但未给出任何具体生成模型(如 GAN、扩散模型)满足该条件的充分条件。作者在 Remark 中声称"一致性是极弱要求",但未证明任何实际训练过程(如经验风险最小化)能达到这一要求。结论的适用范围是"假设生成器一致",而非"任何生成器都一致"。
  • 窄处 2:Theorem 2.5 的局部备择分析假设漂移项 \(\Delta(Z)\) 是固定的(不随 \(n\) 变化),且 \(E\|\Delta(Z)\|^2_{\mathcal{H}_0} = c > 0\)。但未讨论 \(\Delta(Z)\) 随 \(n\) 变化或 \(\Delta(Z)\) 与 \(Z\) 的维度 \(d_Z\) 的关系。在高维 \(d_Z\) 下,\(c\) 可能随 \(d_Z\) 衰减,导致实际功效远低于理论预测。
  • 窄处 3:论文的模拟和真实数据实验均假设 \(X, Y\) 与 \(Z\) 的关系是"可被生成模型捕捉的"(如线性、低维流形)。对于 \(Z\) 与 \(X\) 的关系高度复杂且无低维结构的场景,生成模型可能无法一致估计条件分布,此时本文的理论保证失效。作者未讨论这一局限性。
  • 泛化声称:作者在摘要和引言中声称"仅需一致性"是本文的主要理论贡献,但这一声称仅在 \(H_0\) 下成立。在备择假设下,生成器误差与信号项的交叉项需要额外的速率条件(虽然作者未明确写出,但从证明中可推断需要 \(\|\hat{g}_X - \tilde{g}_X\| = o(n^{-\alpha})\) 之类的条件)。

四、开放问题

  1. 生成模型一致性的充分条件:本文假设生成模型一致(Assumption 2.3(b)),但未给出任何具体生成模型(GAN、扩散模型、Engression)满足该条件的可验证充分条件。扎根于:Assumption 2.3(b) 的陈述与 Remark 中"仅需一致性"的声称之间的 gap。要确认这是否为真 gap,可去读近期关于生成模型统计收敛速率的工作(如扩散模型的 \(L_2\) 收敛界),看是否存在已知的充分条件。

  2. 局部备择的维度依赖:Theorem 2.5 中 \(n^{-1/4}\) 阈值是否随 \(d_Z\) 退化?当 \(d_Z\) 随 \(n\) 增长时,漂移项 \(c = E\|\Delta(Z)\|^2_{\mathcal{H}_0}\) 是否可能趋于零?扎根于:Theorem 2.5 的陈述中 \(c > 0\) 的假设未讨论 \(d_Z\) 的影响。可去查高维非参数检验的 minimax 下界文献,看是否存在已知的维度惩罚。

  3. 生成器误差与信号项的交叉项:在备择假设下,生成器误差与信号项的交叉项需要什么条件才能被控制?本文的证明(Theorem 2.5)是否隐含了比"一致性"更强的速率要求?扎根于:Theorem 2.5 的证明中交叉项的处理(作者在补充材料 SM4 中给出,但正文未明确说明所需条件)。

  4. 相依数据与时间序列设定:本文假设 \((X_i, Y_i, Z_i)\) 独立同分布。当数据存在时间相依性(如纵向数据、时间序列)时,样本划分的独立性论证是否失效?扎根于:论文的设定部分明确假设 i.i.d.,未讨论相依数据的推广。

  5. 生成模型选择的影响:不同生成模型(GAN vs 扩散模型 vs MDN)对检验功效的影响是否可以用理论刻画?本文实验显示 Engression 优于 MDN,但未给出理论解释。扎根于:Figure 1(c) 的实验结果与正文中"模型无关"的理论声称之间的张力。

提醒:要确认上述问题是否为真 gap,建议去读同一子领域近期约 5 篇论文的引言(如 Gao et al. 2026、He et al. 2025、Chen et al. 2025 等)——如果多篇论文都指向同一个未解决问题,那就是共识性的真 gap;如果各篇论文的设定差异很大、结论互相矛盾,那可能是机会所在。


Maintained by 陈星宇 · Homepage · Source on GitHub

评论