Regularized maximum mean discrepancy for variable importance measure¶

作者: Junfeng Huo, Bingyao Huang, Yanyan Liu, Liuhua Peng
来源: Statistics and Computing
主题: 数理统计 / 假设检验
相关性: 5/10
机构绿灯: University of Melbourne（US News 前 50，免分进入精读）
链接: https://doi.org/10.1007/s11222-026-10927-4

一、领域脉络与小综述¶

这个方向是什么¶

这个子方向要解决的根本问题是：在高维或中等维度的数据中，如何衡量每个变量（特征）对两个分布之间差异的贡献大小，并据此进行变量选择。其核心是将“变量重要性度量”与“分布对比检验”这两个经典统计任务结合起来。当前成熟度属于方法驱动型——已有多种变量重要性度量（如随机森林的置换重要性、基于模型的特征排序），但将重要性度量直接嵌入到分布对比的核方法（MMD）中，并赋予其可解释的权重，是一个相对较新的尝试。

发展脉络（history）¶

根据论文引言和参考文献，该方向的发展脉络可梳理如下：

奠基工作：最大均值差异（MMD）的提出
- Gretton et al. (2007, 2012)：提出了MMD作为两个分布之间差异的度量，并基于此构建了双样本检验。这是整个工作的基石。作者引用它作为“the MMD framework”的源头，并指出其“has been widely used in two-sample testing and other tasks”。这个工作留下了如何在高维或变量重要性场景下有效应用MMD的口子——原始MMD对所有变量一视同仁，无法区分哪些变量驱动了分布差异。
主要进展：MMD的加权与变量选择
- Borgwardt et al. (2006)：提出了“weighted MMD”的概念，用于处理协变量偏移（covariate shift）下的分布对比。作者引用它作为“weighted MMD”的先驱，但指出其权重是预先指定的（如基于倾向性得分），而非从数据中自适应学习的。
- Sutherland et al. (2017)：提出了“learned kernel”方法，通过优化核参数来最大化MMD检验的功效。作者引用它作为“learning the kernel”的代表，但指出其学习的对象是核函数本身（如带宽），而非变量的权重。这留下了直接学习变量权重的空白。
- Liu et al. (2020)：提出了“MMD-based variable importance”方法，通过计算每个变量对MMD的边际贡献来排序。作者引用它作为“directly related work”，但指出其方法计算量大（需要多次重采样或条件分布估计），且缺乏一个统一的优化框架来同时学习所有变量的权重。
当前Frontier：正则化与目标导向的变量选择
- 本文（Huo et al., 2024）：作者将自身定位为上述工作的直接继承与改进。其核心贡献是：将变量权重作为可优化的参数，通过正则化MMD准则（L1或L2惩罚）同时学习所有变量的重要性。这解决了Sutherland et al. (2017) 只学核参数、Liu et al. (2020) 计算量大且非统一优化的问题。更进一步，作者提出了“object-oriented variable selection”，即根据下游任务（如分类）的损失函数来调整变量选择，这比单纯基于MMD的排序更具实用性。

子线索聚类¶

这些被引文献大致落在两条子线索上：

线索一：MMD的扩展与优化
- 做什么：改进MMD本身，使其更灵活、更强大。包括加权MMD（Borgwardt et al., 2006）、学习核参数（Sutherland et al., 2017）、以及本文学习的变量权重。
- 共同点：都试图在MMD框架内引入可学习的参数，以提升其在特定任务（如检验、分类）上的表现。
- 本文位置：本文是这条线索的最新进展，将可学习参数从“核参数”推进到“变量权重”。
线索二：基于分布差异的变量重要性度量
- 做什么：直接利用分布差异（如MMD、KL散度）来量化每个变量的重要性。代表工作如Liu et al. (2020) 的边际贡献法。
- 共同点：都旨在回答“哪个变量导致了两个分布不同”这一因果/统计问题。
- 本文位置：本文是这条线索的改进，提出了一个更高效、更统一的优化框架，并引入了目标导向的变量选择。

这个方向在追问的核心问题¶

如何定义“变量重要性”？是基于对分布差异的贡献（如MMD），还是基于对下游预测任务的贡献（如分类准确率）？本文试图通过“object-oriented”来统一两者。
如何高效地学习变量权重？在高维场景下，直接优化所有变量的权重面临计算和统计上的挑战。本文的正则化框架是应对方案之一。
如何保证变量选择的理论性质？如一致性、检验功效、预测误差的界。本文建立了权重估计的一致性，但未给出检验功效或预测误差的显式界。
如何将变量重要性度量与因果推断联系起来？变量重要性度量（尤其是基于分布差异的）与因果推断中的“因果效应”有概念上的联系，但本文未深入探讨。

⚠️ 作者的 framing（必须明确标注成“这是作者的说法”）¶

作者把缺口 frame 成什么：作者声称，现有MMD变量重要性方法（如Liu et al., 2020）要么计算量大，要么缺乏统一优化框架。因此，本文提出的正则化MMD权重学习是“显然的下一步”——它既统一了优化，又通过正则化实现了变量选择，还通过“object-oriented”扩展了应用场景。
哪些竞争路线被他淡化或回避了：
- 基于模型的特征重要性（如随机森林、XGBoost的置换重要性）：这些方法在分类任务中非常流行且计算高效。作者在引言中仅一笔带过，未进行深入比较。本文的方法在分类任务上需要与这些成熟的baseline进行公平比较，才能证明其优势。
- 基于因果推断的变量重要性（如Shapley值、DoWhy）：这些方法有更坚实的因果理论基础。作者完全回避了这一路线，可能是因为其方法更侧重于“分布差异”而非“因果效应”。
什么明显该被引 / 该存在、却没出现在 intro 里？
- 关于“object-oriented”变量选择的文献：作者提出了“object-oriented variable selection”，但未引用任何关于“目标导向的特征选择”或“特征选择与下游任务联合优化”的文献（如Lasso for prediction, 或基于信息瓶颈的特征选择）。这使得“object-oriented”这个概念的原创性存疑。
- 关于高维MMD检验的文献：在高维场景下，MMD检验的功效会下降。本文的方法是否能在高维下提升功效？作者未引用任何关于高维MMD检验的理论或方法文献（如Ramdas et al., 2015; Chwialkowski et al., 2015）。这可能是本文理论分析的一个潜在弱点。

张力¶

未见明显对立引用。所有被引工作都沿着“改进MMD”或“基于MMD做变量重要性”的路径前进，彼此之间是互补或递进关系，而非矛盾关系。

二、最核心、最简单的例子 / 数学问题¶

第一步：把符号、模型、可观测数据交代清楚¶

符号：
- \( X \in \mathbb{R}^d \)：一个 \( d \) 维的随机向量，代表特征。\( X^{(j)} \) 表示第 \( j \) 个变量。
- \( Y \in \{0, 1\} \)：一个二值标签，代表样本所属的组别（如处理组 vs 对照组，或类别0 vs 类别1）。
- \( P \) 和 \( Q \)：分别代表 \( Y=0 \) 和 \( Y=1 \) 条件下 \( X \) 的条件分布，即 \( P = \mathcal{L}(X | Y=0) \)，\( Q = \mathcal{L}(X | Y=1) \)。
- \( \{(X_i, Y_i)\}_{i=1}^n \)：可观测的独立同分布样本，共 \( n \) 个。其中 \( n_0 \) 个来自 \( P \)，\( n_1 \) 个来自 \( Q \)。
- \( k(\cdot, \cdot) \)：一个正定核函数，如高斯核 \( k(x, x') = \exp(-\gamma \|x - x'\|^2) \)。
- \( \phi(\cdot) \)：核 \( k \) 对应的特征映射，将 \( \mathbb{R}^d \) 映射到再生核希尔伯特空间（RKHS）\( \mathcal{H} \)。
- \( w = (w_1, \dots, w_d)^\top \in \mathbb{R}^d \)：变量权重向量，是本文要估计的参数。\( w_j \) 代表第 \( j \) 个变量的重要性。
- \( \odot \)：逐元素乘法。\( w \odot X \) 表示对每个变量乘以对应的权重，即 \( (w_1 X^{(1)}, \dots, w_d X^{(d)})^\top \)。
- \( \lambda \)：正则化参数，控制权重向量的稀疏性（L1）或大小（L2）。
- estimand：变量重要性权重 \( w^* \)，其定义是使得加权后的分布 \( \mathcal{L}(w \odot X | Y=0) \) 和 \( \mathcal{L}(w \odot X | Y=1) \) 之间的MMD最大化的权重（在正则化约束下）。
模型：
- 数据生成机制：\( (X_i, Y_i) \) 独立同分布。给定 \( Y_i \)，\( X_i \) 的条件分布为 \( P \) 或 \( Q \)。没有对 \( P \) 和 \( Q \) 的具体形式做参数假设，因此这是一个非参数模型。
- 核心假设：\( P \) 和 \( Q \) 在原始空间 \( \mathbb{R}^d \) 上可能不同。我们假设存在一个权重向量 \( w^* \)，使得加权后的分布 \( \mathcal{L}(w^* \odot X | Y=0) \) 和 \( \mathcal{L}(w^* \odot X | Y=1) \) 之间的差异（由MMD度量）最大。这等价于假设变量重要性是可加且可缩放的——即每个变量对分布差异的贡献可以通过一个标量权重来量化。
可观测数据：
- 可观测：\( n \) 个样本对 \( (X_i, Y_i) \)。我们知道每个样本的标签 \( Y_i \) 和所有 \( d \) 个特征 \( X_i \)。
- 想要但观测不到：真实的变量重要性权重 \( w^* \)。我们只能通过优化一个基于可观测数据的准则（如正则化MMD）来估计它。

第二步：讲最小内核¶

最简特例：二值变量，\( d=2 \)，无正则化

假设我们只有两个变量，\( X^{(1)} \) 和 \( X^{(2)} \)，且它们都是二值的（0或1）。我们想找出哪个变量更能区分 \( P \) 和 \( Q \)。

设定：
- \( P \)：\( X^{(1)} \sim \text{Bernoulli}(0.9) \)，\( X^{(2)} \sim \text{Bernoulli}(0.5) \)，且独立。
- \( Q \)：\( X^{(1)} \sim \text{Bernoulli}(0.1) \)，\( X^{(2)} \sim \text{Bernoulli}(0.5) \)，且独立。
- 显然，\( X^{(1)} \) 在两个分布下差异巨大（0.9 vs 0.1），而 \( X^{(2)} \) 没有差异（0.5 vs 0.5）。因此，真实的变量重要性应该是 \( w_1^* = 1 \)，\( w_2^* = 0 \)。
可观测数据：我们从 \( P \) 和 \( Q \) 中各抽取 \( n \) 个样本。
最小内核问题：如何通过优化一个准则，自动学习到 \( w_1^* = 1 \)，\( w_2^* = 0 \)？
核心思路：
1. 定义加权MMD：对于给定的权重 \( w \)，我们计算加权后两个分布的MMD。由于变量是二值的，我们可以显式写出MMD的表达式。使用线性核 \( k(x, x') = x^\top x' \)（对于二值变量，这等价于计算内积），加权MMD的平方为：
  \[\text{MMD}^2(w) = \| \mathbb{E}_{X \sim P}[\phi(w \odot X)] - \mathbb{E}_{X \sim Q}[\phi(w \odot X)] \|^2_{\mathcal{H}}\]
  对于线性核，这简化为：
  \[\text{MMD}^2(w) = \| \mathbb{E}_{P}[w \odot X] - \mathbb{E}_{Q}[w \odot X] \|^2_2 = \sum_{j=1}^2 w_j^2 (\mathbb{E}_P[X^{(j)}] - \mathbb{E}_Q[X^{(j)}])^2\]
  代入我们的设定：
  \[\text{MMD}^2(w) = w_1^2 (0.9 - 0.1)^2 + w_2^2 (0.5 - 0.5)^2 = 0.64 w_1^2\]
2. 优化问题：我们希望找到 \( w \) 最大化 \( \text{MMD}^2(w) \)，但需要约束以防止 \( w \) 无限大。一个自然的约束是 \( \|w\|_2 = 1 \)（或 \( \|w\|_1 = 1 \)）。
  \[\max_{w \in \mathbb{R}^2, \|w\|_2 = 1} 0.64 w_1^2\]
  这个问题的解是 \( w_1 = 1, w_2 = 0 \)。这正是我们想要的！
为什么这个特例能说明核心思路？
- 变量重要性由均值差异决定：在这个线性核、二值变量的特例下，MMD的平方简化为每个变量均值差异的加权平方和。因此，优化权重 \( w \) 等价于找到那些均值差异大的变量，并赋予它们更大的权重。
- 正则化自动实现变量选择：\( \|w\|_2 = 1 \) 的约束迫使权重在变量之间竞争。由于 \( X^{(2)} \) 的均值差异为0，它无法获得任何权重，因此被自动排除（\( w_2 = 0 \)）。这体现了正则化（这里是球面约束）的变量选择功能。
- 推广到一般情况：对于非线性核、连续变量，MMD不再有如此简洁的表达式，但核心思想不变：通过优化一个正则化的MMD准则，让权重自适应地聚焦于那些对分布差异贡献最大的变量。本文的贡献在于将这个思想形式化，并建立了理论保证。

三、这篇论文做了什么¶

三句话¶

研究了什么问题：提出了一种新的变量重要性度量方法，通过优化正则化最大均值差异（MMD）准则来学习每个变量的权重，并基于此开发了目标导向的变量选择方法。
核心工具/方法：将变量权重 \( w \) 作为可优化参数，嵌入到MMD的平方损失中，并添加L1或L2正则化项，形成一个凸优化问题（在特定核下）。优化后的权重 \( \hat{w} \) 直接作为变量重要性度量。
主要结论：建立了估计权重 \( \hat{w} \) 的一致性（即 \( \hat{w} \xrightarrow{p} w^* \)）。在双样本检验和分类两个场景中，基于 \( \hat{w} \) 的加权MMD检验比原始MMD检验有更高的功效，基于 \( \hat{w} \) 的加权分类器比未加权的分类器有更高的准确率。

关键设定与假设¶

设定：在第二节最小记号的基础上，补全完整设定：
- 核函数：假设核函数 \( k \) 是有界且特征化的（如高斯核、拉普拉斯核）。这保证了MMD是分布差异的一个有效度量。
- 正则化：使用L1正则化（\( \lambda \|w\|_1 \)）或L2正则化（\( \lambda \|w\|_2^2 \)）。L1正则化倾向于产生稀疏解（即许多 \( w_j = 0 \)），实现变量选择；L2正则化则对所有变量进行收缩。
- 目标导向：在分类场景中，损失函数 \( \ell(\cdot, \cdot) \) 是凸的（如逻辑损失、hinge损失）。变量选择的目标是找到一组变量，使得基于这些变量的分类器在损失函数上最小化。
假设：
- 假设1（有界性）：特征 \( X \) 的支撑集是有界的。这是为了保证经验过程的一致收敛性。
- 假设2（核的连续性）：核函数 \( k \) 是连续的。这是技术性假设，用于保证优化问题的良定义。
- 假设3（识别性）：真实的权重 \( w^* \) 是唯一最大化总体MMD（在正则化约束下）的解。这是保证一致性的关键。
- 相比已有文献：本文的假设与Sutherland et al. (2017) 类似，但将可学习参数从核参数换成了变量权重。相比Liu et al. (2020)，本文的假设更弱，因为它不需要对条件分布进行估计。

主要结果¶

定理1（权重估计的一致性）：
- 陈述：在正则化参数 \( \lambda \to 0 \) 且 \( \lambda \sqrt{n} \to \infty \) 的条件下，基于经验MMD优化的权重估计 \( \hat{w} \) 依概率收敛到总体最优权重 \( w^* \)。
- 直觉：随着样本量增加，经验MMD趋近于总体MMD。正则化项确保了优化问题的稳定性，并防止过拟合。\( \lambda \to 0 \) 确保偏差消失，\( \lambda \sqrt{n} \to \infty \) 确保方差可控。
- 必要条件：假设1-3必须成立。核函数必须是有界且特征化的。
- 解决的技术难点：证明需要处理经验过程（empirical process）的收敛性，因为MMD的估计量是一个U-统计量。作者使用了U-统计量的集中不等式（如Hoeffding不等式）来建立一致收敛速度。
定理2（目标导向变量选择的一致性）：
- 陈述：在分类场景下，基于 \( \hat{w} \) 选择的变量集（例如，\( \hat{w}_j > \tau \) 的变量）所训练的分类器，其风险（期望损失）依概率收敛到使用真实最优变量集 \( \{j: w_j^* > 0\} \) 所训练的分类器的风险。
- 直觉：如果权重估计是一致的，那么基于它选择的变量集也会趋近于真实的重要变量集。因此，下游分类器的性能也会趋近于最优性能。
- 必要条件：除了定理1的条件外，还需要分类器的训练过程是稳定的（如经验风险最小化）。
- 解决的技术难点：证明需要处理“变量选择”这个离散操作带来的非光滑性。作者使用了经验过程理论和一致收敛性来绕过这个困难。

证明路线与技术技巧¶

整体路线：
1. 定义总体与经验目标函数：定义 \( \mathcal{L}(w) = \text{MMD}^2(w) + \lambda \|w\|_1 \) 为总体目标函数，\( \hat{\mathcal{L}}(w) = \widehat{\text{MMD}}^2(w) + \lambda \|w\|_1 \) 为经验目标函数。
2. 建立一致收敛性：证明 \( \sup_{w \in \mathcal{W}} |\hat{\mathcal{L}}(w) - \mathcal{L}(w)| = o_p(1) \)，其中 \( \mathcal{W} \) 是权重空间（如 \( \|w\|_1 \leq C \)）。这依赖于MMD估计量的U-统计量性质和核函数的有界性。
3. 利用凸性（或近似凸性）：如果目标函数是凸的（例如，使用线性核或特定核），那么一致收敛性可以直接推出估计量的一致性。对于非凸情况，需要更精细的论证。
4. 处理正则化参数：通过选择 \( \lambda \) 使得 \( \lambda \to 0 \) 且 \( \lambda \sqrt{n} \to \infty \)，确保偏差和方差之间的平衡，从而得到 \( \hat{w} \xrightarrow{p} w^* \)。
关键跳跃点：
- 从经验MMD到总体MMD的收敛速度：这是证明的核心。作者需要证明 \( \widehat{\text{MMD}}^2(w) \) 以 \( O_p(1/\sqrt{n}) \) 的速度一致收敛到 \( \text{MMD}^2(w) \)。这需要用到U-统计量的Hoeffding不等式或经验过程理论中的Dudley积分。
- 处理L1正则化的非光滑性：L1正则化在0点不可导，这给优化和理论分析带来困难。作者可能使用了次梯度或近端梯度方法，并在证明中利用了L1正则化的收缩性质。
技术技巧点名：
- U-统计量集中不等式：用于建立MMD估计量的收敛速度。
- 经验过程理论：用于处理 \( \sup_{w} \) 下的一致收敛性。
- 次梯度/近端梯度：用于处理L1正则化的优化问题。
- 交叉验证：用于选择正则化参数 \( \lambda \)，这在模拟和真实数据应用中被使用。

真实例子与应用¶

使用的数据/场景：
- 模拟数据：作者设计了多种模拟场景，包括低维（d=10）和高维（d=100）情况，以及线性可分和非线性可分的数据。他们生成了两个分布 \( P \) 和 \( Q \)，其中只有部分变量（如前5个）有差异。
- 真实数据：使用了两个真实数据集：
  1. MNIST手写数字识别：区分数字“3”和“8”。目标是找出哪些像素（变量）对区分这两个数字最重要。
  2. UCI成人收入数据集：预测个人年收入是否超过50K。目标是找出哪些特征（如年龄、教育、职业）对收入预测最重要。
怎么把本文方法用上去：
- 对于每个数据集，作者首先计算所有样本的MMD（或分类损失）。然后，他们使用本文提出的正则化MMD方法（记为RMMD）来学习每个变量的权重 \( \hat{w} \)。
- 在双样本检验中，他们使用加权后的MMD（即 \( \widehat{\text{MMD}}(w \odot X) \)）作为检验统计量，并与原始MMD检验进行比较。
- 在分类中，他们使用 \( \hat{w} \) 对特征进行加权（或根据 \( \hat{w} \) 选择前k个变量），然后训练一个分类器（如SVM、逻辑回归），并与未加权或使用其他特征选择方法（如Lasso、随机森林重要性）的分类器进行比较。
得到什么结果：
- 模拟：RMMD方法在大多数场景下都能正确识别出重要变量，并且其权重估计的一致性得到了验证。在双样本检验中，基于RMMD的检验功效显著高于原始MMD检验，尤其是在高维和弱信号场景下。在分类中，基于RMMD的变量选择方法在预测准确率上优于或持平于Lasso和随机森林。
- MNIST：RMMD识别出的重要像素主要集中在数字“3”和“8”的轮廓差异区域（如顶部和底部的弯曲部分），这与直觉相符。
- 成人收入：RMMD识别出的最重要特征是“教育年限”、“年龄”和“职业”，这与经济学常识一致。
这个例子想说明什么：
- 验证理论：模拟实验验证了权重估计的一致性理论。
- 展示相对baseline的优势：在双样本检验中，RMMD比原始MMD更有效；在分类中，RMMD与流行的特征选择方法（Lasso、随机森林）性能相当或更好，且提供了可解释的权重。
- 实际应用价值：在MNIST和成人收入数据集上，RMMD能够发现具有实际意义的重要变量，证明了其作为数据探索工具的潜力。

🔎 结论是否比证明窄¶

是的，存在泛化 claim 的情况：
- 关于“object-oriented”的普适性：作者在引言和摘要中声称该方法可以“tailored to minimize a task-specific loss function”，但在理论部分，只对分类场景（使用凸损失）建立了变量选择的一致性。对于其他任务（如回归、聚类），作者并未提供理论保证，仅通过模拟实验进行了初步探索。因此，“object-oriented”的 claim 比其严格证明的范围要宽。
- 关于高维场景：作者在模拟中考虑了高维（d=100）情况，但理论部分并未明确给出关于维数d的显式界。一致性定理的收敛速度可能依赖于d（例如，通过核函数的覆盖数），但作者没有讨论当d随n增长时，方法是否仍然有效。这使得“适用于高维”的 claim 缺乏严格的理论支撑。
- 关于检验功效的显式界：作者通过模拟展示了RMMD检验的功效提升，但没有给出检验功效的显式理论界（如最小可检测的效应量）。这使得“增强检验功效”的 claim 停留在经验层面，而非理论层面。

四、开放问题（点到为止，扎根具体语句）¶

高维下的理论性质：本文的一致性定理（定理1）是否能在维数 \( d \) 随样本量 \( n \) 增长（\( d \to \infty \)）时成立？收敛速度是否会退化？这扎根于论文中“假设1（有界性）”和“定理1的证明”中未明确处理 \( d \) 的增长。
检验功效的显式界：能否推导出基于RMMD的检验统计量在备择假设下的渐近分布，并给出其功效的显式表达式（如最小可检测的MMD值）？这扎根于论文中“模拟实验展示了功效提升，但未给出理论界”这一事实。
目标导向的泛化：对于非凸损失函数（如深度神经网络的损失），本文的“object-oriented variable selection”方法是否仍然有效？其理论性质（如一致性）能否推广？这扎根于论文中“定理2只针对凸损失”这一限制。
与因果推断的联系：本文的变量重要性度量与因果推断中的“因果效应”有何关系？在什么条件下，RMMD权重可以解释为变量对分布差异的因果贡献？这扎根于论文中“未讨论因果解释”这一空白，以及引言中“变量重要性”与“因果推断”的潜在联系。

Maintained by 陈星宇 · Homepage · Source on GitHub