Algorithmic stability via ensembling¶

作者: Rina Foygel Barber, Richard J. Samworth
主题: 统计计算 / 算法
相关性: 6/10
链接: https://arxiv.org/abs/2609.10428

一、领域脉络与小综述¶

这个方向是什么：算法稳定性（algorithmic stability）衡量一个学习算法对训练数据微小扰动的敏感程度。它既是学习理论中推导泛化误差界的经典工具（Bousquet & Elisseeff, 2002），也是可复现性、可信机器学习、隐私保护等应用目标的数学刻画。本文研究的是如何通过集成（ensembling）——即对扰动后的数据运行算法再取平均——来保证任意基础算法的稳定性。该子方向的核心问题是：给定一个任意算法 \(A\) 和一种数据扰动（删除、替换、加噪、缺失等），能否通过某种平均化策略 \(Q\) 使得集成后的算法 \(A_Q\) 对扰动不敏感？稳定性界如何刻画？这个方向目前处于理论快速发展期，近五年有若干突破性工作（如 Soloff et al., 2024a,b），但统一的通用框架尚属空白。

发展脉络：

奠基：稳定性与泛化。Bousquet and Elisseeff (2002) 定义了均匀稳定性（uniform stability），证明其蕴含泛化误差界，奠定了稳定性作为学习理论核心概念的地位。后续 Shalev-Shwartz et al. (2010) 将稳定性与可学习性（learnability）等价起来。这一支关注的是稳定性作为分析工具，而非如何构造稳定算法。
稳定性与隐私。Dwork et al. (2006) 提出差分隐私（differential privacy），其本质是对单点替换的敏感性约束。Barber and Duchi (2014) 提出总变差隐私（total variation privacy），比差分隐私更弱，并给出 minimax 风险界。这一支将稳定性视为隐私度量，但通常要求算法本身满足隐私条件，而非通过后处理实现。
稳定性选择与重采样。Meinshausen and Bühlmann (2010) 提出稳定性选择（stability selection），利用子样本重采样来增强变量选择的稳定性，并给出错误控制界。Shah and Samworth (2013) 进一步改进。这一支是重采样增强稳定性的早期代表，但只针对变量选择问题，且没有一般性的稳定性保证。
Bagging 的稳定性理论。Breiman (1996a) 提出 bagging，经验上能提高不稳定算法的预测稳定性。Bühlmann and Yu (2002) 从方差分解角度分析 bagging 的平滑效应。直到 Soloff et al. (2024a,b) 才严格证明：对任意基础算法，bagging（子采样或自助采样）都能提供关于删除单点扰动的有限样本稳定性保证，且界与子样本大小有关。这是本文最直接的先导工作。
本文位置：作者将 Soloff et al. 的结果从"删除单点"这一特定扰动和"bagging"这一特定集成方式，推广到任意扰动分布 \(P\) 和任意集成通道 \(Q\)（马尔可夫核）。他们建立了一个统一框架，将稳定性界归结为某个协方差算子 \(T_{P,Q}\) 的范数，并证明该界在 worst-case 意义下是紧的。作者在引言中明确说："Our goal is to study how ensembling strategies, such as bagging or averaging over added noise, relate to the stability properties of the resulting ensembled algorithms"——即把零散的案例统一到一个框架下。

子线索聚类：

稳定性与泛化理论：Bousquet & Elisseeff (2002), Shalev-Shwartz et al. (2010), Mukherjee et al. (2006)。关注稳定性作为充分/必要条件。
稳定性与隐私：Dwork et al. (2006), Barber & Duchi (2014), Su (2025)。关注稳定性作为隐私的形式化。
重采样与集成：Breiman (1996a,b), Andonova et al. (2002), Bühlmann & Yu (2002), Soloff et al. (2024a,b)。关注 bagging 等重采样方法的稳定性效应。
交叉验证与稳定性：Bayle et al. (2020), Barber et al. (2021), Amann et al. (2023), Austern & Zhou (2025)。关注稳定性条件下的交叉验证推断。
稳定性与可解释性/可信度：Murdoch et al. (2019), Yu & Kumbier (2020)。将稳定性视为科学可复现性的要求。

这个方向在追问的核心问题：

什么样的集成方式能保证稳定性？稳定性界如何依赖于扰动类型和集成通道？
稳定性与准确性之间是否存在不可调和的矛盾？如何在保证稳定性的同时不损失太多预测性能？（Chakraborty et al., 2026 专门研究这一权衡）
稳定性界能否不依赖数据分布和算法结构？即是否存在"assumption-lean"的通用保证？
稳定性与隐私、泛化、可复现性之间的精确关系是什么？

⚠️ 作者的 framing（这是作者的说法）：作者在引言中把现有工作描述为"针对特定扰动和特定集成方式的零散结果"，而他们的框架是"统一的、假设极少的"（assumption-lean）。他们强调，通过隐私（如总变差隐私）得到的稳定性界往往很松，而直接分析协方差算子可以得到更紧的界。作者在 Section 5 中写道："we reach the conclusion that this [privacy-based] approach provides much weaker guarantees than those obtained from our direct analysis." 被作者淡化或回避的竞争路线包括：基于正则化的稳定性（如强凸性）、基于算法本身的稳定性分析（如随机梯度下降的稳定性），这些方法针对具体算法，可能给出更紧的界，但缺乏通用性。什么明显该被引 / 该存在、却没出现在 intro 里？ 作者没有引用关于"模型平均"（model averaging）的经典理论（如 ensemble methods 的偏差-方差分解），也没有引用"随机平滑"（randomized smoothing）在鲁棒性方面的近期工作——这些与"通过平均化获得稳定性"在思想上高度相关。值得研究者去查：随机平滑（Cohen et al., 2019, ICML）是否与本文的框架有联系？另外，作者没有讨论"稳定性"与"可复现性"（reproducibility）在科学哲学层面的文献（如 Yu & Kumbier, 2020 虽被引用，但仅一笔带过）。

张力：被引文献之间未见明显对立结论。但存在一个潜在张力：Soloff et al. (2024a,b) 的 bagging 稳定性界是有限样本的，而隐私文献（Dwork et al., 2006）的界通常是渐近或worst-case的。本文的框架同时覆盖两者，但作者没有讨论在何种条件下有限样本界会退化为隐私界。另一个张力：Meinshausen and Bühlmann (2010) 的稳定性选择强调子样本选择的稳定性，而本文的框架允许任意扰动（包括加噪），两者对"扰动"的定义不同，但作者没有明确区分。

二、最核心、最简单的例子 / 数学问题¶

第一步：符号、模型、可观测数据¶

在展开论文技术细节之前，先建立统一记号。以下记号贯穿全文：

数据空间 \(\mathcal{Z}\)：算法输入所在的空间。在 bagging 例子中，\(\mathcal{Z}\) 是所有长度为 \(n\) 的数据集 \((z_1,\dots,z_n)\) 的集合；在加噪例子中，\(\mathcal{Z}=\mathbb{R}^n\)。论文不限定 \(\mathcal{Z}\) 的具体结构，只要求它是一个可测空间。
基础算法 \(A:\mathcal{Z}\to[0,1]\)：任意一个将数据映射到单位区间的算法。论文的核心结果对所有这样的 \(A\) 一致成立。在 Hilbert 空间扩展中，\(A\) 取值于一个可分 Hilbert 空间 \(\mathcal{H}\) 的有界子集 \(\mathcal{W}\)。
扰动分布 \(P\)：\(\mathcal{Z}\times\mathcal{Z}\) 上的联合分布。随机对 \((Z,Z')\sim P\) 中，\(Z\) 是原始数据，\(Z'\) 是扰动后的数据。例如：
删除一个数据点：\(P=\frac{1}{n}\sum_{i=1}^n \delta_{(z,z^{-i})}\)（给定原始 \(z\)，均匀随机删除第 \(i\) 个点）。
替换一个数据点：类似，但 \(Z'\) 中第 \(i\) 个点被替换为某个新值。
加噪：\(Z'=Z+\xi\)，其中 \(\xi\) 是独立噪声。
集成通道 \(Q\)：一个马尔可夫核，\(Q(\cdot|z)\) 是给定原始数据 \(z\) 时，用于集成的扰动数据分布。注意 \(Q\) 和 \(P\) 的区别：\(P\) 描述的是"我们要防御的扰动"，\(Q\) 描述的是"我们用来做集成的扰动"。在 bagging 中，\(Q(\cdot|z)\) 是从 \(z\) 中随机抽取大小为 \(m\) 的子样本（无放回）或自助样本（有放回）的分布。在加噪中，\(Q(\cdot|z)\) 是 \(z+\xi\) 的分布。
集成算法 \(A_Q\)：定义为
\[A_Q(z)=\mathbb{E}_{Z'\sim Q(\cdot|z)}[A(Z')].\]
即对基础算法在扰动数据上的输出取平均。
稳定性参数 \(\beta_P^2(A)\)：
\[\beta_P^2(A)=\mathbb{E}_{(Z,Z')\sim P}\left[(A(Z)-A(Z'))^2\right].\]
它衡量算法 \(A\) 对 \(P\) 所描述的扰动的敏感程度。论文的目标是给出 \(\beta_P^2(A_Q)\) 的上界。
核函数 \(K_{P,Q}:\mathcal{Z}\times\mathcal{Z}\to\mathbb{R}\)：
\[K_{P,Q}(z,z')=\mathbb{E}_{(Z_0,Z_1)\sim P}\left[(Q(z|Z_0)-Q(z|Z_1))(Q(z'|Z_0)-Q(z'|Z_1))\right].\]
这个核是半正定的，它度量了集成通道 \(Q\) 在扰动 \(P\) 下的"平滑性"。
算子 \(T_{P,Q}\)：以 \(K_{P,Q}\) 为核的积分算子，作用于有界可测函数 \(f\)：
\[[T_{P,Q}f](z)=\int_{\mathcal{Z}} K_{P,Q}(z,z') f(z')\,d\mu(z'),\]
其中 \(\mu\) 是 \(\mathcal{Z}\) 上的一个 \(\sigma\)-有限基测度（例如计数测度或 Lebesgue 测度）。论文假设 \(Q(\cdot|z)\) 关于 \(\mu\) 有密度，因此上述积分有意义。
算子范数：
\[\|T_{P,Q}\|_{L^\infty\to L^1}=\sup_{\|f\|_{L^\infty}\le 1}\|T_{P,Q}f\|_{L^1}.\]
由于 \(K_{P,Q}\) 半正定，这个范数也等于 \(\sup_{\|f\|_\infty\le 1}\int\int K_{P,Q}(z,z')f(z)f(z')\,d\mu(z)d\mu(z')\)。

可观测数据：论文是纯理论工作，不涉及具体数据集。但所有量（\(P,Q,A\)）都定义在可观测的数据空间上，且结果对任何数据分布都成立（假设-free）。

第二步：最小内核¶

剥去所有一般性假设，支撑整篇论文的最小内核可以归结为一个不等式：

核心命题（定理2的简化版）：对于任意 \(A:\mathcal{Z}\to[0,1]\)，
\[> \beta_P^2(A_Q)\le \frac14 \|T_{P,Q}\|_{L^\infty\to L^1}. >\]
即：集成算法的稳定性由协方差算子 \(T_{P,Q}\) 的范数控制，且这个控制不依赖于基础算法 \(A\)。

为什么这个命题是核心？ 因为它将"算法稳定性"这个看似依赖具体算法性质的问题，转化为一个只依赖于扰动分布 \(P\) 和集成通道 \(Q\) 的算子范数问题。一旦算出 \(\|T_{P,Q}\|\)，就能对所有算法给出统一的稳定性保证。

最简例子：二值输出、有限空间、均匀扰动

设 \(\mathcal{Z}=\{0,1\}\)（数据只有两个可能值），\(P\) 是均匀分布：\((Z,Z')=(0,1)\) 和 \((1,0)\) 各以概率 \(1/2\) 出现。这模拟"扰动把数据从 0 变成 1 或反之"。设集成通道 \(Q\) 是"以概率 \(1/2\) 保持原数据，以概率 \(1/2\) 翻转"：即 \(Q(0|0)=Q(1|1)=1/2\)，\(Q(1|0)=Q(0|1)=1/2\)。基测度 \(\mu\) 取计数测度。

此时： - \(Q(0|0)-Q(0|1)=1/2-1/2=0\)，同理 \(Q(1|0)-Q(1|1)=0\)。因此 \(K_{P,Q}(z,z')=0\) 对所有 \(z,z'\)，所以 \(\|T_{P,Q}\|=0\)。 - 集成算法 \(A_Q(z)=\mathbb{E}_{Z'\sim Q(\cdot|z)}[A(Z')]=\frac12 A(0)+\frac12 A(1)\)，与 \(z\) 无关，因此 \(\beta_P^2(A_Q)=0\)。

这个例子虽然平凡，但展示了机制：如果 \(Q\) 使得从不同原始数据出发的扰动分布完全重叠，则集成算法完全稳定。

稍微不平凡的例子：删除一个数据点（bagging 的雏形）

设 \(\mathcal{Z}\) 是长度为 \(n\) 的数据集空间，\(P\) 是均匀删除一个点：\(P=\frac{1}{n}\sum_{i=1}^n \delta_{(z,z^{-i})}\)。设 \(Q\) 是均匀随机抽取大小为 \(m\) 的子样本（无放回）。此时 \(K_{P,Q}\) 的范数可以显式计算（论文 Proposition 5），得到

\[\beta_P^2(A_Q)\le \frac{1}{4(n-1)}\cdot\frac{p}{1-p},\]

其中 \(p=m/n\) 是子样本比例。这个界与 Soloff et al. (2024a) 的结果一致，且不依赖于 \(A\)。直观上，当子样本比例 \(p\) 固定时，删除一个点对子样本分布的影响是 \(O(1/n)\)，因此稳定性随 \(n\) 增大而提高。

证明思路（为什么成立）： 1. 令 \(f=A-\frac12\)，则 \(f\in[-1/2,1/2]\)。 2. 由 Lemma 1，\(\beta_P^2(A_Q)=\int_{\mathcal{Z}} f(z)\,[T_{P,Q}f](z)\,d\mu(z)\)。 3. 由于 \(K_{P,Q}\) 半正定，\(\int f\,T_{P,Q}f \le \|f\|_\infty^2 \|T_{P,Q}\|_{L^\infty\to L^1}\le \frac14\|T_{P,Q}\|_{L^\infty\to L^1}\)。

这个最小内核揭示了论文的数学本质：稳定性不是算法的性质，而是通道 \(Q\) 与扰动 \(P\) 之间的匹配程度。\(T_{P,Q}\) 的范数小，意味着 \(Q\) 能有效"抹平" \(P\) 造成的差异。

三、这篇论文做了什么¶

类型判断：理论型论文。核心是定理、证明、以及若干例子的计算。无真实数据实验，但包含多个理论示例（bagging、加噪、缺失数据）。

三句话¶

研究了什么问题：对于任意基础算法 \(A\) 和任意数据扰动 \(P\)（删除、替换、加噪、缺失等），通过平均化集成 \(Q\) 能否保证稳定性？稳定性界如何刻画？
核心工具/方法：引入马尔可夫核 \(Q\) 作为集成通道，定义协方差算子 \(T_{P,Q}\)，证明集成算法的稳定性参数 \(\beta_P^2(A_Q)\le \frac14\|T_{P,Q}\|_{L^\infty\to L^1}\)，并证明该界在 worst-case 意义下是紧的（Theorem 4）。
主要结论：该框架统一了 bagging、加噪平滑、缺失数据平均等多种集成策略的稳定性分析；在 bagging 情形下恢复了 Soloff et al. (2024a,b) 的结果，并推广到 Hilbert 空间值输出（借助 Grothendieck 不等式）；与隐私的联系表明，通过总变差隐私得到的界通常比直接分析松得多。

关键设定与假设¶

输出空间：基础算法 \(A\) 取值于 \([0,1]\)（或 Hilbert 空间 \(\mathcal{H}\) 的有界凸子集 \(\mathcal{W}\)）。这是为了利用凸性保证 \(A_Q\) 仍在同一空间。
通道 \(Q\)：要求 \(Q(\cdot|z)\) 关于某个 \(\sigma\)-有限基测度 \(\mu\) 有密度。这覆盖了离散（计数测度）和连续（Lebesgue 测度）情形。
扰动分布 \(P\)：任意联合分布，不需要任何独立性或马尔可夫性假设。
无假设：论文明确强调结果对数据分布、算法结构、维度均无假设（"assumption-lean"）。这是与现有工作（如依赖强凸性或正则化的稳定性分析）的关键区别。

主要结果¶

Theorem 2（主定理）：对任意 \(A:\mathcal{Z}\to[0,1]\)，
\[\beta_P^2(A_Q)\le \frac14 \|T_{P,Q}\|_{L^\infty\to L^1}.\]
证明简洁：令 \(f=A-1/2\)，利用 Lemma 1 和 Cauchy–Schwarz。
Theorem 4（紧性）：对任意 \(P,Q\)，存在算法 \(A\)（取值为 0/1 的指示函数）使得 \(\beta_P^2(A_Q)=\frac14\|T_{P,Q}\|_{L^\infty\to L^1}\)。因此上界不能改进。
Proposition 5（Bagging）：在删除一个数据点的扰动 \(P\) 下，对子采样（无放回）和自助采样（有放回）分别计算 \(\|T_{P,Q}\|\)，得到
\[\sup_z \frac{1}{n}\sum_{i=1}^n (A_Q(z)-A_Q(z^{-i}))^2 \le \frac{1}{4(n-1)}\cdot\frac{p}{1-p},\]
其中 \(p=m/n\)。这恢复了 Soloff et al. (2024a) 的定理，且证明更简单。
Proposition 6（加噪）：对 \(Z'=Z+\xi\) 的扰动，若 \(Q\) 是加独立噪声 \(\eta\) 的平滑算子，则
\[\beta_P^2(A_Q)\le \frac{s}{4n}\mathbb{E}\left[\max_{S\in\binom{[n]}{s}}\Delta_h(\zeta_S-Z_S)\right],\]
其中 \(\Delta_h(x)=d_{\chi^2}(x+W\|W)\) 是 \(\chi^2\) 散度。对高斯噪声和柯西噪声分别给出显式界。
Proposition 7（缺失数据）：对随机缺失掩码 \(\Omega\)，若 \(Q\) 是 Poisson 化缺失机制，则
\[\mathbb{E}[(A_Q(Z)-A_Q(Z_\Omega))^2]\le \frac{\mathbb{E}_{Z\sim\pi_Z}[\sup_i \pi_i(Z)/q_i]}{\lambda}.\]
Proposition 8（与隐私的联系）：\(\|T_{P,Q}\|_{L^\infty\to L^1}\le 4\,\mathbb{E}_{(Z,Z')\sim P}[d_{\text{TV}}(Q(\cdot|Z),Q(\cdot|Z'))^2]\)。这说明隐私（TV 距离）蕴含稳定性，但反过来不成立；且隐私界通常比直接计算 \(\|T_{P,Q}\|\) 松得多（见 Section 5 的例子）。
Theorem 10（Hilbert 空间扩展）：当 \(A\) 取值于 Hilbert 空间 \(\mathcal{H}\) 时，
\[\beta_P^2(A_Q)\le \operatorname{rad}_{\mathcal{H}}(\mathcal{W})^2 \|T_{P,Q}\|_{L^\infty\to L^1},\]
其中 \(\operatorname{rad}_{\mathcal{H}}(\mathcal{W})\) 是 \(\mathcal{W}\) 的半径。证明使用了 Grothendieck 不等式（Proposition 13），将实值情形推广到向量值情形。

证明路线与技术技巧¶

整体路线： 1. 建立核与算子的联系（Lemma 1）：证明 \(\int f\,T_{P,Q}g\,d\mu = \mathbb{E}_{(Z_0,Z_1)\sim P}[(f_Q(Z_0)-f_Q(Z_1))(g_Q(Z_0)-g_Q(Z_1))]\)。这一步将稳定性参数（期望差平方）转化为算子内积。 2. 用算子范数控制：由于 \(f\in[-1/2,1/2]\)，\(\|f\|_\infty\le 1/2\)，直接得到 \(\beta_P^2(A_Q)\le \|f\|_\infty^2\|T_{P,Q}\|_{L^\infty\to L^1}\le \frac14\|T_{P,Q}\|\)。 3. 紧性构造：取 \(A\) 为某个集合的指示函数，使得 \(f\) 达到范数上界。 4. 例子计算：对 bagging、加噪、缺失数据，分别计算 \(K_{P,Q}\) 的显式形式，然后求算子范数。关键技术是识别 \(K_{P,Q}\) 的结构（例如 bagging 中 \(K\) 是"对角加常数"矩阵，特征值可解析计算）。 5. Hilbert 空间扩展：利用 Grothendieck 不等式将实值函数的乘积不等式推广到内积形式。具体地，对有限值函数 \(F,G:\mathcal{Z}\to\mathcal{H}\)，有

\[\left|\int\int K(z,z')\langle F(z),G(z')\rangle\,d\mu d\mu'\right| \le C_G \|K\|_{\text{op}} \|F\|_\infty \|G\|_\infty,\]

其中 \(C_G\) 是 Grothendieck 常数。这是论文中最技术性的部分。

关键技巧： - 半正定核的算子范数：利用 \(K_{P,Q}\) 的半正定性，将 \(L^\infty\to L^1\) 范数转化为 \(\sup_{\|f\|_\infty\le1}\int\int K f f\)，从而可以用 Cauchy-Schwarz 或谱理论处理。 - 概率耦合：在 bagging 例子中，将 \(Q(\cdot|z)\) 和 \(Q(\cdot|z^{-i})\) 的差异表示为"子样本是否包含被删除点"的事件，从而将核 \(K\) 分解为对角项和常数项。 - TV 距离的松弛：Proposition 8 的证明只用到了 TV 距离的定义和三角不等式，说明隐私蕴含稳定性，但作者随后指出这个蕴含是松的。

真实例子与应用¶

论文没有真实数据实验，但给出了三个理论示例：

Bagging（子采样/自助采样）：这是最核心的例子。论文展示了如何从一般框架推导出 Soloff et al. (2024a) 的界，并指出他们的框架可以处理更一般的采样分布（如泊松采样）。这个例子直接连接了实际中广泛使用的 bagging 方法。
加噪平滑：对连续数据添加噪声（高斯、柯西）作为集成通道，计算稳定性界。这个例子与差分隐私中的"输出扰动"机制有联系，但论文的界更紧。
缺失数据：对随机缺失掩码进行平均，得到稳定性界。这在实际中对应"多重插补"或"缺失数据集成"。

这些例子想说明什么：论文的框架不是纯抽象理论，而是能对实际集成方法给出定量、可计算的稳定性保证，且这些保证比通过隐私得到的界更紧。

🔎 结论是否比证明窄¶

论文的定理2和定理4给出了精确的 worst-case 刻画，但作者在 Section 6 中承认了几个限制：

上界是 worst-case 的：对特定算法 \(A\)，实际稳定性可能远好于 \(\frac14\|T_{P,Q}\|\)。作者写道："Our bound is tight in the worst case over algorithms \(A\), but for a specific algorithm the stability may be much better." 这意味着理论对"所有算法"一致，但可能无法捕捉特定算法的结构。
Hilbert 空间扩展中的 Grothendieck 常数：定理10的界包含常数 \(C_G\)（约 1.67–1.79），作者认为这个常数可能不是最优的，但未进一步优化。
未讨论集成带来的偏差：论文只关注稳定性（方差），没有分析 \(A_Q\) 与 \(A\) 在期望输出上的偏差。作者在 Section 6 中写道："we do not address the question of whether ensembling degrades the statistical performance of the algorithm." 这是一个明显的开放缺口。
通道 \(Q\) 的选择：框架给出了给定 \(Q\) 的稳定性界，但没有回答如何选择最优 \(Q\) 来平衡稳定性和性能。作者提到这是未来工作。

四、开放问题¶

以下开放问题均扎根于论文的具体语句或直接推论，供研究者自行判断价值：

最优通道设计：给定扰动 \(P\)，如何选择集成通道 \(Q\) 以最小化 \(\|T_{P,Q}\|_{L^\infty\to L^1}\)，同时保持 \(A_Q\) 与 \(A\) 的输出偏差可控？论文 Section 6 提到"it would be interesting to quantify the extent to which ensembling navigates the tradeoff between stability and deviation from the original algorithm"，但没有给出任何结果。
稳定性-准确性权衡的定量刻画：Chakraborty et al. (2026) 从 minimax 角度研究了稳定性约束下的最优估计，但本文的框架没有与准确性建立联系。能否在 \(\beta_P^2(A_Q)\le\epsilon\) 的约束下，推导 \(A_Q\) 的统计风险下界？这需要将算子范数与估计问题的 minimax 风险结合。
数据相关扰动：论文中的 \(P\) 是固定的（如均匀删除、固定噪声分布）。如果扰动是自适应的（如对抗性选择删除哪个点），稳定性界会如何变化？论文的框架能否扩展到 worst-case 扰动 \(P\) 上的 sup？这需要定义 \(P\) 的一个集合，并考虑 \(\sup_{P\in\mathcal{P}}\beta_P^2(A_Q)\)。
非有界输出的推广：论文假设 \(A\) 取值于 \([0,1]\) 或有界 Hilbert 空间。对于无界输出（如回归中的预测值），稳定性定义需要修改（例如使用截断或加权）。作者在 Section 6 中承认"relaxing these conditions or allowing for data-dependent bounds is an important direction"。
计算可行性：\(A_Q\) 的定义涉及对 \(Q(\cdot|z)\) 求期望，实际中通常用蒙特卡洛近似。近似误差对稳定性界的影响是什么？论文没有讨论。这联系到"bagging 需要多少次重采样"的实际问题。
与差分隐私的精确关系：Proposition 8 给出了 TV 隐私蕴含稳定性的上界，但作者指出这个界很松。能否构造例子说明 TV 隐私与 \(\|T_{P,Q}\|\) 之间的 gap 有多大？是否存在满足 TV 隐私但 \(\|T_{P,Q}\|\) 很小的通道？这有助于理解"隐私"与"稳定性"作为不同概念的边界。
交叉验证与稳定性：Bayle et al. (2020)、Amann et al. (2023) 等利用稳定性推导交叉验证置信区间。本文的框架能否为这些结果提供统一的证明？特别是，能否用 \(\|T_{P,Q}\|\) 直接给出交叉验证估计量的方差上界？

提醒：要确认上述问题是否是真 gap，建议去读 Soloff et al. (2024a,b)、Chakraborty et al. (2026)、以及随机平滑（Cohen et al., 2019）的近期文献——如果多个独立工作都在朝同一方向推进，那很可能是共识性 gap；如果互相矛盾，则可能是机会。

Maintained by 陈星宇 · Homepage · Source on GitHub