跳转至

Density estimation under local differential privacy and Hellinger loss

作者: Mathieu Sart
来源: Bernoulli
主题: 非参数 / 半参数
相关性: 7/10
链接: https://doi.org/10.3150/22-bej1543

一、领域脉络与小综述

这个方向是什么

本文研究的核心问题是：在局部差分隐私（Local Differential Privacy, LDP） 约束下，如何从被随机化机制（如随机响应）扰乱的独立同分布样本中，非参数地估计一个未知的概率密度函数，并使得估计量在 Hellinger 距离 下达到自适应且率最优（minimax optimal）。这是一个典型的“统计-隐私权衡”问题：更强的隐私保护（更小的 ε）会引入更大的噪声，从而降低估计精度；研究者需要刻画在给定隐私预算 ε 下，非参数密度估计的极小极大收敛率，并构造出达到该率的估计量。该方向当前处于理论成熟期：对于经典的非参数密度估计（无隐私约束），在 Besov 类上的自适应率最优理论（如 Lepski 方法、惩罚似然、小波阈值）已经非常完善；而将隐私约束（尤其是 LDP）纳入后，极小极大率的形式及其与经典率的偏离（即“隐私代价”）是近十年的活跃课题。

发展脉络（history）

  1. 奠基工作：非参数密度估计的自适应理论（无隐私）

    • Donoho et al. (1996)：建立了小波阈值估计在 Besov 类上的自适应 minimax 最优性，奠定了非参数自适应估计的理论基础。这是本文的“无隐私”基准。
    • Birgé & Massart (1997)：发展了基于惩罚似然（penalized likelihood）的模型选择方法，并建立了非渐近的 oracle 不等式。本文的核心技术路线（分段常数估计 + 惩罚似然 + oracle 不等式）直接继承自这一学派。

  2. 主要进展：差分隐私下的参数与非参数估计

    • Duchi, Jordan & Wainwright (2013, 2018)：开创性地研究了 LDP 约束下的参数估计（如均值、线性回归）的 minimax 率，揭示了隐私约束带来的“维度诅咒”——在 L2 损失下，d 维参数的 minimax 率从经典的无隐私 \( n^{-1} \) 退化为 \( n^{-1} + d / (n \epsilon^2) \)。这为后续非参数工作提供了分析框架。
    • Wasserman & Zhou (2010)：研究了全局差分隐私（Central DP）下的密度估计，给出了 L2 损失下的 minimax 率。这是隐私密度估计的早期重要工作。
    • Butucea et al. (2020)：在 LDP 下研究密度估计，使用小波阈值方法，在 L2 损失下得到了 Besov 类上的 minimax 率。本文作者 Sart 在引言中明确引用并指出其工作与 Butucea et al. (2020) 的关键差异：后者研究 L2 损失，而本文研究 Hellinger 损失。作者认为 Hellinger 损失在密度估计中更自然（与似然直接相关），且能揭示出 L2 损失下无法看到的微妙现象。

  3. 当前 frontier 与本文的位置

    • 当前 frontier 是：在 LDP 下，对于不同的损失函数（L2, Hellinger, L1, KL），刻画 Besov 类上的自适应 minimax 率，并理解“密度有正下界”这一额外假设对率的影响。
    • 本文的位置：作者将 LDP 下的密度估计从 L2 损失推广到 Hellinger 损失，并发现了一个反直觉的对比：在 Hellinger 损失下，假设密度有正下界可以改进率（即降低隐私代价）；而在 L2 损失下，假设密度有上界（有界性）在某些情况下不能改进率。这个对比是本文的核心发现之一。

子线索聚类

  1. 非参数自适应估计（无隐私）：Donoho et al. (1996), Birgé & Massart (1997)。提供理论基准和技术工具（oracle 不等式、模型选择）。
  2. 差分隐私下的统计推断：Duchi, Jordan & Wainwright (2013, 2018), Wasserman & Zhou (2010), Butucea et al. (2020)。提供隐私约束下的分析框架和已有结果。
  3. Hellinger 损失下的密度估计：本文属于这一子线索。Hellinger 损失在密度估计中具有特殊地位，因为它与总变差距离、似然比检验等有紧密联系，且其 minimax 率往往与 L2 损失不同（尤其在处理有界/无界密度时）。

这个方向在追问的核心问题

  1. 隐私代价的精确形式：对于给定的光滑度（Besov 参数 s, p, q）和隐私预算 ε，minimax 率是 \( n^{-2s/(2s+1)} \)（经典率）与 \( (n\epsilon^2)^{-2s/(2s+1)} \)（隐私主导率）的某种组合吗？组合的具体形式是什么（加法还是乘法）？
  2. 自适应性与损失函数：能否构造一个不依赖于光滑度参数 s 的自适应估计量，使其在 Hellinger 损失下达到 minimax 最优（至多对数因子）？这与 L2 损失下的结果有何异同？
  3. 有界性假设的影响：假设密度有正下界（远离 0）或上界（有界），能否改进 minimax 率？这种改进是否依赖于损失函数的选择？
  4. 已知瓶颈：当前主流方法（小波、分段常数、核密度）在 LDP 下都面临“偏差-方差-隐私”的三重权衡。隐私约束（随机响应）引入的方差项通常与 \( 1/(n\epsilon^2) \) 成正比，这在高维或高光滑度时成为瓶颈。

⚠️ 作者的 framing

  • 作者把缺口 frame 成什么：作者将缺口 frame 为“Hellinger 损失下的 LDP 密度估计尚未被研究”，并强调 Hellinger 损失与 L2 损失在“有界性假设”下的行为不同，从而将本文定位为“揭示这种差异”的显然下一步。作者在引言中明确写道：“This result is in contrast to what happens with the L2 loss...”，直接点明对比是其核心卖点。
  • 哪些竞争路线被他淡化或回避了：作者回避了全局差分隐私（Central DP） 的设定。Central DP 下，数据收集者可以访问原始数据，只对发布的统计量加噪，其隐私代价通常比 LDP 小。作者选择 LDP（每个用户独立随机化自己的数据）是一种更强的隐私模型，但也意味着更保守的率。他没有讨论 Central DP 下的 Hellinger 损失结果，这可能是未来工作的一个方向。
  • 什么明显该被引 / 该存在、却没出现在 intro 里？：作者没有引用 Barber & Duchi (2014) 关于 LDP 下非参数估计（如 CDF 估计）的 minimax 率的工作。虽然该工作主要关注 CDF 而非密度，但它是 LDP 非参数领域的早期重要文献，其技术（如对随机化机制的“隐私敏感度”分析）与本文有潜在关联。值得研究者去查：Barber & Duchi (2014) 是否讨论了 Hellinger 损失？如果没有，那是一个明确的 gap。

张力

未见明显对立引用。所有被引工作都沿着“在隐私约束下推导 minimax 率”这一主线，只是设定（损失函数、隐私模型、光滑度类）不同。本文与 Butucea et al. (2020) 的对比是“互补”而非“对立”——一个做 L2，一个做 Hellinger，结论不同但逻辑一致。

二、最核心、最简单的例子 / 数学问题

第一步：把符号、模型、可观测数据交代清楚

  • 符号：

    • \( X_1, \dots, X_n \)：独立同分布（i.i.d.）的原始数据，取值于 \( [0,1] \)，服从未知密度 \( f \)。
    • \( Z_1, \dots, Z_n \)：可观测的私有化数据。每个 \( Z_i \) 是通过一个随机化机制 \( Q(\cdot | X_i) \) 从 \( X_i \) 生成的，且条件独立于其他数据。\( Z_i \) 取值于某个有限集（本文中为 \( \{0,1\}^M \) 或类似离散空间）。
    • \( \epsilon \)：隐私预算（privacy budget），\( \epsilon > 0 \)。LDP 要求：对任意两个不同的原始值 \( x, x' \) 和任意可观测集 \( A \)，有 \( Q(A|x) \le e^\epsilon Q(A|x') \)。
    • \( f \)：目标密度（未知，属于某个 Besov 类 \( B_{p,q}^s([0,1]) \)）。
    • \( \hat{f}_n \)：基于 \( Z_1, \dots, Z_n \) 构造的密度估计量。
    • \( h(f, g) \)：Hellinger 距离，定义为 \( h^2(f, g) = \frac12 \int (\sqrt{f} - \sqrt{g})^2 d\mu \)。本文的损失函数。
    • \( s, p, q \)：Besov 类的光滑度参数。\( s > 0 \) 是光滑度指数，\( p, q \ge 1 \) 是范数参数。
    • \( \mathcal{F} \)：分段常数函数空间（partition of \( [0,1] \) into \( D \) intervals）。

  • 模型：

    • 数据生成机制：\( X_i \sim f \)，然后 \( Z_i \sim Q(\cdot | X_i) \)。\( Q \) 是已知的、满足 \( \epsilon \)-LDP 的随机化机制。本文主要考虑随机响应（Randomized Response） 机制：将 \( [0,1] \) 离散化为 \( M \) 个 bin，每个 \( X_i \) 被映射到其所在 bin 的索引 \( B(X_i) \in \{1, \dots, M\} \)，然后以概率 \( e^\epsilon/(e^\epsilon + M - 1) \) 输出真实索引，以等概率输出其他 \( M-1 \) 个索引之一。
    • 统计模型：这是一个非参数模型，因为 \( f \) 属于一个无限维函数类（Besov 类）。\( Q \) 是已知的，因此观测数据 \( Z_i \) 的分布完全由 \( f \) 决定。
    • 要估的对象：密度函数 \( f \) 本身（点估计）。
    • 已知：隐私机制 \( Q \)、隐私预算 \( \epsilon \)、样本量 \( n \)。

  • 可观测数据：

    • 实际能观测到：\( Z_1, \dots, Z_n \)，即每个用户经过随机响应后输出的离散索引（例如，一个 1 到 M 的整数）。
    • 想要但观测不到：原始数据 \( X_1, \dots, X_n \) 及其密度 \( f \)。我们只能通过 \( Z_i \) 的分布来推断 \( f \)，而 \( Z_i \) 的分布是 \( f \) 经过 \( Q \) 卷积后的结果。因此，这是一个反卷积（deconvolution） 问题，且噪声分布（随机响应）是已知的。

第二步：讲最小内核

最简特例：假设密度 \( f \) 是定义在 \( [0,1] \) 上的常数函数（即均匀分布），且我们只关心一个 bin（\( M=1 \)）。此时，随机响应机制退化为：\( Z_i \) 总是输出 1（因为只有一个 bin），不提供任何信息。这个特例太 trivial，无法体现核心困难。

更合适的特例：假设 \( f \) 是分段常数的，且分段数 \( D \) 已知（例如 \( D=2 \)）。我们将 \( [0,1] \) 等分为两个区间 \( I_1 = [0, 0.5) \) 和 \( I_2 = [0.5, 1] \)。令 \( p_1 = \int_{I_1} f(x) dx \)，\( p_2 = 1-p_1 \)。我们想估计 \( p_1 \) 和 \( p_2 \)。

  • 可观测数据：我们使用随机响应机制，其中 \( M=2 \)（两个 bin 对应两个输出）。令 \( \pi = e^\epsilon/(e^\epsilon + 1) \)。那么，如果 \( X_i \in I_1 \)，\( Z_i = 1 \) 的概率为 \( \pi \)，\( Z_i = 2 \) 的概率为 \( 1-\pi \)；如果 \( X_i \in I_2 \)，\( Z_i = 2 \) 的概率为 \( \pi \)，\( Z_i = 1 \) 的概率为 \( 1-\pi \)。

  • 核心思路：我们观测到 \( Z_i \) 的分布：\( P(Z_i=1) = \pi p_1 + (1-\pi)(1-p_1) \)。这是一个关于 \( p_1 \) 的线性方程。我们可以用样本均值 \( \hat{P}(Z=1) = \frac{1}{n} \sum_{i=1}^n \mathbf{1}\{Z_i=1\} \) 来估计 \( P(Z=1) \)，然后反解出 \( p_1 \) 的估计量：

    \[\hat{p}_1 = \frac{\hat{P}(Z=1) - (1-\pi)}{2\pi - 1}\]
    这个估计量的方差为 \( \text{Var}(\hat{p}_1) \approx \frac{1}{n(2\pi-1)^2} \)。由于 \( \pi = e^\epsilon/(e^\epsilon+1) \)，\( 2\pi-1 = \tanh(\epsilon/2) \approx \epsilon/2 \)（当 \( \epsilon \) 小时）。因此，方差 \( \approx \frac{4}{n\epsilon^2} \)。这就是 LDP 带来的“隐私代价”：估计一个一维参数的方差从 \( O(1/n) \) 退化到 \( O(1/(n\epsilon^2)) \)。

  • 推广到非参数：当 \( f \) 不是分段常数，且分段数 \( D \) 未知时，我们需要在“偏差”（分段数太少，近似误差大）和“方差”（分段数太多，每个 bin 的样本少，且隐私噪声大）之间权衡。本文的核心就是通过模型选择（惩罚似然）来自动选择最优的分段数 \( D \)，并证明这个选择在 Hellinger 损失下是自适应且率最优的。

最小内核总结：本文在数学上干的事是：在已知的随机响应噪声下，通过一个分段常数模型，自适应地选择模型复杂度（分段数），使得估计量在 Hellinger 距离下的风险（期望损失）达到 minimax 最优（至多对数因子）。 其核心困难在于：隐私噪声的方差与 \( 1/(n\epsilon^2) \) 成正比，这改变了经典非参数估计中的偏差-方差权衡，使得最优分段数 \( D \) 不仅依赖于样本量 \( n \) 和光滑度 \( s \)，还依赖于隐私预算 \( \epsilon \)。

三、这篇论文做了什么

三句话

  1. 研究了什么问题：在局部差分隐私（LDP）约束下，基于随机响应机制扰乱的观测数据，研究密度函数在 Hellinger 损失下的自适应 minimax 最优估计。
  2. 核心工具 / 方法：采用分段常数估计器，通过惩罚最大似然（penalized maximum likelihood） 进行模型选择（选择最优的分段数），并利用经验过程理论和oracle 不等式来建立非渐近的风险上界。
  3. 主要结论：该估计量在 Besov 类 \( B_{p,q}^s([0,1]) \) 上达到自适应且率最优（至多对数因子）；当密度还有正下界时，率可以进一步改进，且该改进在 Hellinger 损失下是最优的。这一结果与 L2 损失下的情形形成鲜明对比。

关键设定与假设

  • 设定：

    • \( X_1, \dots, X_n \) i.i.d. ~ \( f \)，\( f \) 是 \( [0,1] \) 上的概率密度。
    • 观测数据 \( Z_1, \dots, Z_n \) 通过一个已知的 \( \epsilon \)-LDP 随机化机制 \( Q \) 生成。本文主要考虑随机响应机制，但理论框架适用于更一般的 \( Q \)。
    • 损失函数：Hellinger 距离 \( h(f, g) \)。
    • 函数类：Besov 类 \( B_{p,q}^s([0,1]) \)，其中 \( s > 1/p \)（保证嵌入到连续函数空间）且 \( p, q \ge 1 \)。

  • 假设：

    • LDP 假设：\( Q \) 满足 \( \epsilon \)-局部差分隐私。这是核心约束。
    • 随机化机制的可逆性：\( Q \) 对应的转移矩阵（从原始 bin 到观测 bin）是满秩的，从而可以从观测分布反解出原始分布。随机响应机制满足此条件。
    • Besov 类假设：\( f \) 属于某个 Besov 类。这是光滑度假设，用于刻画估计的难度。
    • （可选）有界性假设：\( f \ge c > 0 \)（有正下界）。这个假设用于改进率。

  • 相比已有文献的强化/放宽：

    • 相比 Butucea et al. (2020)：损失函数从 L2 变为 Hellinger。这是一个强化，因为 Hellinger 损失对密度在 0 附近的行为更敏感，分析更困难。同时，本文发现了 Hellinger 损失下“有正下界”假设能改进率，而 L2 损失下“有上界”假设不能，这是一个新发现。
    • 相比 Birgé & Massart (1997)：本文在 LDP 噪声下工作，而非原始数据。这引入了额外的方差项，需要重新分析 oracle 不等式。

主要结果

  • 定理 1（Oracle 不等式）：对于任何分段常数估计量 \( \hat{f}_m \)（基于 \( m \) 个分段），存在一个惩罚项 \( \text{pen}(m) \)，使得估计量 \( \tilde{f} \)（通过最小化惩罚似然得到）满足：

    \[\mathbb{E}[h^2(\tilde{f}, f)] \le C \inf_{m \in \mathcal{M}} \left\{ \inf_{g \in \mathcal{F}_m} h^2(g, f) + \text{pen}(m) \right\} + \frac{C'}{n}\]
    其中 \( \mathcal{F}_m \) 是 \( m \) 个分段的分段常数函数空间。这个不等式将估计量的风险分解为“近似误差”（\( \inf_{g \in \mathcal{F}_m} h^2(g, f) \)）和“估计误差”（\( \text{pen}(m) \)）的权衡，并表明惩罚似然选择能自动实现最优权衡。

    • 技术难点：在 LDP 下，惩罚项 \( \text{pen}(m) \) 的形式比经典情形更复杂，因为它必须同时控制来自原始数据采样的方差和来自随机响应的隐私噪声方差。作者通过精细的偏差-方差分析得到了 \( \text{pen}(m) \propto \frac{m}{n} + \frac{m}{n\epsilon^2} \)（对于随机响应机制）。

  • 定理 2（Besov 类上的自适应率）：基于定理 1，作者证明，对于 \( f \in B_{p,q}^s([0,1]) \)，所构造的估计量 \( \tilde{f} \) 满足：

    \[\mathbb{E}[h^2(\tilde{f}, f)] \le C \left( n^{-2s/(2s+1)} + (n\epsilon^2)^{-2s/(2s+1)} \right)^{1 - \delta}\]
    其中 \( \delta \) 是一个很小的正数（可能来自对数因子）。这个率是自适应的（不依赖于 \( s, p, q \)），并且是 minimax 最优的（至多对数因子）。

    • 直觉：率由两项组成：\( n^{-2s/(2s+1)} \) 是经典非参数率，\( (n\epsilon^2)^{-2s/(2s+1)} \) 是隐私主导的率。当 \( \epsilon \) 很大（隐私保护弱）时，经典率占主导；当 \( \epsilon \) 很小（隐私保护强）时，隐私率占主导。这体现了“统计-隐私权衡”。

  • 定理 3（有正下界时的改进率）：如果进一步假设 \( f \ge c > 0 \)，则估计率可以改进为：

    \[\mathbb{E}[h^2(\tilde{f}, f)] \le C \left( n^{-2s/(2s+1)} + (n\epsilon^2)^{-1} \right)\]
    注意，隐私项从 \( (n\epsilon^2)^{-2s/(2s+1)} \) 改进为 \( (n\epsilon^2)^{-1} \)，不再依赖于光滑度 \( s \)。作者证明这个率在 Hellinger 损失下是 minimax 最优的（至多对数因子）。

    • 与 L2 损失的对比：作者指出，在 L2 损失下，即使假设密度有上界（有界性），隐私项仍然是 \( (n\epsilon^2)^{-2s/(2s+1)} \)，无法改进为 \( (n\epsilon^2)^{-1} \)。这个对比是本文的核心发现，揭示了 Hellinger 损失的特殊性质：当密度有正下界时，其平方根 \( \sqrt{f} \) 是光滑且有界的，从而更容易被估计。

证明路线与技术技巧

  • 整体路线：

    1. 离散化与分段常数模型：将区间 \( [0,1] \) 划分为 \( m \) 个等长子区间，定义分段常数函数空间 \( \mathcal{F}_m \)。每个 \( g \in \mathcal{F}_m \) 由 \( m \) 个参数（每个子区间上的密度值）决定。
    2. 构造私有化数据的似然：基于随机响应机制 \( Q \)，写出观测数据 \( Z_1, \dots, Z_n \) 的似然函数 \( L_n(g) \)。由于 \( Q \) 已知，\( L_n(g) \) 是 \( g \) 的显式函数。
    3. 惩罚最大似然估计：对每个 \( m \)，计算最大似然估计 \( \hat{g}_m = \arg\max_{g \in \mathcal{F}_m} \log L_n(g) \)。然后，选择 \( \hat{m} \) 来最小化 \( -\log L_n(\hat{g}_m) + \text{pen}(m) \)，其中 \( \text{pen}(m) \) 是惩罚项。最终估计量为 \( \tilde{f} = \hat{g}_{\hat{m}} \)。
    4. 建立 Oracle 不等式：这是证明的核心。作者使用经验过程理论中的局部熵（local entropy） 和切片技术（slicing） 来控制 \( \log L_n(g) \) 与 \( -n h^2(g, f) \) 之间的偏差。关键步骤是证明，对于任何 \( g \in \mathcal{F}_m \)，有高概率成立：
      \[\log L_n(g) - \log L_n(f) \le -c n h^2(g, f) + C \text{pen}(m)\]
      其中 \( c, C > 0 \) 是常数。这个不等式将似然比与 Hellinger 距离联系起来。
    5. 推导率：将 oracle 不等式应用于 Besov 类。通过计算 Besov 函数在分段常数空间上的近似误差（\( \inf_{g \in \mathcal{F}_m} h^2(g, f) \)），并选择最优的 \( m \) 来平衡近似误差和惩罚项，得到最终的收敛率。

  • 关键跳跃点：

    • 控制隐私噪声对似然的影响：在经典情形下，\( \log L_n(g) \) 是 \( n \) 个独立项的和，可以用 Bernstein 不等式控制。但在 LDP 下，\( \log L_n(g) \) 涉及随机响应机制，其方差不仅来自 \( f \) 的采样，还来自 \( Q \) 的随机化。作者需要推导出 \( \log L_n(g) \) 的方差上界，并证明它仍然满足 Bernstein 型不等式。这个方差上界正是 \( \text{pen}(m) \) 中 \( m/(n\epsilon^2) \) 项的来源。
    • 处理 Hellinger 损失的非线性：与 L2 损失不同，Hellinger 损失不是二次型，且与似然函数的关系更复杂。作者巧妙地利用了 Hellinger 距离与 \( \chi^2 \) 距离之间的关系，以及 \( \sqrt{f} \) 的 \( L_2 \) 范数，将问题转化为对 \( \sqrt{f} \) 的估计，从而简化了分析。

  • 技术技巧点名：

    • 经验过程理论（Empirical Process Theory）：用于控制 \( \log L_n(g) \) 在函数类 \( \mathcal{F}_m \) 上的最大值偏差。具体地，使用了局部熵（local entropy） 和切片技术（slicing） 来得到 uniform 的 Bernstein 型不等式。
    • 惩罚似然（Penalized Likelihood）：用于模型选择，自动平衡偏差和方差。
    • 偏差-方差权衡分析：核心在于推导出惩罚项 \( \text{pen}(m) \) 的精确形式，它必须同时反映采样方差（\( O(m/n) \)）和隐私噪声方差（\( O(m/(n\epsilon^2)) \)）。
    • Besov 类的逼近理论：用于计算分段常数函数对 Besov 类中函数的逼近误差，这是得到最终率的关键。

真实例子与应用

本文为纯理论论文，无任何真实数据例子或模拟实验。所有结论都是数学定理和推论。

🔎 结论是否比证明窄

  • 窄的地方：定理 3（有正下界时的改进率）的证明依赖于随机响应机制的具体形式。作者在文中提到，对于更一般的 LDP 机制，这个改进率是否仍然成立是一个开放问题。因此，定理 3 的结论严格限于随机响应机制。
  • 泛泛 claim 的地方：作者在引言中声称结果“over a wide range of Besov classes”，但定理 2 的证明中可能对 \( s, p, q \) 有额外的技术限制（例如 \( s > 1/p \) 以保证嵌入）。读者需要仔细检查定理陈述中的条件，看是否覆盖了所有感兴趣的 Besov 类。值得研究者去查：定理 2 的证明是否对 \( p \) 和 \( q \) 有隐藏的约束（如 \( p \ge 2 \) 或 \( q < \infty \)）？如果存在，那么“wide range”的说法就有些夸大。

四、开放问题（点到为止，扎根具体语句）

  1. 更一般的 LDP 机制：定理 3 的改进率（\( (n\epsilon^2)^{-1} \)）是否对所有满足 \( \epsilon \)-LDP 的随机化机制都成立？还是仅限于随机响应？作者在文中明确将其列为开放问题（见定理 3 后的讨论）。
  2. 高维密度估计：本文只考虑了一维情形（\( [0,1] \)）。将结果推广到高维（\( [0,1]^d \)）是自然的下一步。此时，分段常数模型将面临“维度诅咒”，且隐私代价的维度依赖性（\( d/(n\epsilon^2) \)）会变得显著。扎根于：本文的框架（分段常数 + 惩罚似然）在理论上可以推广，但需要处理高维 Besov 类的逼近理论和更复杂的模型选择。
  3. 其他损失函数：本文研究了 Hellinger 损失。对于 L1 损失或 KL 散度，LDP 下的 minimax 率是什么？是否存在类似“有正下界”假设下的改进？扎根于：作者在引言中对比了 L2 损失，暗示了损失函数选择的重要性，但未讨论其他损失。
  4. Central DP vs. LDP：本文只研究了 LDP。在 Central DP 下，Hellinger 损失的 minimax 率是否会不同？Central DP 允许更复杂的加噪机制（如 Laplace 机制），可能得到比 LDP 更快的率。扎根于：作者在引言中引用了 Wasserman & Zhou (2010) 关于 Central DP 的工作，但未将其与本文的 LDP 结果进行直接比较。这是一个明确的 gap。

Maintained by 陈星宇 · Homepage · Source on GitHub

评论