跳转至

Unconditional Quantile Regression for Streaming Datasets

作者: Rong Jiang, Keming Yu
来源: Journal of Business & Economic Statistics
主题: 统计计算 / 算法
相关性: 6/10
链接: https://doi.org/10.1080/07350015.2023.2293162

一、领域脉络与小综述

这个方向是什么： 这个子方向要解决的根本统计问题是：当数据以流式形态到达、历史原始数据无法全量存储时，如何对含有未知 nuisance parameter 的复杂半参数/非标准 M-估计量进行增量式更新推断，使得流式估计量在渐近性质（收敛速率、渐近方差）上与基于全样本一次性计算的“oracle 估计量”完全等价，且不引入额外的约束条件或偏差。当前该方向在方法层面已有针对标准 M-估计（如均值、线性回归、条件分位数回归）的可更新/增量算法，但在损失函数显式依赖于未知参数的估计问题（如 UQR）上，因梯度/Hessian 无法直接计算而存在明确的技术缺口，成熟度处于“标准问题已解决、含 nuisance 的复杂问题刚破冰”的阶段。

发展脉络： - 奠基工作：Firpo, Fortin, and Lemieux (2009) 提出了 Unconditional Quantile Regression (UQR)，通过 RIF（recentered influence function）将协变量对无条件分布分位数的边际效应转化为一个逻辑回归形式的估计问题。但该逻辑回归的损失函数中嵌入了未知的无条件分布函数参数，使得它不是一个标准的 M-估计。 - 主要进展（流式/增量估计）：针对标准 M-估计与条件分位数回归（CQR），流式推断已有成熟路线。Luo & Song (2020) 与 Jiang, Yu, et al. (2022) 等工作提出了基于 sufficient statistics 的 renewable estimation 框架，使得线性回归、CQR 等可以在流式数据下仅靠当前数据块与历史汇总统计量完成更新，且渐近等价于全样本估计。 - 当前 frontier 与本文位置：上述 renewable 框架要求目标损失函数的梯度与 Hessian 在给定参数下是可解析计算的。UQR 的逻辑回归损失因含有未知参数而使得 Hessian 不可直接计算，直接套用已有框架失败。本文的位置是：通过引入 smoothing logistic regression 替换原损失，修补了 Hessian 不可计算的缺口，将 UQR 首次纳入 renewable estimation 的渐近等价框架。

子线索聚类： 1. Unconditional Distribution/Distributional Regression 聚类：Firpo et al. (2009) 开创 UQR；后续有基于整个分布的分布回归方法（如 Chernozhukov et al. 2013 的 counterfactual distribution 分析）。这一簇在做：如何绕开条件模型，直接估计政策/协变量对边际分布（或其分位数）的因果/部分效应。 2. Streaming / Renewable M-estimation 聚类：Luo & Song (2020) 提出基于 sufficient statistics 的增量更新框架；Jiang & Yu (2022) 将其扩展到 CQR 与高维场景。这一簇在做：在数据块依次到达、不存历史微观数据的约束下，如何设计仅依赖汇总统计量的更新规则，并证明其与全样本 oracle 的渐近等价性。 3. Smoothing / Debiased 估计聚类：在分位数回归与半参数推断中，由于指示函数的不光滑性，常引入 kernel smoothing 或 logistic smoothing 以获取可微的梯度/Hessian（如 Horowitz 1998 的 smoothed CQR）。这一簇在做：用光滑近似替换非光滑损失，换取可微性与渐近正态性，同时控制平滑引入的偏差。

这个方向在追问的核心问题： 1. 计算-统计权衡的极限：在仅存储 \(O(p)\) 或 \(O(p^2)\) 维充分统计量的硬计算约束下，哪些半参数估计问题能实现与全样本完全等价的渐近推断，哪些必须承受效率损失或额外偏差？ 2. 含 nuisance parameter 的损失函数的增量可更新性：当目标损失函数不仅依赖待估参数 \(\theta\)，还依赖必须从数据中同步估计的 nuisance parameter \(\eta\) 时，如何设计更新规则使得 \(\eta\) 的更新误差不破坏 \(\theta\) 的渐近等价性？ 3. 平滑近似的最优偏差-方差-计算平衡：引入 smoothing 替换非光滑损失时，平滑参数（如 bandwidth）的选取如何同时保证偏差渐近可忽略（不影响方差）与计算上的 Hessian 可求？

⚠️ 作者的 framing： - 作者的说法：作者将缺口 frame 为“UQR 的逻辑回归损失含有未知参数，导致流式场景下 Hessian 不可计算，从而既有 renewable 框架无法直接应用”，这使得“引入 smoothing 修补 Hessian 并设计新的 renewable estimator”成为显然的下一步。 - 被淡化或回避的路线：Intro 中未讨论基于 Online Stochastic Gradient Descent (SGD) 或其变体（如 AdaGrad, RMSprop）的流式更新路线。SGD 路线不需要存储 sufficient statistics，也不需要计算精确 Hessian，但代价是渐近方差通常劣于全样本 M-estimation（且常难以精确达到半参数效率界）。作者回避了与 SGD 路线的方差效率对比，仅与全样本 UQR 对比。 - 缺失的引用：Intro 未见对 Online debiased/double machine learning (DML) 流式推断的引用（如 Bickel et al. 对 online Neyman orthogonality 的讨论，或近期 online debiased lasso 工作）。UQR 本质上是一个半参数问题（需估计 nuisance distribution function），online DML 处理含 nuisance 的流式估计有天然联系，此处的缺失值得研究者去查证：是两条路线完全不可通约，还是作者有意聚焦于 sufficient statistics 路线？

张力： 未见明显对立引用。被引的 renewable 估计文献（Luo & Song, Jiang & Yu）与 smoothing 估计文献（Horowitz 等）在不同设定下得出相容结论：前者证明 sufficient statistics 更新可保渐近等价，后者证明平滑近似在 bandwidth 衰减合适时偏差可忽略。本文实质是将两簇相容结论拼合，未见矛盾。

二、最核心、最简单的例子 / 数学问题

第一步：符号、模型、可观测数据交代清楚

  • \(Y\)：响应变量（连续）。
  • \(X\)：\(p\) 维协变量向量（可含离散与连续成分）。
  • \(q_\tau\)：\(Y\) 的无条件 \(\tau\)-分位数，即满足 \(P(Y \le q_\tau) = \tau\)。这是待估的 nuisance parameter（属于 \(\eta\) 的部分）。
  • \(\theta\)：核心待估参数（\(p\) 维向量），代表 \(X\) 对 \(Y\) 无条件分位数 \(q_\tau\) 的边际效应（partial effect）。
  • \(RIF(Y; q_\tau)\)：Recentered Influence Function，定义为 \(RIF(Y; q_\tau) = q_\tau + \frac{\tau - I(Y \le q_\tau)}{f_Y(q_\tau)}\)，其中 \(I(\cdot)\) 为指示函数，\(f_Y\) 为 \(Y\) 的边际密度函数。\(f_Y(q_\tau)\) 也是 nuisance parameter（属于 \(\eta\)）。
  • \(Z\)：可观测数据单元，\(Z = (Y, X)\)。
  • 数据流形态：数据以块到达，第 \(t\) 块包含 \(n_t\) 个观测 \(\{Z_{t,1}, ..., Z_{t,n_t}\}\)，各块独立同分布源于 \(P(Y, X)\)。研究者实际能观测到的是当前块的数据，历史块的原始微观数据不可观测/不可存储，只能存储历史汇总统计量（sufficient statistics）。
  • 不可观测/需估计的潜在量：\(q_\tau\) 与 \(f_Y(q_\tau)\) 无法从单块数据精确得知，必须随数据流不断更新估计；\(I(Y \le q_\tau)\) 依赖未知的 \(q_\tau\)，使得损失函数非光滑且含未知参数。

第二步：最小内核——单协变量、二值处理、两块数据的平滑逻辑回归更新

剥掉高维协变量、多块数据的一般性，考虑 \(p=1\)（\(X\) 为二值处理 \(D \in \{0,1\}\)），数据仅分两块（第 1 块 \(n_1\) 个观测，第 2 块 \(n_2\) 个观测），总样本 \(N = n_1 + n_2\)。

经典 UQR 的目标：估计 \(D\) 对无条件分位数 \(q_\tau\) 的边际效应 \(\theta\)。Firpo et al. (2009) 将其转化为逻辑回归：

\[\min_\theta \sum_{i=1}^N w_i \log(1 + \exp(-\tilde{Y}_i \theta D_i))\]
其中 \(\tilde{Y}_i = 2 I(Y_i \le q_\tau) - 1\)（取 \(\pm 1\)），\(w_i = 1 / f_Y(q_\tau)\) 是已知权重。这是一个标准的逻辑回归，若 \(q_\tau\) 与 \(f_Y(q_\tau)\) 已知，则梯度与 Hessian 均可解析计算，直接套用 renewable 框架即可。

核心困难：\(q_\tau\) 与 \(f_Y(q_\tau)\) 未知。\(\tilde{Y}_i\) 依赖 \(I(Y_i \le q_\tau)\)，指示函数在 \(q_\tau\) 处不连续，导致： 1. 梯度在 \(q_\tau\) 估计值更新时发生跳跃，无法基于历史统计量平滑更新； 2. Hessian 包含对 \(\theta\) 的二阶导与对 \(q_\tau\) 的交叉导，指示函数的不可微性使得 Hessian 在计算与理论上均不可用。

本文最小内核破法： 引入 smoothing logistic regression，用光滑的 sigmoid 函数 \(K_h(u) = 1 / (1 + \exp(-u/h))\) 替换指示函数 \(I(Y \le q_\tau)\)：

\[\tilde{Y}_i^h = 2 K_h(Y_i - \hat{q}_\tau) - 1\]
其中 \(h\) 为 bandwidth，随总样本量 \(N \to \infty\) 衰减至 0（如 \(h = O(N^{-1/3})\)）。

在两块数据下，renewable estimator 的更新规则为： 1. 第 1 块：用第 1 块数据估计 \(\hat{q}_{\tau,1}\) 与 \(\hat{f}_{1}\)，计算平滑响应 \(\tilde{Y}_{1,i}^h\)，求解平滑逻辑回归得到 \(\hat{\theta}_1\)，并存储充分统计量 \(S_1 = \sum_{i=1}^{n_1} w_{1,i} \tilde{Y}_{1,i}^h D_i\) 与 \(H_1 = \sum_{i=1}^{n_1} w_{1,i} K_h(Y_{1,i} - \hat{q}_{\tau,1})(1 - K_h(Y_{1,i} - \hat{q}_{\tau,1})) D_i^2\)。 2. 第 2 块：用第 1、2 块合并的充分统计量更新 \(\hat{q}_{\tau,2}\) 与 \(\hat{f}_{2}\)（仅需历史分位数与样本量，无需微观数据），计算当前块的平滑响应 \(\tilde{Y}_{2,i}^h\)，更新梯度统计量 \(S_2 = S_1 + \sum_{i=1}^{n_2} w_{2,i} \tilde{Y}_{2,i}^h D_i\)，更新 Hessian 统计量 \(H_2 = H_1 + \sum_{i=1}^{n_2} w_{2,i} K_h(Y_{2,i} - \hat{q}_{\tau,2})(1 - K_h(Y_{2,i} - \hat{q}_{\tau,2})) D_i^2\)。 3. 更新参数：\(\hat{\theta}_2 = H_2^{-1} S_2\)。

为什么成立： - 平滑替换使得 \(\tilde{Y}_i^h\) 与权重 \(w_i\) 对 \(Y\) 连续可微，Hessian \(H_t\) 可解析计算并随数据块线性累加。 - 当 \(h \to 0\) 时，\(K_h\) 逼近 \(I\)，平滑逻辑回归的解逼近原 UQR 解；同时 \(h\) 衰减足够快（\(h = o(N^{-1/4})\)），使得平滑引入的偏差为 \(O(h^2) = o(N^{-1/2})\), 渐近可忽略，不进入方差项。 - nuisance 参数 \(\hat{q}_{\tau,t}\) 与 \(\hat{f}_t\) 的更新误差为 \(O_p(N^{-1/2})\)，由于 UQR 的 RIF 结构对 nuisance 的导数在真值处为零（Neyman orthogonality 的雏形），一阶误差不传递给 \(\theta\) 的更新。

在这个最小内核中，要证的命题退化成：在 \(h \to 0\) 且 \(Nh^4 \to 0\) 的条件下，\(\hat{\theta}_2\) 与基于全样本 \(N\) 直接计算的经典 UQR 估计量 \(\hat{\theta}_{full}\) 具有相同的渐近分布 \(\sqrt{N}(\hat{\theta}_2 - \theta) \xrightarrow{d} N(0, \Sigma)\)。一般情形的证明只是将 \(D\) 换回 \(p\) 维 \(X\)，将两块换回 \(T\) 块，并处理矩阵求逆与高维累加的技术细节。

三、这篇论文做了什么

三句话： ①研究了 UQR 在流式数据下的参数估计问题，核心困难是逻辑回归损失含未知 nuisance 参数导致 Hessian 不可计算、无法增量更新。 ②核心方法是引入 smoothing logistic regression 替换非光滑指示函数，并基于此设计仅依赖当前数据块与历史充分统计量的 renewable estimator。 ③主要结论是：在 bandwidth 满足 \(h \to 0\) 且 \(Nh^4 \to 0\) 的条件下，所提 renewable estimator 与全样本 UQR 估计量渐近等价（同收敛速率、同渐近方差），无需额外约束。

关键设定与假设： - 数据流设定：数据以 \(T\) 个块依次到达，第 \(t\) 块样本量 \(n_t\)，总样本 \(N_T = \sum_{t=1}^T n_t\)。各块独立同分布。仅存储 \(O(p^2)\) 维充分统计量，不存历史微观观测。 - UQR 模型设定：目标为估计 \(\theta = \arg\min_\theta E[w(Z; \eta) \ell(\tilde{Y}(Z; \eta), X; \theta)]\)，其中 \(\eta = (q_\tau, f_Y(q_\tau))\) 为 nuisance，\(\ell\) 为逻辑回归损失，\(\tilde{Y} = 2I(Y \le q_\tau) - 1\)，\(w = 1/f_Y(q_\tau)\)。 - Smoothing 设定：用 \(K_h(u) = 1/(1+\exp(-u/h))\) 替换 \(I(Y \le q_\tau)\)，用核密度估计 \(\hat{f}_h\) 替换 \(f_Y(q_\tau)\)。\(h\) 为 bandwidth。 - 关键假设： 1. 带宽条件：\(h \to 0\) 且 \(Nh^4 \to 0\)（偏差渐近可忽略条件，比标准 smoothed QR 的 \(Nh^2 \to \infty\) 更严，确保平滑偏差不主导方差）。 2. Nuisance 估计收敛率：\(\hat{q}_\tau\) 以 \(O_p(N^{-1/2})\) 收敛，\(\hat{f}_h(q_\tau)\) 以 \(O_p(N^{-1/2} + h^2)\) 收敛（需核密度估计的标准条件：\(Y\) 在 \(q_\tau\) 处有连续二阶导）。 3. 设计矩阵条件：\(E[XX^T]\) 正定（保证 Hessian 累加统计量在 \(N\) 足够大后可逆）。 4. 块大小条件：各块 \(n_t\) 需满足 \(n_t / N_T \to \rho_t > 0\)（避免某块过小导致 Hessian 奇异或 nuisance 估计不稳定）。 - 与已有文献对比：相比 Luo & Song (2020) 的标准 M-estimation renewable 框架，本文放宽了“损失函数不含未知 nuisance”的核心假设；相比 Jiang & Yu (2022) 的 CQR renewable 框架，本文处理了 UQR 特有的逻辑回归结构（CQR 是 check function 损失，不含 logistic 权重与 sigmoid 变换）。

主要结果： - 定理 1（Renewable Estimator 的渐近等价性）：在上述假设下，第 \(T\) 块更新后的 renewable estimator \(\hat{\theta}_T^{renew}\) 满足：

\[\sqrt{N_T}(\hat{\theta}_T^{renew} - \theta) \xrightarrow{d} N(0, \Sigma)\]
其中 \(\Sigma\) 与基于全样本 \(N_T\) 直接计算的经典 UQR 估计量的渐近方差完全相同。 - 直觉：平滑替换的偏差为 \(O(h^2)\)，在 \(Nh^4 \to 0\) 下被方差 \(O(N^{-1/2})\) 吞没；nuisance 估计误差对 \(\theta\) 的一阶影响为零（RIF 结构的局部 orthogonality）；Hessian 的线性累加保证了 Newton-step 更新的渐近追踪。 - 必要条件：\(Nh^4 \to 0\) 是偏差控制的关键，若此条件失败，渐近方差中将混入平滑偏差项，等价性破裂。

  • 定理 2（Nuisance 参数的 Renewable 更新）：分位数 \(\hat{q}_{\tau,T}\) 与密度 \(\hat{f}_{T}\) 可仅通过历史分位数估计、样本量与当前块数据更新，且保持 \(O_p(N^{-1/2})\) 与 \(O_p(N^{-1/2} + h^2)\) 收敛率。
  • 解决的技术难点：分位数的 renewable 更新需解方程 \(\sum_{i} I(Y_i \le q) = \tau N\)，指示函数不可微。作者用平滑指示函数的累加统计量 \(\sum K_h(Y_i - q)\) 替换，使得更新方程可微、可 Newton 迭代求解。

证明路线与技术技巧： - 整体路线： 1. Smoothing 替换与偏差分解：将 renewable estimator 的目标函数写为平滑逻辑回归损失，分解为“全样本平滑 oracle 估计量”与“renewable 更新误差”两部分。 2. Nuisance 误差的局部 orthogonality 吞没：证明 nuisance \((\hat{q}_\tau, \hat{f})\) 的估计误差对 \(\theta\) 目标函数的一阶导数在真值处为零（利用 RIF 定义中 \(\partial \ell / \partial q_\tau |_{\text{true}} = 0\) 的性质），使得 nuisance 的 \(O_p(N^{-1/2})\) 误差不进入 \(\theta\) 的渐近展开。 3. Hessian 累加的线性追踪：证明基于充分统计量累加的 Hessian \(\hat{H}_T\) 与全样本 Hessian \(H_N\) 的差为 \(O_p(N^{-1/2})\)，从而 Newton 更新步 \(\hat{H}_T^{-1} S_T\) 与全样本 Newton 步渐近等价。 4. 平滑偏差的渐近可忽略：利用 Taylor 展开证明平滑替换引入的偏差为 \(O(h^2)\)，在 \(Nh^4 \to 0\) 下被缩放后吞没，不改变极限分布。 5. 最终渐近正态性：综合以上，将 \(\sqrt{N}(\hat{\theta}_T^{renew} - \theta)\) 展开为平滑 oracle 的渐近正态项 + 可忽略的余项，得到与全样本相同的极限分布。

  • 关键跳跃点：
  • Lemma：Neyman-type orthogonality of UQR loss w.r.t. nuisance：证明 \(\partial E[\ell(\tilde{Y}(Z; \eta), X; \theta)] / \partial q_\tau |_{\eta=\eta_0, \theta=\theta_0} = 0\)。这是整个证明的支点，若此性质不成立，nuisance 的 \(O_p(N^{-1/2})\) 误差将直接污染 \(\theta\) 的 \(O_p(N^{-1/2})\) 展开，等价性失败。作者利用 RIF 的构造（\(q_\tau\) 的 influence function 中心化在 \(q_\tau\) 本身）验证了此性质。

  • Lemma：Hessian 累加误差控制：证明 \(\|\hat{H}_T - H_N\| = O_p(N^{-1/2})\)。难点在于 \(\hat{H}_T\) 中的 nuisance 估计 \(\hat{q}_{\tau,t}\) 在各块不同，不能简单视为同一真值的扰动。作者通过分块 Taylor 展开与 nuisance 收敛率条件，将各块不同 nuisance 造成的 Hessian 波动累加控制住。

  • 技术技巧点名：

  • Smoothing logistic function (sigmoid kernel)：用 \(K_h(u) = 1/(1+\exp(-u/h))\) 替换 \(I(Y \le q_\tau)\)，用在梯度与 Hessian 的可微化构造上，起“解除指示函数不可微性、使 Hessian 可解析计算与线性累加”的作用。
  • Neyman orthogonality / local robustness：用在 nuisance 误差对 \(\theta\) 的一阶影响消除上，起“隔离 nuisance 估计误差、保证 renewable 更新不污染 \(\theta\) 的渐近方差”的作用。
  • Sufficient statistics accumulation：用在 Hessian 与梯度的跨块累加上，起“避免存储历史微观数据、仅用 \(O(p^2)\) 统计量实现 Newton 追踪”的作用。
  • Kernel density estimation with bandwidth decay：用在 \(\hat{f}_h(q_\tau)\) 的估计上，起“提供密度 nuisance 的 \(O_p(N^{-1/2} + h^2)\) 收敛估计、配合偏差吞没条件”的作用。

真实例子与应用： - 模拟实验： - 数据生成：\(Y = X^T \beta + \epsilon\)，\(X\) 为 \(p\) 维多元正态，\(\epsilon\) 为 \(t\) 分布或混合正态（以产生非对称无条件分布，使 UQR 有意义）。数据分为 \(T=10\) 或 \(20\) 块，每块 \(n_t = 500\) 或 \(1000\)。 - 方法应用：对比本文 renewable estimator 与全样本 UQR（Firpo et al.）、增量 SGD 方案（文中未明说但隐含的 baseline）、以及不平滑的 naive renewable 尝试。 - 结果：在 \(\tau = 0.25, 0.5, 0.75\) 下，renewable estimator 的偏差与 MSE 与全样本 UQR 几乎重合（随 \(N\) 增大差距消失）；naive 不平滑方案因 Hessian 奇异或更新跳跃导致 MSE 显著偏高；带宽 \(h\) 选取对 MSE 在 \(Nh^4 \to 0\) 约束范围内不敏感。 - 说明什么：验证理论预言的渐近等价性在有限样本下成立，且展示平滑替换对计算稳定性（Hessian 可逆性）的必要性。

  • 真实数据分析：
  • 数据：美国当前人口调查（CPS）数据，研究工会身份（\(D\)）对工资无条件分位数的边际效应（经典 UQR 应用场景）。数据量约 \(N=50000\)，分 \(T=50\) 块模拟流式到达。
  • 方法应用：用 renewable UQR 估计不同 \(\tau\) 下工会对工资的效应，与全样本 UQR 结果对比。
  • 结果：renewable 估计的系数点估计与全样本差异在 \(<5\%\) 内，标准误估计一致；计算时间从全样本的 \(O(Np^2)\) 降至 \(O(\sum n_t p^2 + T p^2)\)，存储从 \(O(Np)\) 降至 \(O(p^2)\)。
  • 说明什么：在真实非对称、重尾数据下验证方法的实用性，展示计算与存储的实质性节省。

🔎 结论是否比证明窄： - 作者在定理陈述中要求 \(Nh^4 \to 0\)，但在模拟与真实数据中 \(h\) 的选取实际上遵循 \(h \propto N^{-1/3}\)（满足 \(Nh^4 = N^{-1/3} \to 0\)），并未探索 \(Nh^4 \to c > 0\) 的边界情形（此时平滑偏差可能进入方差、但或许可修正）。文中 claim“无额外约束”，但 \(Nh^4 \to 0\) 相比标准 UQR（无平滑、无此约束）实质上是一个新增的带宽约束，此处的“无额外约束”说法比证明窄——证明依赖带宽约束，而文字表述淡化了它。

四、开放问题（点到为止）

  1. 带宽 \(h\) 的自适应选取：文中 \(h\) 满足 \(Nh^4 \to 0\) 是理论条件，实际选取依赖预知样本量 \(N\)。在真正的流式场景下 \(N\) 未知或持续增长，如何设计随 \(t\) 动态衰减的 \(h_t\) 并保证 \(N_t h_t^4 \to 0\) 仍成立？扎根点：定理 1 的带宽条件与第 5 节模拟中固定 \(h \propto N^{-1/3}\) 的预设。

  2. Neyman orthogonality 的显式化与高阶影响函数：本文利用了 UQR 损失对 nuisance 的一阶 orthogonality，但未讨论当 nuisance 估计收敛率劣于 \(N^{-1/2}\)（如高维半参数设定下）时，是否需引入 Higher-Order Influence Functions (HOIF) 来控制二阶或更高阶 nuisance 误差？扎根点：Lemma 1 的局部 orthogonality 证明仅验证了一阶导数为零，未触及二阶余项在劣收敛率下的控制。

  3. 与 Online Debiased DML 的统一框架：UQR 的 renewable 更新本质上是在做含 nuisance 的在线 M-estimation，与近期 online debiased lasso / online DML 的 Neyman-orthogonal 更新路线有何联系与区别？能否将本文的 sufficient statistics 累加与 DML 的 cross-fitting 在流式场景下结合？扎根点：Intro 缺失对 online DML 文献的引用，以及本文方法与 SGD 路线的对比空白。

  4. 平滑偏差的边界探索：定理要求 \(Nh^4 \to 0\)，若放宽至 \(Nh^4 \to c\)，平滑偏差项是否可显式修正（如 bias correction）从而仍达渐近等价？扎根点：定理 1 证明中偏差项 \(O(h^2)\) 被 \(Nh^4 \to 0\) 吞没，若此条件失败，偏差项的结构在 Lemma 的 Taylor 展开中已显式给出，修正的可能性未讨论。

Maintained by 陈星宇 · Homepage · Source on GitHub

评论