跳转至

On the convolution theorem for directionally pathwise differentiable functionals

作者: Shuoxun Xu
主题: 效率理论 / Debiased ML
相关性: 9/10
链接: https://arxiv.org/abs/2609.23545

一、领域脉络与小综述

  • 这个方向是什么：半参数效率理论的核心问题之一是：对于一个给定的（可能是非光滑的）统计泛函，所有"足够好"的估计量在极限分布上受到何种下界约束？经典答案由 Hájek-Le Cam 卷积定理给出：对于路径可微的参数，任何正则估计量的极限分布都是"高斯最小方差分量"与某个"噪声分量"的卷积。本文将该定理推广到方向性路径可微（directional pathwise differentiability）的泛函——即导数存在但可能非线性、且仅沿某些方向（子空间或凸锥）有定义的情形。这类泛函在经济学和因果推断中大量出现，例如最优处理规则的取值、识别集合的端点、以及校准误差等。

  • 发展脉络（history）：

    • 奠基工作：Hájek (1970) 与 Le Cam (1972) 建立了经典卷积定理，Bickel et al. (1993) 将其系统化于半参数模型理论中。其核心结论是：正则估计量的极限分布 = 正态分布（方差由切空间上的典范梯度决定）∗ 任意噪声分布。
    • 主要进展（非光滑泛函的挑战）：van der Vaart (1991) 证明了"正则可估 ⇒ 可微"的逆命题，但这一结论依赖于全方向可微性。Pfanzagl (2000) 明确指出，若只假设方向导数存在，则该逆命题不成立，并给出了反例。这为"方向性可微"框架的建立铺平了道路。
    • 当前 frontier（本文的直接对手）：Hirano and Porter (2012) 通过局部渐近正态（LAN）实验框架，证明了非光滑泛函（如最大值、最小值）的不可能性定理，即不存在正则估计量。本文的贡献在于，不试图在整个切空间上恢复正则性，而是主动缩小正则性要求的范围（沿子空间或凸锥），从而在"不可能"的夹缝中找到可行的估计与效率界。Kaji (2021) 从弱识别角度给出了类似的连续性论证，但本文的框架更直接地依赖于方向导数的几何结构。
    • 本文的位置：本文不是提出一个新的估计量，而是建立一个统一的几何-统计理论，用于：(1) 判定哪些方向上正则性可行；(2) 计算该方向上的最小方差界；(3) 构造达到该界的估计量（在有限层模型中）。它填补了"方向性可微"定义与"卷积定理"之间的逻辑空白。

  • 子线索聚类：

    • 线索一：正则性与可微性的等价条件（van der Vaart, 1991; Pfanzagl, 2000; 本文 Theorem 1）。这条线关注"估计量的正则性"与"泛函的导数结构"之间的精确关系。
    • 线索二：非光滑泛函的不可估与 minimax 风险（Hirano and Porter, 2012; Song, 2014; Fang, 2016）。这条线关注当正则性不可能时，最优的 minimax 风险是多少，以及如何用局部实验（LAN）来刻画。
    • 线索三：局部实验与卷积结构的现代证明（Janssen and Ostrovski, 2013; Le Cam, 1972）。这条线提供了从"似然比过程"到"卷积分解"的严格技术路径，本文的 Theorem 1 证明直接依赖此机制。
    • 线索四：具体应用中的方向性可微泛函（Xu and Guo, 2025, 2026; Whitehouse et al., 2026）。这条线是应用驱动，处理最优处理值、IV界、校准误差等具体问题，本文的 Section 6 将这些应用统一到其理论框架下。

  • 这个方向在追问的核心问题：

    1. 正则性在何处可行？ 给定一个方向导数非线性（或非处处可微）的泛函，是否存在一个最大的子空间（或凸锥），使得沿该集合的估计是正则的？
    2. 效率界如何计算？ 在该可行集合上，最小渐近方差是多少？它是否等于某个"典范梯度"的范数平方？
    3. 如何达到该界？ 是否存在一个估计量序列，其极限分布恰好等于"高斯分量 ∗ 噪声分量"中的高斯分量？
    4. 当正则性失败时，风险如何？ 如果估计量在更广的备选方向上不是正则的，其 minimax 风险如何随"偏离正则方向的距离"增长？（本文 Proposition 10 给出了二阶项。）

  • ⚠️ 作者的 framing（必须明确标注成"这是作者的说法"）：作者将缺口 frame 成"经典卷积定理要求全空间正则性，而许多经济参数（如最优值、IV界）只具有方向性导数，因此需要一个新的卷积定理来刻画这些参数的可估性与效率界"。他通过引入"核心"（core）和"加性空间"（additivity space）的概念，将问题转化为泛函的导数在哪些方向上可以线性化。被淡化或回避的竞争路线：(a) 贝叶斯或 minimax 视角下的非正则估计（如局部多项式平滑），作者仅在第 5 节以"残余风险"的形式间接处理；(b) 有限样本精确分布理论，本文完全是渐近的；(c) 对所有方向都非线性的泛函（如拐点），本文的框架不适用，作者在 Section 7.3 中承认这是开放问题。值得研究者去查的问题：作者声称其"核心"定义与 Hirano and Porter (2012) 的"局部渐近最小最大"界在逻辑上是兼容的，但并未给出形式化证明——这是一个潜在的 gap。

  • 张力：未见明显对立引用。但存在一个微妙的张力：Hirano and Porter (2012) 的"不可能性"结论强调非光滑泛函无法通过正则估计量获得 Gaussian 极限，而本文通过缩小正则性定义域（沿凸锥）绕过了这一障碍。这两种结论并不矛盾，但读者需要警惕：本文的"效率"是在特定正则性要求下的效率，而非绝对意义上的效率。作者在 Remark 2 中明确承认了这一点。

二、最核心、最简单的例子 / 数学问题

第一步：把符号、模型、可观测数据交代清楚

  • 符号：

    • \(P\)：总体分布，属于模型 \(\mathcal{P}\)。
    • \(\Psi: \mathcal{P} \to \mathbb{R}\)：目标泛函（标量参数）。
    • \(T_n = T_n(X_1, \dots, X_n)\)：估计量序列。
    • \(h \in T\)：切空间（tangent space）中的方向（score 函数）。
    • \(P_{t,h}\)：沿方向 \(h\) 的局部扰动路径，\(P_{0,h} = P\)。
    • \(\gamma(h) = \lim_{t \downarrow 0} t^{-1}[\Psi(P_{t,h}) - \Psi(P)]\)：方向导数（directional derivative），是 \(h\) 的正齐次（positive homogeneous）函数，但不一定线性。
    • \(C \subseteq T\)：正则性集合（regularity set），估计量要求沿此集合正则。
    • \(\ell_h = \frac{d}{dt} \log dP_{t,h}/dP \big|_{t=0}\)：score 函数。
    • \(\tilde{\psi}_C \in \overline{\text{span}}(C)\)：典范梯度（canonical gradient），是方向导数在 \(C\) 上的 Riesz 代表元。
    • \(V_C = \|\tilde{\psi}_C\|^2\)：效率界（方差下界）。
    • \(L\)：极限分布；\(M\)：残余分布（噪声分量）。
    • \(Z\)：标准正态随机变量；\(G\)：高斯扰动。

  • 模型：i.i.d. 样本 \(X_1, \dots, X_n \sim P\)，模型 \(\mathcal{P}\) 满足局部渐近正态性（LAN），切空间 \(T \subseteq L^2_0(P)\) 是闭线性子空间。

  • 可观测数据：研究者观测到 \(X_i\) 的 i.i.d. 样本。关键点：\(\Psi(P)\) 是 \(P\) 的泛函，但方向导数 \(\gamma(h)\) 和典范梯度 \(\tilde{\psi}_C\) 都是在 \(P\) 处定义的量，它们依赖于 \(P\) 本身（以及模型结构）。研究者无法直接观测 \(\gamma(h)\) 或 \(\tilde{\psi}_C\)，只能通过估计 \(P\)（或相关 nuisance 参数）来逼近它们。在因果推断例子中，\(\mu_a(x)\)（条件均值）和 \(\pi_a(x)\)（倾向 score）都是 nuisance 参数，需要从数据中估计。

第二步：讲最小内核

最小内核：考虑一个最简单的"非线性方向导数"的例子——两个程序的最优值。

  • 设定：有两个程序 1 和 2，其总体均值分别为 \(\mu_1(P)\) 和 \(\mu_2(P)\)。目标泛函是 \(\Psi(P) = \max\{\mu_1(P), \mu_2(P)\}\)。在某个基线分布 \(P\) 处，假设 \(\mu_1(P) = \mu_2(P) = c\)（即平局）。沿方向 \(h\) 的扰动使得 \(\mu_1(P_{t,h}) = c + t a_1(h)\)，\(\mu_2(P_{t,h}) = c + t a_2(h)\)，其中 \(a_1, a_2\) 是线性泛函。那么方向导数为：

    \[\gamma(h) = \lim_{t \downarrow 0} \frac{\max\{c + t a_1(h), c + t a_2(h)\} - c}{t} = \max\{a_1(h), a_2(h)\}.\]
    这是一个非线性（凸、正齐次）函数，除非 \(a_1(h) = a_2(h)\) 对所有 \(h\) 成立，否则 \(\gamma\) 不是线性的。

  • 可观测数据与高斯实验：假设我们观测到两个独立的样本均值 \(\bar{X}_1 \sim N(\mu_1, 1/n)\)，\(\bar{X}_2 \sim N(\mu_2, 1/n)\)。在平局处，\(\sqrt{n}(\bar{X}_1 - c, \bar{X}_2 - c) \Rightarrow (Z_1, Z_2) \sim N(0, I_2)\)。考虑估计量 \(T_n = \max\{\bar{X}_1, \bar{X}_2\}\)（plug-in 估计量）。其极限分布为 \(\max\{Z_1, Z_2\}\)，这不是正态分布。

  • 核心问题：是否存在一个估计量，其极限分布是正态的？答案是否定的。为什么？ 因为方向导数 \(\gamma(h) = \max\{a_1(h), a_2(h)\}\) 在 \(h\) 使得 \(a_1(h) = a_2(h)\) 的方向上不可微（存在"折痕"）。任何试图"平滑"这个折痕的估计量，要么在某个方向上失去正则性，要么引入偏差。

  • 本文的洞见：虽然 \(\gamma\) 在整个切空间 \(T\) 上非线性，但它在子空间 \(C = \{h : a_1(h) = a_2(h)\}\) 上是线性的（因为 \(\max\{a, a\} = a\)）。因此，如果我们只要求估计量在 \(C\) 上正则，那么：

    1. 可行性：存在估计量（如 \(\bar{X}_1\) 或 \(\bar{X}_2\)）在 \(C\) 上正则。
    2. 效率界：在 \(C\) 上，典范梯度 \(\tilde{\psi}_C\) 是 \(a_1|_C = a_2|_C\) 的 Riesz 代表元，效率界为 \(\|\tilde{\psi}_C\|^2\)。
    3. 卷积结构：任何在 \(C\) 上正则的估计量，其极限分布 = \(N(0, \|\tilde{\psi}_C\|^2) * M\)，其中 \(M\) 是残余分布。
    4. 残余分布的含义：残余分布 \(M\) 描述了估计量在非正则方向（即 \(C^\perp\)）上的行为。在平局处，\(\max\{Z_1, Z_2\}\) 的分布可以分解为 \(N(0, 1/2) * \text{Law}(\max\{W_1, W_2\})\)，其中 \(W_1, W_2\) 是独立的 \(N(0, 1/2)\) 变量（这对应于 \(C = \{h : a_1 = a_2\}\) 的正交补方向）。

  • 这个最小内核说明了什么：它展示了本文的核心思想——通过限制正则性要求的范围，可以在非线性泛函上恢复卷积定理的结构。效率界不再是唯一的，而是依赖于你选择的正则性集合 \(C\)。选择更大的 \(C\) 意味着更强的正则性要求，通常会导致更大的方差界（或不可能性）。选择 \(C\) 的过程，就是权衡"你愿意在哪些方向上保持无偏"与"你愿意接受多大的方差"的过程。

三、这篇论文做了什么

三句话

  1. 研究了什么问题：对于方向性路径可微的泛函，如何刻画所有满足特定正则性要求（沿子空间或凸锥）的估计量的极限分布，并计算其效率界。
  2. 核心工具/方法：将方向导数与线性泛函在正则性集合上的一致性作为核心条件，利用局部渐近正态（LAN）实验框架和受限参数空间的卷积机制，推导出"高斯分量 + 残余分量"的卷积分解。
  3. 主要结论：(i) 正则性迫使方向导数在正则性集合上与某个有界线性泛函一致；(ii) 所有正则估计量的极限分布都包含由该线性泛函决定的高斯卷积因子；(iii) 在加性条件下，极限实验可分解为线性与非线性两部分，平方损失下的 minimax 风险相加；(iv) 在有限层模型中，给出了达到效率界的可行估计量。

关键设定与假设

  • 核心假设：Assumption 1（切空间闭性）：切空间 \(T \subseteq L^2_0(P)\) 是闭线性子空间，且每个 \(h \in T\) 都由某个 DQM 路径实现。这保证了 LAN 结构和似然比展开的合法性。
  • 方向性可微（Definition 1）：\(\Psi\) 在 \(P\) 处沿方向 \(h\) 有方向导数 \(\gamma(h)\)，且 \(\gamma\) 是正齐次的。不要求 \(\gamma\) 是线性的或连续的。
  • 正则性（Definition 2）：估计量 \(T_n\) 沿集合 \(C\) 正则，意味着对任意 \(h \in C\)，\(T_n\) 在局部扰动 \(P_{n,h}\) 下的极限分布与在 \(P\) 下的极限分布相同（即无渐近偏差）。
  • 加性条件（Assumption 2）：\(\gamma(h) = \langle \tilde{\psi}_\kappa, h_\kappa \rangle + \gamma(h_\perp)\)，其中 \(h = h_\kappa + h_\perp\) 是相对于核心 \(H_\kappa\) 的正交分解。这保证了线性部分与非线性部分在极限实验中的独立性。
  • 相比已有文献的放宽：相比 van der Vaart (1991) 和 Pfajek (2000) 要求全空间可微，本文只要求方向性可微，且正则性集合可以是凸锥（非对称），这覆盖了单侧约束（如"程序 A 保持最优"）的情形。

主要结果

  • Theorem 1（卷积定理）：若 \(T_n\) 沿凸锥 \(C\) 正则，则 \(\gamma\) 在 \(C\) 上必须与一个有界线性泛函 \(\ell_C\) 一致。进一步，\(T_n\) 的极限分布 \(L\) 满足 \(L = N(0, V_C) * M_C\)，其中 \(V_C = \|\tilde{\psi}_C\|^2\)，\(\tilde{\psi}_C\) 是 \(\ell_C\) 的 Riesz 代表元，\(M_C\) 是某个概率测度。直觉：正则性要求估计量在 \(C\) 方向上"无偏"，这迫使方向导数在这些方向上必须是线性的，否则无法构造无偏估计量。高斯分量 \(N(0, V_C)\) 是不可避免的估计噪声，残余分量 \(M_C\) 则反映了估计量在非正则方向上的行为。
  • Theorem 2（核心与加性空间）：定义了核心 \(H_\kappa(P)\)（所有极大线性子空间的交集）和加性空间 \(A(\gamma)\)。证明了 \(H_\kappa(P)\) 是唯一的极大线性子空间，且 \(A(\gamma) \subseteq H_\kappa(P)\)。直觉：核心是所有正则性要求都必须包含的"公共不变方向"，加性空间是导数真正可加（线性）的方向。
  • Proposition 1（方差界比较）：对于线性子空间 \(V \subseteq V'\)，有 \(V_V \le V_{V'}\)。即，更强的正则性要求（更大的子空间）导致更大的方差下界。直觉：要求估计量在更多方向上无偏，意味着它必须忽略更多信息，因此方差增大。
  • Proposition 10（小邻域 minimax 风险）：在加性条件下，平方损失下的 minimax 风险为 \(V_\kappa + \frac{D^2}{4}r^2 + o(r^2)\)，其中 \(D\) 是方向导数在正交方向上的最大变化率。直觉：当允许参数在正交方向上偏离时，最优风险是"核心方差"加上一个与偏离半径平方成正比的项。

证明路线与技术技巧

  1. 整体路线：

    • 第一步（局部化）：利用 LAN，将问题转化为高斯移位实验中的决策问题。
    • 第二步（正则性条件）：将"沿 \(C\) 正则"翻译为"估计量的极限分布 \(L_h\) 在 \(h \in C\) 下满足 \(L_h = L_0 * \delta_{\gamma(h)}\)"（即分布平移）。
    • 第三步（线性化）：利用 Lévy-Khinchin 公式和特征函数的连续性，证明若 \(L_h\) 对 \(h \in C\) 是"平移不变的"，则 \(\gamma(h)\) 在 \(C\) 上必须是线性的。
    • 第四步（卷积分解）：一旦 \(\gamma\) 在 \(C\) 上线性，就可以将 \(L_0\) 分解为 \(N(0, V_C) * M_C\)，其中 \(N(0, V_C)\) 是"必须包含"的高斯分量。
    • 第五步（风险计算）：在加性条件下，将高斯实验分解为独立的两部分，分别计算 minimax 风险。

  2. 关键技术技巧：

    • 特征函数方法：不直接处理分布，而是处理其特征函数。利用高斯分布的特征函数性质（\(\phi(t) = e^{-t^2 V/2}\)）来识别高斯分量。
    • Hahn-Banach 定理：用于证明有界线性泛函的存在性（Theorem 3(1)）。
    • Clarke 广义梯度：用于处理非光滑方向导数的几何性质，将"线性化"问题转化为"次微分"问题（Section C）。
    • 有限维约化：在有限层模型中，将无穷维切空间问题约化为有限维凸优化问题，从而构造显式估计量。

真实例子与应用

  • 例 1：最优处理规则的值（Section 6.2）。目标 \(\Psi(P) = \max_a \mathbb{E}[\mu_a(X)]\)。在平局处，方向导数非线性。本文的方法给出了核心 \(H_\kappa\)（所有程序值同向变化的方向）和效率界 \(V_\kappa\)。关键结果：当多个程序并列最优时，最优 pooled 估计量使用精度加权平均（式 16），权重由条件方差和倾向 score 决定。这推广了 Xu and Guo (2025) 的二元处理结果。
  • 例 2：工具变量界（Section 6.3）。目标是最优工具变量下界 \(\Psi(P) = \max_{d \in \mathcal{D}} \mathbb{E}[d(Y, D, X)]\)。这里的方向导数是一个凸函数的最大值，其核心由所有活跃约束的梯度张成。关键结果：效率界由活跃约束的协方差矩阵决定（式 30），且允许奇异协方差矩阵。
  • 例 3：校准误差（Section 6.4）。目标 \(\Psi(P) = \mathbb{E}[|m(S) - S|]\)。在完美校准处（\(m(S) = S\)），方向导数非线性。关键结果：等权平均（即简单 plug-in）已经是最优的，因为两个分支的残差在条件期望下完全抵消（式 33）。这解释了为什么 Whitehouse et al. (2026) 的软平滑方法在该处没有效率损失。

🔎 结论是否比证明窄

  • 是的，存在明显的"证明窄于结论"之处：
    1. Theorem 1 的"必要性"方向：论文证明了"正则 ⇒ 线性化"，但没有证明"线性化 ⇒ 存在正则估计量"。在无限维切空间中，即使方向导数在 \(C\) 上是线性的，也可能因为 nuisance 参数估计误差而无法构造正则估计量。作者在 Section 7.2 中承认了这一点，但未给出反例。
    2. Proposition 10 的适用范围：小邻域 minimax 风险的展开式 \(V_\kappa + \frac{D^2}{4}r^2\) 是在加性条件（Assumption 2）下证明的。但作者在 Remark 3 中指出，加性条件对一般方向导数可能不成立（如 \(\gamma(h) = h_1^2/\|h\|\)）。因此，该展开式不能直接推广到所有方向性可微泛函。
    3. 有限层模型的"可行性"：Section 6 中的可行估计量（式 23、31、34）都是在有限层（finite strata）假设下构造的。对于连续协变量，作者仅指出"需要平滑条件"，但未给出具体的收敛速率条件。这意味着从有限层到连续情形的推广并非自动成立。

四、开放问题

  1. 无限维切空间中的正则估计量存在性（扎根于 Section 7.2）：在什么条件下，方向导数在核心 \(H_\kappa\) 上的线性化足以保证存在一个正则估计量序列？这需要什么样的 nuisance 参数估计条件（如 Donsker 类、交叉拟合）？——这是一个直接的技术 gap。
  2. 非加性方向导数的 minimax 风险（扎根于 Remark 3 与 Proposition 10）：当 Assumption 2 不成立时（如 \(\gamma(h) = h_1^2/\|h\|\)），小邻域 minimax 风险的首阶项是什么？是否仍然可以分解为"核心方差 + 残余项"？——这需要新的数学工具，可能涉及非线性泛函的"二阶"影响函数。
  3. 连续协变量下的可行估计与自适应带宽选择（扎根于 Section 6.2 与 6.3）：有限层模型中的显式估计量（式 23）如何推广到连续协变量？如何选择平滑参数（如核带宽）以同时保证"平局检测"的准确性和"效率达到"？——这是一个方法论的 gap，直接关系到实际应用。
  4. 向量值目标与联合置信区域（扎根于 Section 7.2）：本文只处理了标量目标。对于向量值目标（如多个处理组的联合最优值），如何定义"核心"和"加性空间"？联合置信区域的形状如何受方向性可微性影响？——这是一个自然的推广方向。
  5. 有限样本与高阶展开（扎根于 Proposition 10 的证明）：小邻域展开式 \(V_\kappa + \frac{D^2}{4}r^2\) 的有限样本版本是什么？是否存在 Edgeworth 展开或 bootstrap 校准方法，使得置信区间在平局附近具有均匀覆盖性质？——这关系到推断的可靠性。

提醒：要确认上述问题是否为真 gap，建议去读近 5 年关于"非光滑泛函推断"的文献（如 Fang and Santos 2019 的后续工作、以及关于"平局处理"的因果推断论文）。如果多篇论文都指向同一个未解决的问题，那大概率是共识性的真 gap；如果只有本文提到，则需要谨慎判断。

Maintained by 陈星宇 · Homepage · Source on GitHub

评论