跳转至

Data-Driven Policy Learning for Continuous Treatments

讲者: Haitian Xie
会场: Recent Advance of Statistical Theories in Management and Economics
报告题目: Data-Driven Policy Learning for Continuous Treatments
链接: arXiv
来源: JCSDS 2026 · 返回会议总览

一、领域脉络与小综述

这个方向是什么

这个子方向是数据驱动的策略学习（Data-Driven Policy Learning），其根本问题是：如何从观测数据中学习一个将个体特征（协变量）映射到处理（treatment）的决策规则（即“策略”），使得该策略下的总体福利（population welfare）最大化。当前成熟度：对于二元处理，该领域已相当成熟，有清晰的识别条件、最优策略的解析形式（CATE指示函数）以及minimax最优的遗憾界。但对于连续处理，该领域仍处于早期发展阶段，核心挑战在于福利函数的非参数估计和无限维策略空间的逼近。

发展脉络（history）

  1. 奠基工作：统计治疗规则与福利最大化（2000s-2010s）

    • Manski (2004, 2007); Manski & Tetenov (2007); Stoye (2009, 2012); Tetenov (2012)：奠定了“统计治疗规则”的框架，将策略学习视为一个统计决策问题，以“遗憾”（regret）作为评价标准。这些工作主要关注二元处理，且策略空间通常不受限（最优策略即为CATE的指示函数）。
    • Bhattacharya & Dupas (2012)：将预算约束引入福利最大化问题。

  2. 主要进展：二元处理下的高效策略学习（2017-2021）

    • Athey & Wager (2021)：提出了一个基于半参数有效估计理论的二元处理策略学习方法。该方法利用双重稳健（doubly robust）估计量，可以处理观测数据（通过选择可观测变量或工具变量识别因果效应），并建立了遗憾的渐近界。本文引用语境指出，该方法也处理了连续处理，但仅限于“infinitesimal nudges”，即通过结果导数将问题简化为二元处理。
    • Kitagawa & Tetenov (2018, 2021)：将策略空间参数化为一个固定的、有限维空间（如线性决策规则），并建立了minimax最优的遗憾界。他们的方法没有引入调优参数。
    • Zhou, Athey & Wager (2023)：同样将策略空间参数化，但允许其维度随样本量增长，并建立了minimax最优的遗憾界。
    • Mbakop & Tabord-Meehan (2021)：这是本文最直接的前身。他们没有参数化策略空间，而是使用筛子（sieve）逼近无限维策略空间，并提出了一个惩罚福利最大化（Penalized Welfare Maximization, PWM） 算法来自动选择筛子维度。他们为二元处理建立了oracle不等式，但未能达到minimax最优率，因为需要平衡逼近误差和估计误差。

  3. 当前Frontier：连续处理下的策略学习（2018-至今）

    • Kallus & Zhou (2018)：首次将策略学习扩展到连续处理。他们使用核方法估计福利，但策略空间是有限维且固定的。他们没有数据自动化带宽，建立的遗憾界也较粗糙。本文引用语境明确指出，他们的界比本文的界大得多，因为他们没有利用核项的“小二阶矩性质”。
    • Colangelo & Lee (2025)：专注于连续处理下的平均剂量-反应函数（ADRF）的推断，提出了双重去偏机器学习（DML）方法。这与策略学习的目标不同，但为本文提供了估计条件密度和条件均值函数的技术基础。
    • 本文 (Ai, Fang & Xie, 2025)：填补了文献空白。本文首次在连续处理设定下，同时处理了无限维策略空间的筛子逼近和福利函数的非参数核估计，并提出了一个数据自动化的惩罚算法来联合选择带宽（h）和筛子维度（k），建立了oracle不等式。

子线索聚类

  1. 二元处理策略学习：以Athey & Wager (2021), Kitagawa & Tetenov (2018), Zhou et al. (2023) 为代表。核心是利用IPW或DR估计量，策略空间通常是参数化的或有限维的，福利估计无调优参数。Mbakop & Tabord-Meehan (2021) 是其中的一个特例，使用了筛子逼近。
  2. 连续处理策略学习：以Kallus & Zhou (2018) 和本文为代表。核心挑战是福利的非参数核估计，引入了带宽h作为调优参数。Kallus & Zhou (2018) 处理有限维策略空间，本文处理无限维策略空间。
  3. 连续处理因果推断：以Colangelo & Lee (2025), Su, Ura & Zhang (2019) 为代表。目标不是学习策略，而是估计因果参数（如ADRF）。本文借鉴了其双重去偏和条件密度估计的技术。
  4. 非参数推断与偏差界：以Schennach (2020) 为代表。本文直接借用了其偏差界方法（B(h)）来估计核估计的偏差，并将其作为惩罚项的一部分。

这个方向在追问的核心问题

  1. 如何估计连续处理下的福利？ 由于几乎不会观测到 T = π(X)，传统的IPW方法失效。核平滑是自然选择，但引入了偏差-方差权衡。
  2. 如何选择策略空间的复杂度？ 无限维策略空间需要逼近，逼近误差（welfare deficiency）与估计误差（variance）之间存在权衡。对于连续处理，这个权衡还与带宽h耦合。
  3. 如何联合选择调优参数（h, k）？ 带宽h和筛子维度k不是独立的。如本文所示，最优的h依赖于k，反之亦然。需要数据自动化的方法。
  4. 如何处理未知的倾向得分？ 在观测研究中，倾向得分（条件密度）未知。双重去偏（double debiasing）技术能否在连续处理下有效工作，并保持与已知倾向得分相似的遗憾界？

⚠️ 作者的 framing

  • 作者把缺口 frame 成什么？ 作者将缺口定位为：“We are unaware of any work on learning the optimal continuous policy from observational data, with policy space approximated.” 他们将自己定位为Mbakop & Tabord-Meehan (2021) 在连续处理下的自然推广。他们强调，连续处理带来的额外挑战（核估计、带宽选择）使得问题非平凡，而他们的主要贡献是提出了一个能同时自动化h和k的算法，并建立了oracle不等式。
  • 哪些竞争路线被他淡化或回避了？
    • Athey & Wager (2021) 的连续处理版本：作者在3.3节提到，Athey & Wager (2021) 处理连续处理的方式是“examines infinitesimal nudges through outcome derivatives, effectively reducing the problem to a binary treatment scenario.” 这暗示他们的方法更通用，不局限于局部扰动。
    • Kallus & Zhou (2018)：作者在3.3节详细比较了与Kallus & Zhou (2018) 的差异，指出后者的遗憾界更差（1/h^4 vs 1/h），并归因于他们没有利用核项的“小二阶矩性质”。这明确地将自己的方法定位为更优。
    • 参数化策略空间：作者在引言中承认参数化策略空间（如Kitagawa & Tetenov, 2018）是可行的，但认为其“generally ad hoc and seldom driven by economic theory”。他们选择筛子逼近，认为这能更好地适应经济理论施加的形状约束（如单调性）。
  • 什么明显该被引 / 该存在、却没出现在 intro 里？
    • Higher-Order Influence Functions (HOIF) 在策略学习中的应用：用户的研究兴趣包含HOIF。HOIF可以用于构造更高阶的偏差校正估计量，有可能在连续处理下获得更快的收敛率或更弱的假设。本文使用的是标准的核估计和双重去偏（一阶影响函数），没有探索高阶方法。这是一个值得研究者去查的潜在空白。
    • 计算复杂度与统计-计算权衡：用户对统计-计算权衡感兴趣。本文的算法需要为每个(h, k)对求解一个优化问题，并且Rademacher复杂度需要通过模拟计算。对于大规模数据或复杂策略类（如深度神经网络），计算成本可能很高。论文没有讨论其算法的计算复杂度，也没有与可能存在的计算更高效的替代方案（如基于梯度的方法）进行比较。

张力

未见明显对立引用。所有被引工作都在一个连贯的框架下推进，即从二元到连续，从参数化到非参数化逼近。主要差异在于技术细节和遗憾界的紧度，而非根本性的矛盾。

二、最核心、最简单的例子 / 数学问题

第一步：把符号、模型、可观测数据交代清楚

  • 符号：

    • T：连续处理变量，取值于 T ⊂ R。
    • X：协变量向量，取值于 X ⊂ R^{d_X}。
    • Y(t)：潜在结果（potential outcome），即在处理水平 t 下的结果。
    • Y：观测到的结果，Y = Y(T)。
    • π：策略（policy），一个从 X 到 T 的映射，π: X → T。
    • W(π)：策略 π 的总体福利（population welfare），W(π) = E[Y(π(X))]。
    • Π_∞：全局策略空间（global policy class），可能是无限维的。
    • Π_k：筛子策略空间（sieve policy class），是 Π_∞ 的一个有限维逼近，k 是复杂度指标（如维度）。
    • W*(Π_k)：在 Π_k 内能达到的最优福利，W*(Π_k) = sup_{π∈Π_k} W(π)。
    • f(t|x)：广义倾向得分（generalized propensity score），即给定 X=x 时 T=t 的条件密度。
    • m(t, x)：条件剂量-反应函数（conditional dose-response function），m(t, x) = E[Y(t) | X=x]。
    • µ(t)：边际结果均值函数，µ(t) = E[Y | T=t]。
    • h：核估计的带宽（bandwidth）。
    • K(·)：核函数（kernel function）。
    • W_h(π)：平滑后的福利（smoothed welfare），W_h(π) = E[ (1/h) K((T-π(X))/h) * Y / f(T|X) ]。
    • Ŵ_h(π)：经验福利（empirical welfare），Ŵ_h(π) = (1/(nh)) Σ_i K((T_i - π(X_i))/h) * Y_i / f(T_i|X_i)。
    • VC(Π)：策略类 Π 的VC-子图维数（VC-subgraph dimension）。
    • r：函数 m(t, x) 和 µ(t) 关于 t 的光滑阶数（smoothness order）。
    • V_µ：函数 µ(t) 的全变差（total variation）。
    • B(h)：核估计偏差的上界，B(h) ≍ h^r。
    • τ(h, k, n)：技术项（technical term），用于控制联合界。
    • R_{h,k}：Rademacher复杂度（Rademacher complexity），用于惩罚过拟合。

  • 模型：

    • 潜在结果框架：每个个体有一组潜在结果 {Y(t)}_{t∈T}，但只能观测到 Y = Y(T)。
    • 无混淆性（Unconfoundedness, Assumption 1）：T ⊥ {Y(t)}_{t∈T} | X。这意味着给定协变量 X，处理分配与潜在结果独立。这是从观测数据中识别因果效应的关键假设。
    • 数据生成：观测数据 (Y_i, T_i, X_i) 是来自联合分布 P(Y, T, X) 的i.i.d.样本。

  • 可观测数据：

    • 研究者能观测到的是 (Y_i, T_i, X_i) 三元组。
    • 想要但观测不到的是：所有潜在结果 {Y_i(t)}_{t≠T_i}。策略学习的目标是找到一个 π，使得 E[Y(π(X))] 最大，但 Y(π(X)) 对于大多数个体是反事实的，无法直接观测。因此，必须依赖无混淆性假设和观测数据来识别和估计 W(π)。

第二步：讲最小内核

本文的核心思路可以浓缩为以下最简特例：

设定： - 处理 T 是一维连续的，支持集为 [0, 1]。 - 协变量 X 是一维连续的，支持集为 [0, 1]。 - 全局策略空间 Π_∞ 是所有从 [0,1] 到 [0,1] 的单调递增函数。 - 筛子策略空间 Π_k 是分段常数函数，在 [0,1] 上均匀划分为 k 段，每段取常数值。VC(Π_k) = k。 - 倾向得分 f(t|x) 是已知的。 - 剂量-反应函数 m(t, x) 关于 t 是一阶光滑的（r=1），即 m(t, x) 关于 t 的导数有界。 - 核函数 K 是二阶核（r=1），如Epanechnikov核。

核心问题： 在给定样本量为 n 的观测数据下，如何选择一个分段常数策略 π（即选择 k 和每段的常数值），使得其福利 W(π) 尽可能接近全局最优福利 W*(Π_∞)？

论文的关键想法： 1. 福利估计：由于 T 连续，不能直接用 1{T=π(X)}。论文用核平滑来估计福利：Ŵ_h(π) = (1/(nh)) Σ_i K((T_i - π(X_i))/h) * Y_i / f(T_i|X_i)。这引入了带宽 h 作为调优参数。 2. 遗憾分解：对于选定的 (h, k)，最优策略 π_{h,k} 的遗憾可以分解为： W*(Π_∞) - W(π_{h,k}) ≤ [W*(Π_∞) - W*(Π_k)] + 2 * sup_{π∈Π_k} |Ŵ_h(π) - W(π)| - 第一项 W*(Π_∞) - W*(Π_k) 是逼近误差（welfare deficiency），它只取决于 k。k 越大，逼近越好，误差越小。对于分段常数逼近，这个误差是 O(1/k)。 - 第二项 sup_{π∈Π_k} |Ŵ_h(π) - W(π)| 是估计误差，它又可以分解为方差和偏差： sup_{π∈Π_k} |Ŵ_h(π) - W(π)| ≤ sup_{π∈Π_k} |Ŵ_h(π) - W_h(π)| + sup_{π∈Π_k} |W_h(π) - W(π)| - 方差项：sup_{π∈Π_k} |Ŵ_h(π) - W_h(π)|。由于 Ŵ_h 是样本均值，其方差与 1/(nh) 成正比。而 Π_k 的复杂度（VC(Π_k)=k）会放大这个方差。通过经验过程理论，这个方差项的量级是 O(√(k/(nh)))。 - 偏差项：sup_{π∈Π_k} |W_h(π) - W(π)|。这是核平滑引入的偏差，量级是 O(h^r) = O(h)（因为 r=1）。 3. 联合选择 (h, k)：总遗憾的上界是 O(1/k + √(k/(nh)) + h)。论文的核心想法是同时选择 h 和 k 来最小化这个上界。最优的平衡点是让三项的量级相等： 1/k ≍ √(k/(nh)) ≍ h 解这个方程组，可以得到最优的 k* ≍ n^{1/3} 和 h* ≍ n^{-1/3}。此时，遗憾率为 O(n^{-1/3})。 4. 数据自动化：由于 r 和 V_µ 未知，无法直接计算 B(h) ≍ h^r。论文借鉴Schennach (2020) 的方法，通过估计 r 和 V_µ 来构造 B(h) 的估计量 B̂(h)。然后，他们设计了一个惩罚福利 Q_{h,k}，其中包含了Rademacher复杂度（惩罚方差）和 B̂(h)（惩罚偏差），并通过最大化 Q_{h,k} 来自动选择 (h, k)。

总结：这个最小内核清晰地展示了论文的核心数学困难：连续处理迫使福利估计引入核平滑（偏差），而无限维策略空间需要逼近（逼近误差）。这两个调优参数（h和k）相互耦合，必须联合选择。论文的关键想法是构造一个包含方差惩罚和偏差惩罚的oracle不等式，并通过数据驱动的方式同时优化这两个参数。

三、这篇论文做了什么

三句话

  1. 研究了什么问题：本文研究了从观测数据中学习连续处理下的最优策略的问题，其中策略空间可以是无限维的并满足形状约束。
  2. 核心工具 / 方法：本文提出了一个数据驱动的惩罚福利最大化算法。该算法使用核方法估计福利，使用筛子逼近策略空间，并使用一个包含Rademacher复杂度（惩罚方差/过拟合）和基于Schennach (2020)的偏差界（惩罚核估计偏差）的惩罚项，来自动联合选择带宽 h 和筛子维度 k。
  3. 主要结论：本文为已知和未知倾向得分两种情况建立了oracle不等式，证明了所提策略的福利遗憾可以被一个平衡了逼近误差、方差和核偏差的项所界定。该界与Mbakop & Tabord-Meehan (2021) 在二元处理下的结果类似，但额外包含了核偏差项 B(h)，且方差项因连续处理而放大了 1/√h 倍。

关键设定与假设

  • Assumption 1 (Unconfoundedness)：T ⊥ {Y(t)} | X。这是从观测数据中识别因果效应的标准假设，使得 m(t, x) = E[Y | T=t, X=x]。
  • Assumption 2 (Welfare Deficiency)：W*(Π_∞) - W*(Π_k) → 0 as k→∞。确保筛子序列能最终逼近全局最优。
  • Assumption 3 (Boundedness)：T 紧支撑，f(t|x) 有正下界，Y 有界。这是技术性假设，用于控制核估计的方差和Rademacher复杂度。
  • Assumption 4 (Kernel)：核函数 K 的傅里叶变换在原点附近为1，其他地方小于1。这是“无限阶核”的条件，用于控制偏差。实际上，任何足够高阶的核都可以。
  • Assumption 5 (Smoothness)：m(t, x) 和 µ(t) 关于 t 是 r 阶光滑的。这决定了核估计的偏差率 B(h) ≍ h^r。
  • Assumption 6 (Bias Bound Estimation)：对估计 B(h) 时使用的 µ̂ 和 f̂_T 施加了收敛速度条件（L2 和 L∞ 率），以确保 B̂(h) 的一致性。
  • Assumption 7 (Bounded Variation of m)：m(·, x) 对每个 x 有有界变差。这是为了在未知倾向得分的情况下，控制双重去偏调整项带来的额外复杂度。
  • Assumption 8 (Nuisance Estimators)：对估计 g=1/f 和 m 的机器学习方法施加了收敛速度条件（L∞ 率），要求其收敛速度快于 n^{-r/(4r+2)}。这个条件比Athey & Wager (2021) 中对二元处理的要求更强，因为连续处理下的遗憾率是 n^{-r/(2r+1)} 而不是 n^{-1/2}。

主要结果

  • Theorem 1 (Known Propensity Score)：

    • 陈述：对于已知倾向得分的情况，所提策略 π̂ 的遗憾满足一个oracle不等式。该不等式以高概率被一个下确界（infimum over (h, k)）界定，这个下确界是逼近误差、方差项 O(√(VC(Π_k)/(nh)))、核偏差项 B(h) 和技术项 τ(h,k,n) 之和。
    • 直觉：该定理表明，数据自动化算法能够以高概率找到一个 (h, k) 组合，使得遗憾接近最优的偏差-方差-逼近权衡。
    • 必要条件：带宽网格 H 和技术项 τ 需要满足条件 (10)，以确保联合界（union bound）有效。h_min 不能太小（≳ n^{-1/(2r+1)}）。
    • 解决的技术难点：联合控制两个调优参数 (h, k) 的随机选择，并处理核估计带来的额外偏差项。

  • Theorem 2 (Unknown Propensity Score)：

    • 陈述：对于未知倾向得分的情况，使用双重去偏（double debiasing）和交叉拟合（cross-fitting）后，所提策略 π̂^{DD} 的遗憾满足一个与Theorem 1类似的oracle不等式。
    • 直觉：只要第一阶段的机器学习估计量收敛得足够快（Assumption 8），双重去偏方法就能有效地消除因估计倾向得分和条件均值函数而引入的额外偏差，使得最终的遗憾界与已知倾向得分的情况相当。
    • 必要条件：除了Theorem 1的条件，还需要Assumptions 7和8。方差项中多了一个因子 √L（L 是交叉拟合的折数），常数 C'_v 也比 C_v 大，反映了双重去偏调整项带来的额外方差。
    • 解决的技术难点：证明双重去偏后的经验福利 Ŵ^{DD}_h(π) 与真实福利 W(π) 足够接近，并控制因估计 g 和 m 而引入的Rademacher复杂度的额外项。

证明路线与技术技巧

  • 整体路线：

    1. 遗憾分解：将遗憾 W*(Π_∞) - W(π̂) 分解为 [W*(Π_∞) - Q̂_{ĥ,k̂}] + [Q̂_{ĥ,k̂} - W(π̂)]。第一项是“最优福利与所选惩罚福利之差”，第二项是“所选惩罚福利与真实福利之差”。
    2. 控制第一项（Leading Term）：证明对于任意 (h, k)，W*(Π_∞) - Q̂_{h,k} 可以被逼近误差、方差、偏差和技术项界定。关键在于用Rademacher复杂度 R̂_{h,k} 和偏差界 B(h) 来分别控制方差和偏差。
    3. 控制第二项（Remainder Term）：证明 Q̂_{ĥ,k̂} - W(π̂) 是小的（O_p((n h_min)^{-1/2})）。这需要证明 Ŵ_{ĥ}(π̂) - W_{ĥ}(π̂) ≤ R̂_{ĥ,k̂} + τ(ĥ,k̂,n) 以高概率成立，即Rademacher惩罚确实能控制过拟合。
    4. 联合界（Union Bound）：由于 (ĥ, k̂) 是数据驱动的，需要对其所有可能取值取联合界。技术项 τ 和条件 (10) 就是为了确保这个联合界是可控的。
    5. Oracle Inequality：结合以上步骤，得到最终的oracle不等式。

  • 关键跳跃点：

    • 利用核的“小二阶矩性质”：这是与Kallus & Zhou (2018) 的关键区别。作者指出，虽然核项 (1/h)K((T-π(X))/h) 的一致界是 O(1/h)，但其二阶矩也是 O(1/h)（通过变量替换）。使用Talagrand不等式（它依赖于二阶矩）而不是McDiarmid不等式（它只依赖于一致界），可以得到更紧的方差界 O(√(VC/(nh)))，而不是 O(√(VC/(nh^4)))。
    • 偏差界的估计：借鉴Schennach (2020) 的方法，通过傅里叶变换将光滑阶数 r 和全变差 V_µ 的估计问题转化为一个线性规划问题（公式9），从而构造出 B̂(h)。这是将非参数偏差纳入惩罚项的关键技术。
    • 双重去偏（Double Debiasing）：在未知倾向得分的情况下，作者构造了一个新的双重去偏矩函数（公式13），而不是标准的DR估计量。这个新形式的关键在于，其调整项 (1 - 1/(h f) K(...)) m(π(X), X) 的条件期望为零（Lemma C.3），从而避免了引入额外的偏差。

  • 技术技巧点名：

    • Empirical Process / Talagrand's Inequality：用于控制 sup_{π∈Π_k} |Ŵ_h(π) - W_h(π)| 的偏差，并利用二阶矩得到更紧的界。
    • Rademacher Complexity：用于构造惩罚项 R̂_{h,k}，以控制策略类的复杂度。
    • Sieve Approximation：用有限维空间 Π_k 逼近无限维空间 Π_∞。
    • Schennach (2020) 的偏差界方法：用于构造核估计偏差的可行上界 B̂(h)。
    • Double Debiasing / Cross-fitting：用于在未知倾向得分下消除一阶偏差。
    • VC Dimension Bounds：用于控制函数类的复杂度，特别是Lemma C.1证明了核化后的函数类VC维与原始策略类相同。

真实例子与应用

  • 数据：Job Training Partnership Act (JTPA) 研究数据，与Kitagawa & Tetenov (2018) 和 Mbakop & Tabord-Meehan (2021) 相同。
  • 场景：为个体分配不同时长的职业培训（连续处理），以最大化未来收入减去培训成本的净收益。
  • 方法应用：
    • 策略类：采用Section 5.1中定义的可加单调策略 π(x) = Σ_p h_p(x_p)，其中 h_p 是单调递增的。这体现了公平性：教育水平、前期收入和工作经验较低的个体应获得更长的培训。
    • 福利估计：使用双重去偏方法（Theorem 2），因为倾向得分未知。f 用最近邻核密度估计，m 用线性回归估计。
    • 调优参数选择：使用Rademacher惩罚和holdout惩罚两种方式，带宽集 H 采用指数序列。
  • 结果：
    • 两种惩罚方法选择的策略相似（k=4 或 5, h=0.1），平均培训时长约为11周。
    • 培训时长很少超过12周，这可能是因为长时间培训会降低求职动力。
    • 教育水平是影响培训时长分配的最主要因素，而前期收入和工作经验影响不显著。这符合“教育与培训互补”的经济直觉。
    • 验证了理论预测：随着筛子维度 k 增加，所选带宽 h 也倾向于增加。
  • 例子想说明什么：该例子旨在展示本文方法在实际政策问题中的实用价值。它超越了二元参与决策，提供了更个性化的培训时长建议，并揭示了不同协变量对最优策略的不同影响，验证了方法的有效性。

🔎 结论是否比证明窄

  • Theorem 1 和 2 的遗憾界是概率收敛（O_p）而非期望收敛。作者在3.3节明确指出了这一点：“our result does not imply convergence in expectation, as the O_p-remainder terms in Theorem 1 may only converge in the (weaker) notation of convergence probability.” 这是因为估计光滑阶数 r 的收敛速度很慢（对数级），导致无法得到期望界的非渐近高概率界。这是一个重要的限制，因为Mbakop & Tabord-Meehan (2021) 的界是期望界。
  • 技术项 τ 的存在。虽然 τ 可以选得很小，但它的存在是证明中联合界技术的产物。作者在3.3节和Appendix B.2中讨论了当搜索所有 k 时，τ 需要增大到多项式阶，这可能会影响有限样本下的表现。这表明理论证明的紧度在极端情况下（k 非常大）可能会下降。
  • Assumption 8 的速率条件。要求 ρ_g, ρ_m ≥ r/(2(2r+1))。这个条件依赖于未知的 r。虽然可以用 r̂ 来评估，或者保守地取 1/4，但这在实践中可能难以验证，且比Athey & Wager (2021) 中对二元处理的要求更强。这暗示了连续处理下策略学习的理论代价更高。

四、开放问题

  1. 期望遗憾界：本文的oracle不等式是概率收敛的（O_p）。能否在更弱的假设下（或通过不同的技术）建立期望遗憾的oracle不等式，使其与Mbakop & Tabord-Meehan (2021) 的结果完全对应？扎根点：Section 3.3, “our result does not imply convergence in expectation”。

  2. 更高效的联合选择算法：本文的算法需要为每个 (h, k) 对求解一个优化问题，计算成本高。能否设计一个计算上更高效的算法，例如基于梯度的方法或贝叶斯优化，来联合选择 (h, k)？扎根点：Section 3.1, 算法描述；Section 6, 使用Gurobi求解器。

  3. 放松对 r 的依赖：Assumption 8 的速率条件依赖于未知的光滑阶数 r。能否设计一个自适应的方法，使得算法在不知道 r 的情况下也能达到最优的遗憾率，或者至少放松对 r 的依赖？扎根点：Assumption 8(i) 和其后的讨论。

  4. 高阶影响函数（HOIF）的应用：本文使用了一阶双重去偏。能否使用高阶影响函数来构造福利估计量，从而在更弱的条件下（如更慢的机器学习收敛率）获得相同的遗憾界，或者获得更快的收敛率？扎根点：Section 4 的双重去偏方法。这是一个自然的推广方向，且与用户的研究兴趣高度相关。

Maintained by 陈星宇 · Homepage · Source on GitHub

评论