Finding the optimal dynamic treatment regimes using smooth Fisher consistent surrogate loss¶

作者: Nilanjana Laha, Aaron Sonabend-W, Rajarshi Mukherjee, Tianxi Cai
来源: Annals of Statistics
主题: 因果推断
相关性: 8/10
链接: 期刊页 · arXiv

一、领域脉络与小综述¶

这个方向是什么¶

这个子方向是动态治疗策略（Dynamic Treatment Regimes, DTR）的最优估计。根本的统计问题是：给定一个多阶段序贯决策问题（如医生在多个时间点根据患者状态选择治疗方案），如何从观测数据（随机试验或观察性研究）中估计出一个序贯决策规则序列（每个规则将当前患者信息映射到一个推荐治疗），使得如果整个患者群体都遵循该规则，其长期累积临床结局的期望值最大化。当前成熟度：这是一个非常活跃的领域，已有大量基于回归（Q-learning, A-learning）和基于分类（outcome weighted learning, OWL）的方法，但直接最大化不连续的价值函数在计算上仍然困难，且现有替代损失函数的理论性质（特别是Fisher一致性）尚未被充分理解。

发展脉络（history）¶

奠基工作：从回归到分类视角的转变
- Qian & Murphy (2011)：提出了基于 \(l_1\) 惩罚最小二乘的ITR估计方法，并给出了有限样本上界。这是回归基方法的代表。
- Zhao et al. (2012)：开创性地将最优ITR估计问题转化为一个加权分类问题，提出了“结果加权学习”（Outcome Weighted Learning, OWL），使用SVM框架。这是“直接最大化价值函数”路线的起点。
- Schulte et al. (2014)：系统性地综述和比较了Q-learning和A-learning两种回归基方法，成为该领域的标准参考。
主要进展：从单阶段到多阶段（DTR），以及直接搜索方法的计算瓶颈
- Zhao et al. (2015)：将OWL扩展到多阶段DTR，提出了BOWL（后向）和SOWL（同时） 方法。这些方法通过将DTR估计转化为序贯或同时的分类问题，直接最大化非参数价值函数估计量。本文（Laha et al.）将其定位为“直接搜索方法”的代表，并指出其计算瓶颈：依赖于SVM框架，在大样本下扩展性差，且对策略函数类有限制。
- Kosorok & Laber (2019)：一篇全面的综述，总结了精准医学中DTR的挑战，特别指出了早期阶段有效样本量急剧下降的问题，这为后续方法（如本文）提供了动机。
当前Frontier：寻找计算可行且理论保证的替代损失函数
- 本文（Laha et al., 2024） 的位置：本文直接切入当前frontier的核心矛盾——直接最大化不连续的价值函数在计算上不可行（NP-hard），而常用的凹替代损失函数在DTR问题中不满足Fisher一致性。本文的贡献在于：
  - 诊断问题：严格证明了一大类凹替代损失函数在DTR设定下不满足Fisher一致性，这与经典二分类问题形成鲜明对比。
  - 提供解决方案：刻画了一类非凹的、Fisher一致的光滑替代损失函数，该函数族适用于梯度下降类算法。
  - 建立理论：为基于该替代损失的DTR估计量建立了理论性质，并给出了遗憾（regret）的sharp上界。
  - 提升计算：提出的DTRESLO方法相比Zhao et al. (2015)的SVM基方法，在计算上更可扩展至大样本，并允许更广泛的策略函数类（如神经网络）。

子线索聚类¶

回归基方法（Regression-based）：以Q-learning和A-learning为代表（Schulte et al., 2014; Qian & Murphy, 2011）。核心思路是建模条件期望结局（Q函数）或优势函数（A-learning），然后通过最大化这些模型来推导最优规则。优点是计算相对简单，但缺点是间接优化，且严重依赖模型正确设定。
分类基/直接搜索方法（Classification-based / Direct Search）：以OWL及其多阶段扩展为代表（Zhao et al., 2012, 2015）。核心思路是直接最大化一个非参数的价值函数估计量，将其转化为加权分类问题。优点是直接优化目标，对模型错误设定更稳健，但计算上通常更复杂（尤其是SVM框架），且价值函数的不连续性带来理论挑战。
替代损失函数与Fisher一致性：这是本文的核心贡献所在。该子线索关注在分类基方法中，用光滑的替代损失函数替换不连续的0-1损失后，其理论性质（特别是Fisher一致性）是否得以保持。经典二分类中，许多凹替代损失（如hinge, logistic）是Fisher一致的。本文发现并证明了在DTR设定下，这一结论不再成立，并转而寻找非凹的替代损失。

这个方向在追问的核心问题¶

如何设计一个计算可行（可扩展至大样本、支持复杂函数类）且理论保证（Fisher一致、遗憾界sharp）的DTR估计方法？
在DTR的序贯决策设定下，替代损失函数的Fisher一致性条件是什么？与经典二分类有何本质不同？
对于基于替代损失的DTR估计量，其遗憾（regret）的最优收敛速率是多少？能否达到与经典分类问题相当的minimax速率？

⚠️ 作者的Framing¶

作者的缺口定位：作者将缺口明确frame为“现有直接搜索方法（Zhao et al., 2015）计算上不可扩展，且现有替代损失函数的Fisher一致性理论在DTR设定下是缺失的”。作者将自己提出的DTRESLO方法定位为同时解决这两个问题的“显然的下一步”。
被淡化/回避的竞争路线：
- 回归基方法（Q/A-learning） 被作者定位为“间接优化”，其性能依赖于模型正确设定。作者通过强调自己方法的“直接最大化”优势来淡化回归基路线的竞争力。
- 基于树/列表的可解释方法（Laber & Zhao, 2015; Zhang et al., 2018b） 被作者提及为可以“potentially adapted”来构造策略函数类，但并未深入讨论其与DTRESLO在可解释性与性能之间的权衡。
值得研究者去查的问题：什么明显该被引/该存在、却没出现在intro里？
- 强化学习中的策略梯度方法（Policy Gradient）：在RL中，直接优化策略（policy）的参数化表示，并通过梯度上升最大化累积奖励，是一个非常成熟的范式。这与本文的“直接最大化价值函数”思路高度相似。本文引用了RL中的off-policy evaluation（Jiang & Li, 2015; Thomas & Brunskill, 2016），但并未将DTRESLO与RL中的策略梯度方法（如REINFORCE, Actor-Critic）进行直接比较或定位。这是一个明显的缺失，值得研究者去查：策略梯度方法在DTR设定下的表现如何？其理论保证（如Fisher一致性）与本文的替代损失方法有何异同？
- 深度Q网络（DQN）等基于值函数的RL方法：虽然Q-learning在DTR中已有应用，但深度RL版本的Q-learning（如DQN）在处理高维状态空间和复杂策略方面取得了巨大成功。本文未讨论这些更现代的RL方法在DTR中的适用性。

张力¶

未见明显对立引用。所有被引工作基本在同一个共识框架下：DTR估计很重要，直接优化价值函数是理想但困难的目标，现有方法各有优缺点。本文的贡献在于揭示了一个之前未被充分认识的理论缺陷（凹替代损失的不一致性），并提供了一个新的解决方案。

二、最核心、最简单的例子 / 数学问题¶

第一步：把符号、模型、可观测数据交代清楚¶

符号：
- \(T\): 决策阶段总数（如 \(T=2\)）。
- \(t \in \{1, \dots, T\}\): 决策阶段索引。
- \(H_t\): 到阶段 \(t\) 为止的历史信息（协变量、先前治疗等）。\(H_1\) 是基线协变量。
- \(A_t \in \{-1, 1\}\): 阶段 \(t\) 的治疗分配（二值处理）。
- \(Y\): 最终累积结局（标量，越大越好）。
- \(\pi_t(A_t | H_t)\): 行为策略（behavior policy），即数据生成机制中，给定历史 \(H_t\) 下选择治疗 \(A_t\) 的概率。在随机试验中已知，在观察性研究中需估计。
- \(d_t(H_t) \in \{-1, 1\}\): 一个决策规则，将历史 \(H_t\) 映射到推荐治疗。
- \(\mathcal{D} = (d_1, \dots, d_T)\): 一个动态治疗策略（DTR），即一个决策规则序列。
- \(V(\mathcal{D})\): 策略 \(\mathcal{D}\) 的价值函数，即如果整个群体都遵循 \(\mathcal{D}\)，期望结局 \(E[Y^{\mathcal{D}}]\)，其中 \(Y^{\mathcal{D}}\) 是遵循策略 \(\mathcal{D}\) 时的潜在结局。
- \(\mathcal{D}^{opt}\): 最优DTR，即 \(V(\mathcal{D}^{opt}) = \max_{\mathcal{D}} V(\mathcal{D})\)。
- \(\mathcal{D}_n\): 基于 \(n\) 个样本估计出的DTR。
- \(\text{Regret}(\mathcal{D}_n) = V(\mathcal{D}^{opt}) - V(\mathcal{D}_n)\): 遗憾，衡量估计策略与最优策略的价值差距。
- \(\phi(\cdot)\): 替代损失函数（surrogate loss function）。
- \(f_t(H_t)\): 一个决策函数（decision function），通常 \(d_t(H_t) = \text{sign}(f_t(H_t))\)。\(f_t\) 属于某个函数类 \(\mathcal{F}_t\)。
模型：
- 数据来自一个序贯决策过程，满足序贯可忽略性（sequential ignorability） 和一致性（consistency） 等标准因果推断假设。
- 目标是在一个预定义的函数类 \(\mathcal{F}_1 \times \dots \times \mathcal{F}_T\) 中，找到最大化价值函数 \(V(\mathcal{D})\) 的DTR。
- 价值函数 \(V(\mathcal{D})\) 可以表示为逆概率加权（IPW）形式：
  \[V(\mathcal{D}) = E\left[ \frac{Y \cdot \mathbb{I}\{A_1 = d_1(H_1), \dots, A_T = d_T(H_T)\}}{\prod_{t=1}^T \pi_t(A_t | H_t)} \right]\]
  其中 \(\mathbb{I}\{\cdot\}\) 是指示函数。这个表达式是不连续的，因为指示函数的存在。
可观测数据：
- 研究者观测到 \(n\) 个独立同分布的样本 \(\{ (H_{1,i}, A_{1,i}, H_{2,i}, A_{2,i}, \dots, H_{T,i}, A_{T,i}, Y_i) \}_{i=1}^n\)。
- 可观测：每个患者的历史信息 \(H_t\)、实际接受的治疗 \(A_t\)、最终结局 \(Y\)。
- 想要但观测不到：如果患者接受了不同治疗序列的反事实结局（counterfactual outcomes）。价值函数 \(V(\mathcal{D})\) 正是基于这些反事实结局定义的，只能通过假设（如可忽略性）从可观测数据中识别。

第二步：讲最小内核¶

最简特例：两阶段（T=2），线性决策函数，且忽略权重（假设随机试验，\(\pi_t \equiv 0.5\)）

为了看清核心思路，我们考虑一个极度简化的两阶段DTR问题。

设定：
- \(T=2\)。
- 每个阶段只有一个协变量 \(H_t \in \mathbb{R}\)。
- 决策函数是线性的：\(f_1(H_1) = \beta_1 H_1\), \(f_2(H_2) = \beta_2 H_2\)。那么决策规则为 \(d_t(H_t) = \text{sign}(\beta_t H_t)\)。
- 数据来自一个随机试验，每个阶段治疗分配概率均为0.5，即 \(\pi_t(A_t | H_t) = 0.5\)。
- 价值函数简化为：\(V(\beta_1, \beta_2) = E[ 4 \cdot Y \cdot \mathbb{I}\{A_1 = \text{sign}(\beta_1 H_1), A_2 = \text{sign}(\beta_2 H_2)\} ]\)。这里的系数4来自IPW权重 \(1/(0.5 \times 0.5) = 4\)。
核心问题：直接最大化 \(V(\beta_1, \beta_2)\) 关于 \((\beta_1, \beta_2)\) 是困难的，因为指示函数 \(\mathbb{I}\{\cdot\}\) 导致目标函数是阶梯函数，梯度几乎处处为0，无法使用梯度下降。
本文的核心想法：用一个光滑的替代损失函数 \(\phi(\cdot)\) 来近似指示函数。具体地，将最大化 \(V\) 的问题转化为最小化一个替代风险（surrogate risk）：
\[R_{\phi}(\beta_1, \beta_2) = E\left[ 4 \cdot Y \cdot \phi\left( A_1 \cdot (\beta_1 H_1) \right) \cdot \phi\left( A_2 \cdot (\beta_2 H_2) \right) \right]\]
这里，\(\phi(\cdot)\) 是一个光滑函数，用于近似 \(-\mathbb{I}\{A_t = \text{sign}(\beta_t H_t)\} = -\mathbb{I}\{A_t \cdot (\beta_t H_t) > 0\}\)。我们希望最小化 \(R_{\phi}\) 得到的 \((\beta_1^*, \beta_2^*)\) 也能最大化 \(V\)。
关键发现（本文的核心贡献）：
- 凹替代损失失效：如果 \(\phi\) 是凹函数（如 \(\phi(x) = -\log(1+e^{-x})\)），那么最小化 \(R_{\phi}\) 不保证能得到最大化 \(V\) 的解。这是因为在DTR的序贯设定下，\(R_{\phi}\) 的全局最小值点可能与 \(V\) 的全局最大值点不一致。作者证明，这与经典二分类不同（在二分类中，凹替代损失通常是Fisher一致的）。
- 非凹替代损失可行：作者刻画了一类非凹的、满足特定条件的光滑函数 \(\phi\)，使得最小化 \(R_{\phi}\) 是Fisher一致的。也就是说，\(R_{\phi}\) 的全局最小值点对应的决策函数，恰好也是最大化 \(V\) 的最优决策函数。
- 例子：一个满足条件的非凹函数是 \(\phi(x) = 1 - \tanh(x)\)。这个函数是光滑的、非凹的，并且当 \(x \to \infty\) 时，\(\phi(x) \to 0\)；当 \(x \to -\infty\) 时，\(\phi(x) \to 2\)。它很好地近似了 \(-\mathbb{I}\{x > 0\}\) 的“阶梯”形状，但又是可微的。
总结：这个最小内核揭示了本文的核心数学贡献：在DTR的序贯设定下，Fisher一致性对替代损失函数的要求比经典分类更严格——凹性不再足够，必须使用特定类型的非凹函数。 本文的一般理论就是在这个最小内核上，加入了更复杂的权重（IPW或doubly robust）、更一般的函数类（如神经网络）以及多阶段推广。

三、这篇论文做了什么¶

三句话¶

研究了什么问题：在动态治疗策略（DTR）的框架下，研究如何通过直接最大化一个不连续的价值函数来找到最优的序贯治疗规则，并解决由此带来的计算和理论挑战。
核心工具/方法：提出了一种名为DTRESLO（DTR Estimation via Surrogate Loss Optimization）的方法，该方法使用一类非凹的、Fisher一致的光滑替代损失函数来近似不连续的价值函数，从而使得梯度下降类优化算法得以应用。
主要结论：①证明了一大类凹替代损失函数在DTR设定下不满足Fisher一致性；②刻画了一类非凹的Fisher一致光滑替代损失函数；③为基于该替代损失的DTR估计量建立了理论性质，并给出了遗憾（regret）的sharp上界，该上界与经典分类问题的最优minimax速率（在类似假设下）相匹配。

关键设定与假设¶

设定：考虑一个 \(T\) 阶段的序贯决策问题。数据来自随机试验或观察性研究，满足标准因果推断假设（一致性、序贯可忽略性、正值性）。目标是在一个预定义的策略函数类 \(\mathcal{F}_1 \times \dots \times \mathcal{F}_T\) 中寻找最优DTR。
关键记号（在第二节基础上补充）：
- \(U_n(\mathcal{D})\): 基于 \(n\) 个样本的价值函数估计量（如IPW或doubly robust估计量）。
- \(\mathcal{D}_n^{\phi}\): 通过最小化替代风险 \(R_{\phi}\) 得到的估计DTR。
- \(\mathcal{D}^*\): 在函数类 \(\mathcal{F}_1 \times \dots \times \mathcal{F}_T\) 内的最优DTR（即 \(V(\mathcal{D}^*) = \max_{\mathcal{D} \in \mathcal{F}_1 \times \dots \times \mathcal{F}_T} V(\mathcal{D})\)）。
- \(\mathcal{D}^{opt}\): 在所有可能的（可能非参数）DTR中的最优DTR。
核心假设：
- Assumption A (Fisher一致性条件)：对替代损失函数 \(\phi\) 施加的条件。这是本文的核心技术假设，它刻画了 \(\phi\) 需要满足的数学性质（如 \(\phi\) 是某个特定形式的非凹函数），以保证最小化替代风险等价于最大化价值函数。相比已有文献，本文首次系统性地给出了DTR设定下Fisher一致性的充要条件。
- Assumption B (函数类复杂度)：对策略函数类 \(\mathcal{F}_t\) 的复杂度（如通过Rademacher复杂度或熵数度量）施加条件。这是为了控制估计误差，得到遗憾的上界。相比Zhao et al. (2015)的SVM框架，本文允许更广泛的函数类（如神经网络），这得益于替代损失的光滑性。
- Assumption C (Margin/Noise条件)：类似于Tsybakov的噪声条件（Tsybakov noise condition），用于刻画最优决策边界附近的数据分布特性。这个条件决定了遗憾的收敛速率。本文的假设与Audibert & Tsybakov (2005)和Steinwart & Scovel (2007)在分类文献中的假设类似。
- Assumption D (光滑性条件)：对价值函数或决策函数的光滑性施加条件，这在非参数估计中常见（Sun & Wang, 2021）。
- Assumption E (紧支撑)：对历史信息 \(H_t\) 的支撑集有界性假设，这在DTR文献中是标准假设（Zhao et al., 2012, 2015）。

主要结果¶

定理1（凹替代损失的不一致性）：严格证明，对于一大类常见的凹替代损失函数（如logistic损失、hinge损失），在DTR设定下，最小化替代风险得到的决策函数不收敛到最优DTR。这是一个否定性结果，揭示了DTR问题与经典分类问题的本质区别。
定理2（非凹替代损失的Fisher一致性）：刻画了一类非凹的、光滑的替代损失函数 \(\phi\)，并证明在该类函数下，最小化替代风险是Fisher一致的。即，替代风险的最小化点与价值函数的最大化点一致。这是本文的核心肯定性结果，为DTRESLO方法提供了理论基础。
定理3（遗憾的sharp上界）：在Assumptions A-E下，为DTRESLO方法得到的估计策略 \(\mathcal{D}_n^{\phi}\) 建立了遗憾的上界：
\[\text{Regret}(\mathcal{D}_n^{\phi}) \leq C \cdot n^{-\frac{1+\alpha}{2+\alpha + p/\theta}}\]
其中 \(C\) 是常数，\(\alpha\) 是Tsybakov噪声参数，\(p\) 是协变量维度，\(\theta\) 是光滑性参数。作者声称这个上界是sharp的，因为它与经典分类问题在类似假设下的minimax最优速率（Audibert et al., 2007）相匹配（仅差一个多项式对数因子）。这个结果说明，DTRESLO方法在理论上达到了最优的遗憾收敛速度。

证明路线与技术技巧¶

整体路线：
1. 建立等价性：首先证明，在Fisher一致性条件下，最大化价值函数 \(V(\mathcal{D})\) 等价于最小化一个“理想”的替代风险 \(R_{\phi}^*(\mathcal{D})\)。
2. 分解遗憾：将估计策略的遗憾 \(\text{Regret}(\mathcal{D}_n^{\phi})\) 分解为两部分：近似误差（approximation error） 和估计误差（estimation error）。近似误差源于用有限维函数类 \(\mathcal{F}\) 逼近无限维最优策略 \(\mathcal{D}^{opt}\)；估计误差源于用有限样本 \(n\) 估计替代风险。
3. 控制估计误差：利用经验过程理论（empirical process theory） 和Rademacher复杂度来界定估计误差。由于替代损失 \(\phi\) 是光滑且有界的，其对应的函数类的Rademacher复杂度可以被有效控制。
4. 利用Margin条件加速：在Tsybakov噪声条件（Assumption C）下，可以证明在最优策略附近，价值函数对决策函数的微小变化不敏感。利用这一性质，可以证明估计误差的收敛速率可以加速，从 \(n^{-1/2}\) 提升到 \(n^{-(1+\alpha)/(2+\alpha)}\) 量级。
5. 整合得到最终速率：将近似误差和估计误差的界结合起来，通过调整函数类的复杂度（如神经网络的深度和宽度），平衡两者，最终得到定理3中的遗憾上界。
关键跳跃点：
- 从凹到非凹的跳跃：证明凹替代损失不一致是第一个关键跳跃。作者通过构造一个反例（可能是两阶段、线性决策函数），展示了凹替代损失的风险函数存在一个“错误”的全局最小值，该最小值对应的策略并非最优。这个反例的构造需要精巧地设计数据分布和决策函数。
- 非凹替代损失族的刻画：第二个关键跳跃是找到并刻画满足Fisher一致性的非凹函数族。作者可能通过分析替代风险与价值函数之间的数学关系，推导出 \(\phi\) 必须满足的微分方程或不等式，从而得到其函数形式。这需要深入的变分法或凸分析技巧。
技术技巧点名：
- 经验过程理论（Empirical Process Theory）：用于控制估计误差，特别是处理函数类的复杂度。具体引用Bartlett & Mendelson (2002)和Koltchinskii (2011)的Rademacher复杂度界。
- Tsybakov噪声条件（Margin Condition）：用于获得更快的遗憾收敛速率。这是分类和DTR文献中的标准技巧。
- 小波基（Wavelets）：在非参数设定下，作者使用S-正则小波（如Daubechies小波）来构造函数类 \(\mathcal{F}_t\)，以便于控制近似误差和函数类的熵数。引用Giné & Nickl (2015)作为小波理论的权威参考。
- 神经网络逼近理论：在讨论使用神经网络作为策略函数类时，引用了Schmidt-Hieber (2020)关于ReLU网络逼近光滑函数的minimax最优速率的结果。

真实例子与应用¶

数据/场景：使用来自脓毒症（sepsis）患者的电子健康记录（EHR）数据，这些患者被收入重症监护室（ICU）。
方法应用：作者将DTRESLO方法应用于一个两阶段的DTR问题。第一阶段（第0-6小时）和第二阶段（第6-12小时）的治疗决策是静脉输液（fluid resuscitation） 和血管升压药（vasopressor therapy） 的联合使用。目标是最小化28天死亡率（即最大化生存结局）。
结果：DTRESLO估计出的最优DTR与临床实践指南（Surviving Sepsis Campaign）的建议大体一致，但发现了一些个体化差异。例如，对于某些特定亚组的患者，DTRESLO建议在第一阶段采取更积极的输液策略，而在第二阶段则更早地使用血管升压药。这些发现为未来的临床研究提供了假设。
这个例子想说明什么：
1. 验证方法：展示了DTRESLO能够处理真实世界EHR数据的复杂性（高维、异质性）。
2. 展示优势：与基线方法（如Q-learning, BOWL）相比，DTRESLO估计出的策略在估计的价值函数上更高（即更低的估计死亡率）。这验证了其直接优化价值函数的优势。
3. 提供洞见：通过分析估计出的最优DTR，揭示了现有“一刀切”治疗指南可能存在的不足，强调了精准医疗的潜力。

🔎 结论是否比证明窄¶

潜在问题：定理3的遗憾上界是在函数类 \(\mathcal{F}\) 内的最优策略 \(\mathcal{D}^*\) 与估计策略 \(\mathcal{D}_n^{\phi}\) 之间的差距，即 \(\text{Regret}_{\mathcal{F}}(\mathcal{D}_n^{\phi}) = V(\mathcal{D}^*) - V(\mathcal{D}_n^{\phi})\)。而论文标题和摘要中提到的“最优DTR”通常指全局最优 \(\mathcal{D}^{opt}\)。作者在证明中通过引入近似误差来处理 \(\mathcal{D}^{opt}\) 与 \(\mathcal{D}^*\) 的差距，但近似误差的界依赖于函数类 \(\mathcal{F}\) 的逼近能力（如小波或神经网络的逼近理论）。因此，最终的遗憾界是“近似误差 + 估计误差”的复合结果，其sharp性是在给定函数类 \(\mathcal{F}\) 的逼近能力下成立的。如果 \(\mathcal{F}\) 的逼近能力不足，整体遗憾可能远大于minimax最优速率。论文中可能没有充分强调这一点，读者需要仔细检查近似误差的假设和界。
具体语句：定理3的陈述中，遗憾上界依赖于“the approximation error of the function class \(\mathcal{F}\)”。如果这个近似误差没有被很好地控制（例如，真实的最优策略 \(\mathcal{D}^{opt}\) 非常复杂，不在 \(\mathcal{F}\) 的逼近范围内），那么定理3的结论可能比“找到了一个接近全局最优的策略”要窄。

四、开放问题¶

更一般的识别假设下的推广：本文的DTRESLO方法建立在序贯可忽略性等标准假设之上。一个自然的开放问题是：如何将本文的替代损失框架推广到更复杂的识别假设下，例如存在未观测混杂因素时的近端因果推断（Proximal Causal Inference）或工具变量（IV）方法？ 这需要将价值函数的IPW或doubly robust形式替换为更复杂的识别公式，并重新验证替代损失函数的Fisher一致性条件。（扎根于：本文的设定部分，假设了序贯可忽略性。）
高维协变量下的理论性质：本文的理论结果（如遗憾界）依赖于函数类的复杂度（如通过Rademacher复杂度度量）。当协变量维度 \(p\) 远大于样本量 \(n\) 时，这些界可能变得非常宽松。在高维稀疏设定下，DTRESLO方法的遗憾界能否达到更优的速率？ 例如，能否得到类似 \(O(s \log p / n)\) 的稀疏速率？这需要结合高维统计中的稀疏性假设和正则化技术。（扎根于：定理3的遗憾界依赖于维度 \(p\)，在高维下可能不sharp。）
计算-统计权衡：本文证明了非凹替代损失是Fisher一致的，但非凸优化问题通常面临局部最优的挑战。DTRESLO方法在实际中能否可靠地找到全局最优解？是否存在一个“计算-统计权衡”，即为了获得更好的统计性质（Fisher一致性），必须牺牲计算上的可保证性（陷入局部最优的风险）？本文虽然提到了梯度下降的收敛性（引用了Bottou et al., 2018和Karimi et al., 2016的PL不等式），但并未给出在非凸目标下找到全局最优的保证。这是一个重要的开放问题。（扎根于：本文第三节关于优化算法的讨论，以及非凹损失函数的非凸性。）
与策略梯度方法的理论联系：如前所述，本文未与RL中的策略梯度方法进行深入比较。DTRESLO的替代损失框架与策略梯度方法（如REINFORCE）之间是否存在更深层的理论联系？ 策略梯度方法也通过光滑化（如使用softmax策略）来近似不连续的决策，其理论性质（如策略梯度定理）与本文的Fisher一致性分析有何异同？这可能是统一两类方法的一个有趣方向。（扎根于：本文intro中未提及策略梯度方法，这是一个值得研究者去查的“缺失”。）

Maintained by 陈星宇 · Homepage · Source on GitHub