Adaptive inference for functionals of M-estimands¶
作者: James Leiner, Aurélien Bibaut, Nathan Kallus, Aaditya Ramdas, Koulik Khamaru
主题: 效率理论 / Debiased ML
相关性: 7/10
链接: https://arxiv.org/abs/2609.39274
一、领域脉络与小综述¶
这个方向是什么:在自适应数据收集(如上下文赌博机、强化学习、自适应实验)中,观测数据不再独立同分布,采样策略依赖于历史数据,导致经典大样本理论失效。该子方向要解决的根本问题是:如何对由非参数 M-估计量定义的参数(如平均处理效应、策略价值、结构方程参数)进行统计推断——即构造渐近有效、覆盖概率正确的置信区间,同时允许 nuisance 参数用灵活的机器学习方法估计、允许模型可能被误设、允许采样策略不收敛到确定性极限。
发展脉络:
- 奠基工作:Lai and Wei (1982) 最早系统研究了自适应线性模型中最小二乘估计的渐近性质,指出若设计矩阵的归一化交叉积不收敛到确定性序列,则估计量可能非渐近正态。这为后续工作奠定了问题框架:自适应数据下,方差路径依赖是核心障碍。
- 早期偏差修正:Shin et al. (2019) 指出在随机多臂赌博机中,样本均值因自适应采样而产生选择偏差,即使无偏,其方差也随路径变化。这激发了后续对偏差修正和方差稳定化的研究。
- 已知策略的加权方法:Hadad et al. (2021) 提出用条件方差稳定化权重构造渐近正态的估计量;Bibaut et al. (2021) 提出上下文自适应双重稳健估计;Kato (2020) 用标准化鞅构造置信区间。这些方法假设采样策略已知,通过重要性加权或方差稳定化处理非平稳性。
- 未知策略的在线去偏:Deshpande et al. (2018) 提出 W-decorrelation 方法,不依赖策略已知,通过在线去偏修正自适应线性回归的偏差;Ying et al. (2023) 提出自适应线性估计方程;Khamaru et al. (2025) 给出近最优的推断方法。这些方法通常限于线性模型或参数模型。
- 半参数效率理论:Bickel and Klaassen (1993) 建立了 i.i.d. 下半参数效率界;Chernozhukov et al. (2018) 提出双重机器学习,利用 Neyman 正交性构造对 nuisance 估计误差不敏感的一步估计;Rotnitzky et al. (2021) 刻画了具有混合偏差性质的参数;van der Laan et al. (2026) 提出自动去偏机器学习(autoDML),将光滑泛函的推断自动化。
- 本文位置:将 autoDML 框架从 i.i.d. 推广到自适应采样,统一了上述两条线索(已知策略的加权方法和未知策略的在线去偏),允许非参数 nuisance 估计、模型误设,并处理方差不收敛到常数的情况。
子线索聚类:
- 自适应线性模型推断:Lai and Wei (1982), Deshpande et al. (2018), Ying et al. (2023), Khamaru et al. (2025)。核心是设计矩阵或估计方程的鞅结构,通过在线去偏或修正估计方程恢复渐近正态性。
- 策略评估与 off-policy 推断:Hadad et al. (2021), Kato (2020), Bibaut et al. (2021), Cook et al. (2024), Guo and Xu (2025), Leiner et al. (2026)。核心是已知策略下的重要性加权和方差稳定化,通常针对特定估计量(如均值、策略值)。
- 半参数效率与去偏机器学习:Bickel and Klaassen (1993), Chernozhukov et al. (2018), Rotnitzky et al. (2021), van der Laan et al. (2026)。核心是影响函数、Neyman 正交性、一步估计,在 i.i.d. 下提供统一推断框架。
- 自适应实验设计:Kasy and Sautmann (2021), Caria et al. (2024), Kato et al. (2024)。关注如何在自适应分配下同时保证参与者的福利和最终推断的有效性。
这个方向在追问的核心问题:
- 目标参数如何在非平稳分布下精确定义?当策略不收敛时,M-估计的极限是否存在、是否随机?
- 如何消除自适应采样带来的偏差?重要性加权、在线去偏、影响函数校正各自的适用条件是什么?
- 方差如何估计?方差可能不收敛到常数,而是收敛到随机变量,此时如何构造置信区间?
- 需要哪些条件?重叠(overlap)、策略收敛速度、nuisance 估计误差、模型误设程度之间的权衡是什么?
⚠️ 作者的 framing(这是作者的说法):作者在引言中声称,现有方法“往往是针对特定估计量和模型开发的,缺乏统一框架”,并且“许多现有方法要么假设模型正确设定,要么要求策略收敛到确定性极限,要么限制 nuisance 的估计方式”。作者将缺口定义为:需要一个统一的、允许非参数 nuisance 估计、允许模型误设、且能处理方差不收敛到常数的一般推断框架。作者将本文定位为“将 i.i.d. 下的 autoDML 框架推广到自适应采样”,并声称这是“显然的下一步”。(对应原文:“there is currently no general framework that unifies these approaches in the way that semiparametric efficiency theory and double machine learning do in the i.i.d. setting.”)
张力:被引文献之间未见明显对立结论,但存在侧重点差异。例如,Lai and Wei (1982) 和 Deshpande et al. (2018) 强调设计矩阵的收敛性,而 Hadad et al. (2021) 和 Bibaut et al. (2021) 强调已知策略下的加权。作者将这些差异归因于“问题特定性”,而非根本矛盾。一个值得注意的张力是:Guo and Xu (2025) 要求策略收敛到确定性极限,而本文允许策略不收敛,但需要方差收敛到随机变量(条件 3c)。这是对假设的放松,而非矛盾。
二、最核心、最简单的例子 / 数学问题¶
第一步:符号、模型、可观测数据¶
- 时间步:\( t = 1, \dots, T \)
- 上下文:\( C_t \in \mathcal{C} \),假设 \( C_t \sim P_C \) 且 \( C_t \perp\!\!\!\perp \mathcal{F}_{t-1} \)(外生性,Assumption 1a)
- 动作:\( A_t \in \mathcal{A} \),由策略 \( \pi_t(\cdot | C_t) \) 采样,\( \pi_t \) 是 \( \mathcal{F}_{t-1} \)-可测的(即已知历史)
- 结果:\( Y_t \in \mathbb{R} \),条件分布固定:\( Y_t \mid C_t, A_t \sim P_Y(\cdot | C_t, A_t) \),且 \( Y_t \perp\!\!\!\perp \mathcal{F}_{t-1} \mid C_t, A_t \)(Assumption 1b)
- 历史:\( H_{t-1} = \{ (C_i, A_i, Y_i) \}_{i=1}^{t-1} \),滤子 \( \mathcal{F}_{t-1} = \sigma(H_{t-1}) \)
- 评估分布 \( P_e \):固定策略 \( \pi_e(\cdot | c) \),满足 \( \pi_e \ll \pi_t \)(重叠,Assumption 2)。\( P_e \) 定义为 \( C \sim P_C, A \sim \pi_e(\cdot | C), Y \sim P_Y(\cdot | C, A) \)
- 损失函数:\( \ell_{\theta,\eta}(z) \),其中 \( \theta \in \Theta \) 是目标参数,\( \eta \in \Upsilon \) 是 nuisance 函数
- M-估计目标:\( \theta_{P_e} := \arg\min_{\theta \in \Theta} E_{P_e}[\ell_{\theta,\eta_{P_e}}(Z)] \),其中 \( \eta_{P_e} \) 是 nuisance 的真值
- 目标泛函:\( \Psi_e(\theta_{P_e}) := E_{P_e}[m_{\theta_{P_e}}(Z)] \),其中 \( m_\theta \) 是已知的可测函数
- 影响函数:\( \varphi_{P_e}(z) := m_{\theta_{P_e}}(z) - \Psi_e(\theta_{P_e}) - \partial_\theta \ell_{\theta_{P_e},\eta_{P_e}}(z)[\alpha_{P_e}] \),其中 \( \alpha_{P_e} \in \bar\Theta \) 是 Riesz 表示子,满足 \( E_{P_e}[\partial_\theta m_{\theta_{P_e}}(Z)[h]] = H_{P_e}(\alpha_{P_e}, h) \),\( H_{P_e} \) 是损失的海森矩阵
- 权重:\( w_t := \frac{\pi_e(A_t | C_t)}{\pi_t(A_t | C_t)} \),已知且可计算
- 条件方差:\( \sigma_t^2 := \mathrm{Var}(w_t \varphi_{P_e}(Z_t) \mid \mathcal{F}_{t-1}) \)
可观测数据:序列 \( \{ (C_t, A_t, Y_t) \}_{t=1}^T \),以及已知的 \( \pi_t, \pi_e \)。注意 \( \pi_t \) 是算法生成的,已知;\( \pi_e \) 是研究者指定的评估策略,已知。
第二步:最小内核¶
最简特例:无上下文的两臂赌博机,目标估计平均奖励差。
- 设 \( \mathcal{C} = \emptyset \),\( \mathcal{A} = \{0,1\} \),\( Y_t \in \{0,1\} \)。
- 评估策略 \( \pi_e(0) = \pi_e(1) = 1/2 \)(均匀)。
- 损失函数取平方损失:\( \ell_\theta(a,y) = (y - \theta_a)^2 \),其中 \( \theta = (\theta_0, \theta_1) \)。则 \( \theta_{P_e} = (E[Y|A=0], E[Y|A=1]) \)。
- 目标泛函:\( \Psi_e = \theta_1 - \theta_0 \)(平均处理效应)。这里 \( m_\theta(a,y) = \theta_1 - \theta_0 \),与 \( (a,y) \) 无关。
- 影响函数:\( \varphi_{P_e}(z) = m_{\theta_{P_e}}(z) - \Psi_e - \partial_\theta \ell_{\theta_{P_e}}(z)[\alpha_{P_e}] \)。对于这个线性问题,可以显式解出 \( \alpha_{P_e} \),但核心思想是:\( \varphi_{P_e} \) 是零均值函数,且 \( E_{P_e}[\varphi_{P_e}(Z)] = 0 \)。
核心困难:当采样策略 \( \pi_t \) 是自适应的(如 \( \epsilon \)-greedy),且两个臂的期望奖励相等(无 margin)时,\( \pi_t \) 可能不收敛到任何确定性策略,而是沿随机路径漂移。此时权重 \( w_t = \frac{1/2}{\pi_t(A_t)} \) 不收敛,导致样本均值 \( \frac{1}{T}\sum_t w_t (2A_t - 1) Y_t \) 的方差路径依赖,经典 CLT 不适用。
本文的关键想法:
-
影响函数一步校正:构造估计量 \( \hat\Psi_T = \frac{1}{T}\sum_{t=1}^T w_t \left[ m_{\hat\theta_t}(Z_t) - \partial_\theta \ell_{\hat\theta_t,\hat\eta_t}(Z_t)[\hat\alpha_t] \right] \),其中 \( \hat\theta_t, \hat\eta_t, \hat\alpha_t \) 是 \( \mathcal{F}_{t-1} \)-可测的估计。由于 \( E[w_t \varphi_{P_e}(Z_t) \mid \mathcal{F}_{t-1}] = 0 \),\( \{ w_t \varphi_{P_e}(Z_t) \} \) 是鞅差序列。
-
两种方差估计:
- plug-in 条件方差(Theorem 2):估计 \( \sigma_t^2 \),构造 \( z \)-统计量,要求 \( \frac{1}{T}\sum_t \sigma_t^2 / \hat\sigma_t^2 \to 1 \)。
-
自归一化(Theorem 3):用影响函数增量的二次变差 \( \hat V_T = \frac{1}{T}\sum_t w_t^2 \hat\varphi_t^2 \) 作为方差估计,不需要估计条件方差,适用于方差收敛到随机变量的中间情形。
-
为什么成立:在 Neyman 正交性下,nuisance 估计误差对目标泛函的一阶影响为零;剩余项由估计误差的乘积和高阶项组成,在条件 (2a) 下可忽略。鞅差序列的 CLT 给出渐近正态性。
在这个特例下,要证的命题退化为:\( \frac{\hat\Psi_T - \Psi_e}{\sqrt{\hat V_T / T}} \xrightarrow{d} N(0,1) \),其中 \( \hat V_T \) 是二次变差。证明的关键是验证鞅差序列的 Lindeberg 条件和条件方差的正则性。
三、这篇论文做了什么¶
三句话¶
- 研究了什么问题:在自适应数据收集(上下文赌博机、强化学习)下,如何对非参数 M-估计量的光滑泛函构造渐近有效的置信区间,允许 nuisance 参数用黑盒非参数估计、允许模型误设、允许策略不收敛。
- 核心工具/方法:基于 Neyman 正交性和影响函数的一步估计,结合两种方差估计——plug-in 条件方差估计(Theorem 2 + Theorem 4)和基于影响函数增量的自归一化统计量(Theorem 3)。
- 主要结论:在温和条件下,两种方法都产生渐近正态的统计量;模拟(动态定价、多臂赌博机)表明,在标准方法失效时,新方法能达到名义覆盖。
关键设定与假设¶
- 数据生成(Assumption 1):上下文 \( C_t \) 外生 i.i.d.;给定 \( C_t, A_t \),奖励 \( Y_t \) 的条件分布固定;策略 \( \pi_t \) 已知且依赖于历史。
- 重叠条件(Assumption 2):评估策略 \( \pi_e \) 绝对连续于行为策略 \( \pi_t \),且权重 \( w_t = \pi_e / \pi_t \) 有界增长(条件 2c 允许 \( \sup_{t,c,a} \pi_e/\pi_t = O(T^{1/3}) \))。
- 损失函数正则性(Assumption 3):M-估计目标存在且唯一;损失函数二阶可微、强凸;Neyman 正交性成立(条件 3c 要求交叉导数期望为零)。
- 包络条件(Assumption 4):存在可积包络函数控制损失及其导数的高阶矩,用于处理非参数 nuisance 估计的余项。
- 估计误差条件(条件 2a):时间平均的四阶估计误差 \( \frac{1}{T}\sum_t \|\hat\theta_t - \theta_{P_e}\|^4_\Theta = o_p(T^{-1}) \),对 \( \hat\eta_t, \hat\alpha_t \) 类似。这比 i.i.d. 下的条件更强,因为需要控制自适应依赖。
- 方差条件(条件 2b/3c):Lindeberg 条件;条件方差 \( \sigma_t^2 \) 的时间平均收敛到随机变量 \( \kappa \)(允许随机极限)。
相比已有文献: - 相比 Hadad et al. (2021)、Bibaut et al. (2021) 等要求策略收敛到确定性极限,本文允许策略不收敛(条件 3c 只要求方差收敛到随机变量)。 - 相比 Zhang et al. (2021) 的平方根逆倾向加权,本文使用一般影响函数,不限于特定估计量。 - 相比 Lin et al. (2025) 的局部半参数方法,本文允许 nuisance 用任意黑盒估计,只要满足时间平均误差条件。
主要结果¶
- Theorem 1(一步展开):在 Neyman 正交性下,\( \Psi_e(\hat\theta) - \Psi_e(\theta_{P_e}) = \frac{1}{T}\sum_{t=1}^T w_t \varphi_{P_e}(Z_t) + o_p(T^{-1/2}) \)。这给出估计量的线性表示,将问题转化为鞅部分和。
- Theorem 2(plug-in 方差 CLT):若存在 \( \mathcal{F}_{t-1} \)-可测的 \( \hat\sigma_t^2 \) 满足 \( \frac{1}{T}\sum_t \sigma_t^2/\hat\sigma_t^2 \to_p 1 \),则 \( \frac{\sqrt{T}(\hat\Psi_T - \Psi_e)}{\sqrt{\frac{1}{T}\sum_t \hat\sigma_t^2}} \xrightarrow{d} N(0,1) \)。证明基于鞅 CLT(Hall and Heyde 1980, Theorem 3.4)和条件 Lindeberg 条件。
- Theorem 3(自归一化 CLT):定义 \( \hat V_T = \frac{1}{T}\sum_{t=1}^T w_t^2 \hat\varphi_t^2 \),其中 \( \hat\varphi_t = m_{\hat\theta_t}(Z_t) - \hat\Psi_t - \partial_\theta \ell_{\hat\theta_t,\hat\eta_t}(Z_t)[\hat\alpha_t] \)。若条件 3c 成立(\( \frac{1}{T}\sum_t \sigma_t^2 \to_p \kappa > 0 \)),则 \( \frac{\hat\Psi_T - \Psi_e}{\sqrt{\hat V_T / T}} \xrightarrow{d} N(0,1) \)。证明需要证明 \( \hat V_T - \frac{1}{T}\sum_t w_t^2 \varphi_{P_e}^2 \to_p 0 \),以及二次变差与条件方差之比收敛到 1。
- Theorem 4(plug-in 方差估计的一致性):构造 \( \hat\sigma_t^2 \) 为基于历史数据重加权的影响函数平方的加权平均,证明在条件 4a(策略类熵界)和 4b(重叠 \( O(T^{1/8}) \))下,\( \frac{1}{T}\sum_t \sigma_t^2/\hat\sigma_t^2 \to_p 1 \)。证明使用经验过程理论(最大不等式)和鞅差序列的矩不等式。
证明路线¶
- 线性化:利用 Neyman 正交性,将 \( \Psi_e(\hat\theta) - \Psi_e(\theta_{P_e}) \) 展开为影响函数鞅差之和,余项由估计误差的乘积和高阶导数控制(Theorem 1)。
- 鞅 CLT:验证鞅差序列 \( \{ w_t \varphi_{P_e}(Z_t) \} \) 的条件方差收敛和 Lindeberg 条件。条件 2b 直接给出 Lindeberg;条件方差收敛由条件 3c 或 plug-in 估计保证。
- 余项控制:将估计误差 \( \hat\theta_t - \theta_{P_e} \) 等分解为鞅差部分和可预测部分,利用条件 2a 的四阶矩条件控制交叉项。关键技巧是使用 Cauchy-Schwarz 不等式和包络条件将函数范数转化为可积随机变量。
- 方差估计:Theorem 4 的证明分为三步:(i) 用重加权影响函数增量构造 \( \hat\sigma_t^2 \);(ii) 证明 \( \hat\sigma_t^2 - \sigma_t^2 \) 的均方误差为 \( o_p(1) \);(iii) 利用策略类的熵界(条件 4a)得到一致收敛。这里使用了 Girard et al. (2026) 的极大不等式。
技术技巧点名¶
- Neyman 正交化:通过调整影响函数,使目标泛函对 nuisance 的一阶导数期望为零,从而允许 nuisance 估计误差不进入一阶项。
- 一步估计(one-step):在初始估计 \( \hat\theta \) 基础上加上影响函数修正项,消除 plug-in 偏差。
- 重加权影响函数增量:用 \( w_t = \pi_e/\pi_t \) 将自适应分布下的观测转化为评估分布下的期望,同时利用 \( \mathcal{F}_{t-1} \)-可测性构造鞅。
- 自归一化:用二次变差代替条件方差,避免估计条件方差,适用于方差随机极限。
- 经验过程最大不等式:控制策略类上的均匀偏差,来自 Girard et al. (2026) 的定理。
- Hardy 不等式:用于处理时间平均的平方和(在 Theorem 4 的证明中)。
真实例子与应用¶
- 动态定价模拟(Section 4):
- 场景:一个在线零售平台,每个顾客有特征 \( C_t \),平台选择价格 \( p_t \),顾客购买概率 \( \Lambda(\eta(C_t) - \beta p_t) \)。目标参数是价格敏感度 \( \beta \) 或最优价格下的期望收益。
- 方法:用逻辑回归作为 nuisance 估计 \( \eta \),用 ε-greedy 策略选择价格。比较三种方法:朴素 GLM(忽略自适应)、IPW-GLM(逆概率加权)、本文的 Theorem 2/3 方法。
- 结果:在无 margin(最优价格不唯一)时,朴素 GLM 的置信区间严重欠覆盖(如名义 95% 实际 60%),IPW-GLM 稍好但仍欠覆盖,而 Theorem 2/3 方法覆盖率达到 93-96%。在强 margin 时,所有方法表现接近。
-
该例子说明:当策略不收敛时,方差路径依赖导致经典方法失效,而自归一化方法能自动适应随机方差。
-
多臂赌博机模拟(Appendix C.1):
- 场景:两臂,奖励 \( Y_t \sim N(\mu_a, 1) \),无上下文。目标估计 \( \mu_1 - \mu_0 \)。使用 ε-greedy、Thompson sampling、UCB 三种策略。
- 结果:在 \( \mu_1 = \mu_0 \)(无 margin)时,OLS 的 t 统计量分布严重偏离正态(峰度 > 5),而 Theorem 3 的 t 统计量近似标准正态。在 \( \mu_1 \neq \mu_0 \) 时,OLS 也失效,因为策略快速收敛到最优臂,另一臂样本极少,权重方差大。
🔎 结论是否比证明窄¶
- 论文在 Theorem 2 中要求条件 2a 的四阶矩条件,但在 Remark 1 中指出,对于二次损失和线性泛函,可以放宽到二阶矩条件。然而,正文没有给出这一放宽的完整证明,只在 remark 中提及。
- Theorem 3 的自归一化方法在条件 3c 下成立,但论文没有给出条件 3c 的充分条件(即什么情况下方差会收敛到随机变量)。例子中只展示了无 margin 和策略切换两种情形。
- 论文声称“统一框架”,但实际覆盖的是光滑泛函(即 \( m_\theta \) 和 \( \ell_\theta \) 足够光滑)。对于非光滑泛函(如分位数、最优策略值),论文没有讨论。
- 论文假设策略 \( \pi_t \) 已知。对于策略未知、需要估计的情况,论文在结论中承认是开放问题。
- 模拟中 nuisance 用参数模型(逻辑回归)估计,没有展示完全非参数(如随机森林)时的表现,尽管理论上允许。
四、开放问题¶
-
效率最优性:论文证明了渐近正态性,但没有讨论所提估计量是否达到半参数效率界。在 i.i.d. 下,autoDML 估计量是渐近有效的;在自适应采样下,效率界是什么?能否达到?(扎根于结论中“whether they achieve semiparametric efficiency bounds remains open”的类似表述,以及引言中“unifies these approaches in the way that semiparametric efficiency theory ... do in the i.i.d. setting”的对比。)
-
策略未知时的推断:论文假设策略 \( \pi_t \) 已知。当策略由数据估计得到(如强化学习中的 Q-function)时,估计误差如何影响推断?需要什么条件才能保持渐近正态?(扎根于结论中“a natural question is under what conditions the policy can be estimated while preserving asymptotic normality”的明确表述。)
-
方差收敛到随机变量的判定条件:Theorem 3 依赖条件 3c,但论文没有给出易于验证的充分条件。能否刻画“方差收敛到随机变量”的策略类别?例如,是否与策略的收敛速度、margin 条件有关?(扎根于 Theorem 3 的条件 3c 和例子中无 margin 的设置。)
-
非光滑泛函的推广:论文只处理光滑泛函。对于非光滑泛函(如分位数、最优策略价值),影响函数可能不存在或不可导,需要新的方法。能否用类似的自归一化技巧处理?(扎根于 Theorem 1 中对 \( m_\theta \) 光滑性的要求,以及引言中“smooth functionals”的限定。)
提醒:要确认上述问题是否是真 gap,建议去读同一子领域近期约 5 篇论文(如 Guo and Xu 2025, Lin et al. 2025, Khamaru et al. 2025, Cook et al. 2024, Leiner et al. 2026)的引言和结论。如果多篇都指向同一问题,说明是共识性 gap;如果各说各话,则可能是机会。
Maintained by 陈星宇 · Homepage · Source on GitHub