Semiparametric inference based on adaptively collected data¶
作者: Licong Lin, Koulik Khamaru, Martin J. Wainwright
来源: Annals of Statistics
主题: 非参数 / 半参数
相关性: 9/10
机构绿灯: University of California, Berkeley（US News 前 50，免分进入精读）
链接: https://doi.org/10.1214/24-aos2485
一、领域脉络与小综述¶
这个方向是什么：自适应数据下的半参数推断。根本的统计问题是：当数据的收集机制（如实验设计、推荐系统、bandit算法）依赖于历史观测并不断更新时，经典基于独立同分布（i.i.d.）假设的估计量与置信区间构造会失效；具体而言，由于数据间产生了复杂的依赖结构，样本均值或M-估计量常常失去渐近正态性，导致无法用标准方法做区间估计与假设检验。当前该方向正处于“从发现现象到建立一般性理论框架”的过渡期：已有文献明确指出了失效现象并给出了若干特殊模型下的修补，但缺乏在含非参干扰项的半参数模型下恢复渐近正态性的一般条件与构造。
发展脉络（history）： - 奠基工作：Deshpande et al. (2018) 首次在bandit数据下构造了基于样本分割的渐近正态估计量，但代价是丢弃了大量用于探索的数据，作者在intro中明确指出其“inefficient use of data”。 - 主要进展：Hadad et al. (2021) 引入了适应数据依赖结构的权重（如inverse propensity score），在特定bandit设定下恢复了渐近正态性，作者评价其为“focus on particular bandit algorithms”且“not applicable to general settings”。Dimakopoulou et al. (2018/2019) 将倾向得分加权用于adaptive contextual bandits的因果效应估计，但同样局限于特定算法与设定。 - 当前 frontier：如何在一般的半参数模型（含非参nuisance）下，不依赖特定算法的具体形式，仅通过数据收集过程的某种宏观可观测性质（如探索程度）来保证推断的有效性。本文即填补此缺口。 - 本文的位置：提供一般性的加权估计方程框架，将“数据收集机制需要多大探索度”这一要求精确化为一个可验证的“explorability”条件，并在含非参nuisance的广义线性模型下给出渐近正态性保证。
子线索聚类： 1. 样本分割路线：以Deshpande et al. (2018)为代表，通过将数据分为探索与利用两段，仅用探索段做推断。优点是简单且不依赖算法细节；缺点是统计效率低，且对探索段长度有要求。 2. 倾向得分/权重修正路线：以Hadad et al. (2021)、Dimakopoulou et al. (2018)为代表，通过构造与数据依赖结构匹配的权重（如 \(w_t = 1/\sqrt{V_t}\) 或 IPS权重），试图在利用全部数据的同时恢复正态性。优点是潜在效率更高；缺点是现有工作仅针对特定bandit算法或线性模型，缺乏一般性。 3. 自适应数据下的因果效应估计：以Boruvka et al. (2017)、Kallus et al. (2022)为代表，关注在动态干预策略下的因果参数识别与估计，与本文的半参数设定有交集，但侧重于因果参数而非回归模型中的参数向量。
这个方向在追问的核心问题： 1. 自适应数据下，估计量失去渐近正态性的根本数学原因是什么？（现有共识：数据依赖导致鞅差序列的方差无法稳定收敛，或CLT条件被破坏。） 2. 要恢复渐近正态性，数据收集机制必须满足何种最低条件？（本文回答：explorability，即设计矩阵的条件数不能退化太快。） 3. 在含非参nuisance的半参数模型中，如何在自适应数据下同时处理nuisance估计的收敛与参数推断的有效性？（此前无一般性答案。）
⚠️ 作者的 framing： - 作者将缺口frame为：现有加权方法“局限于特定算法与设定”，而样本分割方法“效率低下”，因此需要一个“适用于一般半参数模型、且能充分利用数据”的框架。这使得本文的加权估计方程+explorability条件成为“显然的下一步”。 - 被淡化或回避的竞争路线：作者未深入讨论基于鞅极限理论（Martingale CLT）的直接推断路线（如Luedtke & Van der Laan 2016的IPCW估计量在某些设定下已达到渐近正态），也未讨论基于online debiasing的最新进展（如2022-2023年若干arxiv工作）。 - 明显该被引却未出现的文献：涉及高维自适应数据下debiasing的工作（如Bastani et al. 2021关于online debiased Lasso在adaptive data下的推断），以及更一般的鞅经验过程理论（如van de Geen 2014的鞅不等式），这些与本文的半参数+自适应主题直接相关，但intro中缺席——值得研究者去查证是否因技术路线冲突而被刻意回避。
张力：未见明显对立引用。现有文献的分歧更多在于“路线选择”（分割 vs 加权 vs 鞅CLT）而非“结论矛盾”。但存在一个隐性张力：Hadad et al. (2021)的权重依赖于特定bandit算法的方差递减率，而本文的explorability条件试图脱离算法细节——这两者是否在某个边界设定下给出矛盾的条件？值得核验。
二、最核心、最简单的例子 / 数学问题¶
第一步：符号、模型、可观测数据交代清楚
- 参数 / estimand：\(\theta^* \in \mathbb{R}^d\)，广义线性模型中的目标参数向量。
- 非参 nuisance：\(f^* \in \mathcal{F}\)，一个属于非参数函数空间 \(\mathcal{F}\) 的函数，代表对线性预测的污染。
- 协变量（随机变量）：\(X_t \in \mathbb{R}^d\)，第 \(t\) 步的协变量/上下文向量。
- 响应（随机变量）：\(Y_t \in \mathbb{R}\)，第 \(t\) 步的响应变量。
- 潜在量 / 不可观测：噪声 \(\varepsilon_t\)（满足 \(E[\varepsilon_t | X_t] = 0\)），nuisance 函数 \(f^*(X_t)\) 本身不可观测，只能通过估计量 \(\hat{f}_t\) 逼近。
- 设计矩阵 / 指标：\(M_n = \sum_{t=1}^n X_t X_t^\top\)，样本量 \(n\)，维数 \(d\)。
- 权重（本文核心构造）：\(w_t\)，依赖于历史数据的随机权重，用于修正估计方程。
- 可观测数据：研究者实际观测到的是序列 \((X_1, Y_1), (X_2, Y_2), \ldots, (X_n, Y_n)\)，其中 \(X_t\) 的分布或选择依赖于历史 \((X_1, Y_1), \ldots, (X_{t-1}, Y_{t-1})\)（即自适应收集）。\(f^*\) 与 \(\theta^*\) 均不可直接观测，需从上述自适应序列中识别与估计。
模型（数据生成机制）：
第二步：最小内核——线性泛函的估计
整篇论文的证明与方法本质上是线性泛函估计这一特殊例子的推广。在 \(d=1\)、\(\mu(z)=z\)（线性模型）、且仅估计一个线性泛函 \(\theta^*\) 的最简特例下，核心思路如下：
最简特例设定：\(Y_t = X_t \theta^* + f^*(X_t) + \varepsilon_t\)，\(d=1\)，目标为 \(\theta^*\)。此时，经典估计方程为 \(\sum_{t=1}^n X_t(Y_t - X_t \hat{\theta}) = 0\)，解为 \(\hat{\theta} = (\sum X_t^2)^{-1} \sum X_t Y_t\)。
自适应下的失效：由于 \(X_t\) 依赖历史，\(\sum X_t^2\) 与 \(\sum X_t \varepsilon_t\) 的联合分布不再满足经典CLT条件。具体地，\(\sum X_t \varepsilon_t\) 是鞅差序列，其方差 \(\sum E[X_t^2 \sigma^2(X_t) | \mathcal{F}_{t-1}]\) 可能因算法过度利用（exploitation）而退化——例如，若算法迅速锁定某个 \(X_t\) 并反复采样，\(X_t\) 的方差趋于零，导致鞅CLT的Lindeberg条件被破坏，\(\hat{\theta}\) 失去渐近正态性。
本文的破法——加权估计方程：构造加权估计方程 \(\sum_{t=1}^n w_t X_t(Y_t - X_t \hat{\theta}_{w}) = 0\)，解为 \(\hat{\theta}_{w} = (\sum w_t X_t^2)^{-1} \sum w_t X_t Y_t\)。核心想法：选择权重 \(w_t\) 使得 \(w_t X_t\) 的方差在自适应下保持稳定。最直觉的选取：\(w_t = 1 / \sqrt{V_t}\)，其中 \(V_t = E[X_t^2 | \mathcal{F}_{t-1}]\) 是 \(X_t\) 的条件方差。这样，\(w_t X_t\) 的条件方差被归一化为 1，鞅差序列 \(\sum w_t X_t \varepsilon_t\) 的方差累积趋于 \(n \sigma^2\)，满足鞅CLT条件。
Explorability条件在此特例中的体现：要保证 \(\sum w_t X_t^2\) 的逆存在且收敛，需要设计矩阵的累积条件数不退化。具体地，定义 \(\kappa_n = \lambda_{\min}(\sum w_t X_t X_t^\top) / n\)，explorability要求 \(\kappa_n\) 以足够慢的速度衰减（如 \(\kappa_n \geq c n^{-\alpha}\)，\(\alpha < 1/2\)）。这意味着：算法不能过度exploitation，必须保留足够的exploration使得 \(X_t\) 的分布不会坍缩到某个低维子空间。在此特例下，要证的命题退化为：若 \(\kappa_n\) 满足上述下界，则 \(\sqrt{n}(\hat{\theta}_{w} - \theta^*) \Rightarrow N(0, \Sigma)\)，且 \(\Sigma\) 可由数据一致估计。
为什么成立：权重 \(w_t\) 将自适应导致的方差异质性归一化，explorability条件保证设计矩阵不退化，两者结合使得经典半参数推断的两大支柱（鞅CLT与设计矩阵稳定性）在自适应下重建。
三、这篇论文做了什么¶
三句话： ①研究了在自适应收集数据下，含非参nuisance的广义线性模型中参数向量 \(\theta^*\) 的渐近正态推断问题； ②核心方法是构造依赖于数据依赖结构的加权估计方程，并引入“explorability”条件刻画数据收集机制需满足的最低探索度； ③主要结论是：在explorability条件下，加权估计量恢复渐近正态性，且对于线性泛函估计，该保证在更弱条件下成立。
关键设定与假设： - 模型：\(Y_t = \mu(X_t^\top \theta^* + f^*(X_t)) + \varepsilon_t\)，\(\theta^* \in \mathbb{R}^d\) 为目标参数，\(f^* \in \mathcal{F}\) 为非参nuisance，\(\mathcal{F}\) 为Hölder或Sobolev类（光滑度 \(\alpha > 0\)）。 - 自适应设计：\(X_t\) 由策略 \(\pi_t(\mathcal{F}_{t-1})\) 生成，\(\mathcal{F}_{t-1} = \sigma(X_1, Y_1, \ldots, X_{t-1}, Y_{t-1})\)。 - Explorability条件（核心假设）：定义加权设计矩阵 \(M_n^w = \sum_{t=1}^n w_t X_t X_t^\top\)，要求其最小特征值满足 \(\lambda_{\min}(M_n^w) \geq c n^{1-\alpha}\)，其中 \(\alpha < 1/2\)（对GLM）或 \(\alpha < 1\)（对线性泛函）。统计含义：算法必须保证协变量在各方向上有足够的探索，不能让设计矩阵退化太快。相比已有文献（如Deshpande 2018要求固定比例的纯探索段），此条件更弱且更一般，仅要求特征值的下界而非数据分割。 - Nuisance估计条件：要求nuisance估计 \(\hat{f}_t\) 的均方误差满足 \(E[(\hat{f}_t - f^*)^2] \leq C t^{-\beta}\)，其中 \(\beta > 1/2\)（对GLM）或 \(\beta > 0\)（对线性泛函）。统计含义：nuisance估计必须以足够快的速率收敛，以保证其残差不破坏参数估计的渐近分布。相比经典半参数理论（通常要求 \(\beta > 1/4\) 以达到效率界），此处对GLM的要求更严（\(\beta > 1/2\)），因为自适应数据下nuisance的偏差与参数估计的方差耦合更强。 - 权重构造：\(w_t = 1 / \sqrt{v_t}\)，其中 \(v_t = \text{Var}(Y_t | \mathcal{F}_{t-1})\) 或其估计。在GLM中，\(v_t\) 依赖于 \(\mu\) 的方差函数与当前参数估计。
主要结果： - 定理1（GLM的渐近正态性）：在explorability条件（\(\alpha < 1/2\)）与nuisance收敛条件（\(\beta > 1/2\)）下，加权估计量 \(\hat{\theta}_w\) 满足 \(\sqrt{n}(\hat{\theta}_w - \theta^*) \Rightarrow N(0, \Sigma^*)\)，其中 \(\Sigma^* = \lim_{n \to \infty} \frac{1}{n} \sum_{t=1}^n w_t^2 E[X_t X_t^\top v_t | \mathcal{F}_{t-1}]\)。直觉：权重归一化了方差异质性，explorability保证了设计矩阵的稳定性，nuisance收敛保证了残差可忽略。必要条件：\(\alpha < 1/2\) 是紧的——若 \(\alpha \geq 1/2\)，设计矩阵退化速度超过 \(\sqrt{n}\) 的缩放速率，渐近正态性在一般情形下不成立。解决的技术难点：如何在自适应数据下，将nuisance估计误差与鞅差序列的交互项控制到 \(o_p(1/\sqrt{n})\)。 - 定理2（线性泛函的渐近正态性）：对于估计线性泛函 \(\langle \theta^*, u \rangle\)（\(u\) 为已知向量），在更弱的explorability条件（\(\alpha < 1\)）与nuisance条件（\(\beta > 0\)）下，即可获得渐近正态性。直觉：线性泛函只需设计矩阵在特定方向 \(u\) 上不退化，而非所有方向，因此条件大幅放宽。这是本文最核心的技术改进——将GLM的全局条件弱化为方向性条件。 - 推论（Bandit场景的应用）：在标准线性bandit（如 \(\epsilon\)-greedy、UCB）下，若算法保证 \(\epsilon\)-探索率或UCB的探索宽度，则explorability条件自动满足；在稀疏广义bandit下，结合Lasso nuisance估计，定理1的条件可验证地成立。
证明路线与技术技巧： - 整体路线： 1. 构造加权估计方程：\(\sum w_t X_t (Y_t - \mu(X_t^\top \hat{\theta}_w + \hat{f}_t)) = 0\)，将自适应数据的方差异质性通过权重 \(w_t\) 归一化。 2. 线性化展开：对 \(\mu\) 在 \(\theta^*\) 与 \(f^*\) 处做Taylor展开，将估计误差分解为：主项（鞅差序列）+ nuisance误差项 + 二阶余项。 3. 鞅CLT应用：对主项 \(\sum w_t X_t \varepsilon_t\) 应用鞅中心极限定理，关键在于验证Lindeberg条件——权重 \(w_t\) 的归一化保证了条件方差的稳定性。 4. 交互项控制：证明 nuisance 误差 \(\hat{f}_t - f^*\) 与 \(X_t\) 的交互项 \(\sum w_t X_t (\hat{f}_t - f^*)\) 是 \(o_p(\sqrt{n})\)，此处用到 nuisance 收敛条件 \(\beta > 1/2\) 与 explorability 条件的联合控制。 5. 设计矩阵逆的稳定性：通过 explorability 条件保证 \((M_n^w)^{-1}\) 的范数以 \(O(n^{-1+\alpha})\) 速率增长，与主项的 \(\sqrt{n}\) 缩放匹配，保证最终渐近方差有限。 - 关键跳跃点：交互项 \(\sum w_t X_t (\hat{f}_t - f^*)\) 的控制。难点在于 \(\hat{f}_t\) 本身依赖于历史数据（自适应nuisance估计），与 \(X_t\) 的依赖结构产生双重耦合。作者通过将交互项进一步分解为“可预测部分”与“鞅差部分”，并利用nuisance估计的逐点收敛速率与explorability的特征值下界，将双重耦合解耦。 - 技术技巧点名： - 鞅CLT与Lindeberg条件验证：用于主项的渐近正态性，关键在于权重归一化后的条件方差稳定性。 - Explorability特征值下界：用于控制设计矩阵逆的范数与交互项，是本文区别于经典半参数理论的核心工具。 - Nuisance估计的逐点收敛控制：不同于经典i.i.d.设定下的全局收敛（\(L^2\) 范数），此处需要控制nuisance在特定协变量点 \(X_t\) 上的误差，且 \(X_t\) 是自适应的——作者通过条件期望与鞅不等式实现。 - 线性泛函的方向性explorability：将全局特征值条件弱化为方向性条件 \(\sum w_t \langle X_t, u \rangle^2 \geq c n^{1-\alpha}\)，这是定理2的核心技术改进，利用了线性泛函只需单方向稳定性的结构。
真实例子与应用： - 模拟实验：作者在标准线性bandit与稀疏广义bandit设定下进行了模拟。具体场景：\(d=5\) 或 \(d=50\)，协变量 \(X_t\) 从特定分布生成，bandit算法采用 \(\epsilon\)-greedy 或 UCB。对比方法包括：未加权估计、Deshpande et al. (2018)的样本分割估计、Hadad et al. (2021)的方差加权估计。结果：本文的加权估计在所有设定下均保持渐近正态性（QQ-plot贴近标准正态），置信区间覆盖率接近名义水平（95%），而未加权估计在强自适应下严重偏离正态，样本分割估计覆盖率达标但区间宽度显著更大（效率低）。此实验旨在验证：①加权方法确实恢复了渐近正态性；②相比样本分割，加权方法在效率上有实质提升；③explorability条件在实际bandit算法下可满足。 - 本文为纯理论+模拟验证，无真实数据实证例子。
🔎 结论是否比证明窄： - 作者在intro中泛泛claim“our results characterize the degree of explorability required for asymptotic normality”，但定理1的证明实际上要求 \(\alpha < 1/2\) 且 \(\beta > 1/2\)，这两个条件是联合必要的，并非单独刻画“explorability”。在 \(\beta \leq 1/2\) 时，即使explorability满足，渐近正态性也可能失效——此处的claim比证明的覆盖范围略宽。 - 定理2对线性泛函的 \(\alpha < 1\) 条件，作者在正文中未给出反例证明其紧性，仅在注释中提及“we believe this is tight”——这是一个未严格证明的conjecture，研究者需注意此gap。
四、开放问题（点到为止，扎根具体语句）¶
- Nuisance收敛条件的紧性：定理1要求 \(\beta > 1/2\)，而经典半参数效率界在i.i.d.下仅需 \(\beta > 1/4\)。在自适应数据下，\(\beta > 1/2\) 是否紧？若能通过更高阶的修正（如higher-order influence functions）将条件降至 \(\beta > 1/4\)，则可恢复效率界。（扎根：定理1的陈述与证明中nuisance误差项的控制步骤，以及intro中“we require faster convergence rates for the nuisance estimator”的讨论。）
- 线性泛函 \(\alpha < 1\) 的紧性反例：定理2给出 \(\alpha < 1\) 的条件，但未构造 \(\alpha \geq 1\) 时渐近正态性失效的反例。构造具体的bandit算法使得 \(\sum w_t \langle X_t, u \rangle^2 \sim n^{1-\alpha}\)（\(\alpha \geq 1\)）且估计量失去正态性，将封闭此gap。（扎根：定理2后的注释“we believe this threshold is tight”。）
- 与鞅经验过程理论的统一：本文的explorability条件是针对设计矩阵的特征值给出的，而更一般的自适应推断可能需要针对整个鞅经验过程的收敛给出条件。能否将explorability嵌入van de Geen (2014)式的鞅不等式框架，给出更一般的半参数推断条件？（扎根：intro中缺失的鞅经验过程引用，以及证明中交互项控制的逐点方法与一般经验过程方法的潜在冲突。）
- 高维设定下的加权debiasing：本文聚焦 \(d\) 固定的半参数设定。当 \(d \gg n\) 且 \(\theta^*\) 稀疏时，如何在自适应数据下构造加权的debiasing估计量（如debiased Lasso的加权版本）并保证渐近正态性？此方向与Bastani et al. (2021)的online debiased Lasso直接竞争。（扎根：intro中缺失的高维自适应推断引用，以及定理1对 \(d\) 固定的依赖。）
提醒：要确认上述某条是否真gap，去读同子领域近期约5篇的intro——都指向它 = 共识（真gap），互相打架 = 机会。
Maintained by 陈星宇 · Homepage · Source on GitHub