跳转至

Pro-Active Inference

作者: Skyler Wu, Yash Nair, Antoine Maechler, Emmanuel J. Cand`es
主题: 因果推断
相关性: 7/10
链接: https://arxiv.org/abs/2610.34681


一、领域脉络与小综述(从 introduction + 参考文献 + 已检索摘要构建)

这个方向是什么:本文所处的子方向是"主动统计推断"(Active Statistical Inference, ASI),其根本问题是在标注预算有限的情况下,如何利用机器学习(ML)预测和全量协变量信息,自适应地选择哪些样本进行人工标注,从而构造出既高效(窄置信区间)又有效(覆盖率达到名义水平)的总体均值估计与推断。该方向的核心张力在于:主动采样(非均匀、自适应)会引入选择性偏差,而统计推断要求估计量无偏且方差估计可靠。当前该方向正处于快速发展期,从 ASI 的提出(Zrnic & Candès, 2024)到本文的 Pro-Active Inference (PAI),再到并行的 Prediction-Powered Active Testing (PPAT)(Ashouritaklimi et al., 2026)和 Active Measurement (AM)(Hamilton et al., 2026),方法论的竞争与互补正在形成。

发展脉络(history): - 奠基工作:Zrnic & Candès (2024) 提出的 Active Statistical Inference (ASI) 是本文的直接起点。ASI 框架首次系统性地将主动学习(active learning)与统计推断结合,其核心思想是利用 ML 预测构造"预测修正"(prediction-powered)估计量,在自适应采样下保持估计的无偏性。该工作奠定了"用 ML 预测辅助采样决策、用重要性加权修正选择性偏差"的基本范式。 - 主要进展(预测驱动的推断):在 ASI 之前,Prediction-Powered Inference (PPI)(Angelopoulos et al., 2023)已经建立了"用 ML 预测补充少量真实标注"的推断框架,但其采样策略是非自适应的(通常是均匀随机)。PPI 的后续改进 PPI++(Angelopoulos et al., 2026)进一步通过自适应调节预测修正的强度来提升效率。这些工作为 ASI 提供了"预测修正"这一核心工具。 - 当前 frontier(主动采样与在线更新):本文所在的 frontier 是"主动采样 + 在线模型更新"的联合设计。具体而言,ASI 的序贯形式(Sequential Active Inference, SAI)允许在采样过程中更新 ML 模型,但受限于"固定顺序"的约束。本文的 PAI 突破了这一限制,允许从剩余样本池中主动选择下一个标注对象。与此同时,并行的 PPAT(Ashouritaklimi et al., 2026)和 AM(Hamilton et al., 2026)也提出了各自的主动采样方案,但它们在估计量构造和方差估计上存在差异。本文声称 PAI 在无放回采样下保持有限样本无偏性,且无需 Bonferroni 校正即可推广到超总体推断,这是对现有方法的重要补充。 - 本文的位置:本文是 ASI 的"主动化"扩展,将"被动接受固定顺序"升级为"主动选择下一个样本",同时保留了 ASI 的统计保证。其理论贡献在于:在无放回、自适应采样下,证明了估计量的有限样本无偏性和渐近正态性,并提出了改进的有限样本方差估计量。实证上,本文通过八个数据集展示了 PAI 相对于 SAI 的效率提升,但也揭示了其相对于简单基线(PPI、均匀采样)并非总是占优。

子线索聚类: 1. 预测修正推断(Prediction-Powered Inference):以 PPI (Angelopoulos et al., 2023)、PPI++ (Angelopoulos et al., 2026)、Cross-PPI (Zrnic & Candès, 2023) 为代表。这条线索的核心问题是:如何用 ML 预测(可能有偏)来减少对真实标注的依赖,同时保证推断的有效性。它们通常假设采样是非自适应的,或至少不利用 ML 预测来指导采样。 2. 主动采样下的推断(Active Inference):以 ASI/SAI (Zrnic & Candès, 2024)、PAI (本文)、PPAT (Ashouritaklimi et al., 2026)、AM (Hamilton et al., 2026) 为代表。这条线索的核心问题是:在自适应采样下,如何构造无偏估计量和有效置信区间。它们的关键区别在于采样策略(固定顺序 vs. 主动选择)、是否允许在线模型更新、以及方差估计的方法。 3. 主动学习(Active Learning):以 Farquhar et al. (2021)、Kossen et al. (2021) 为代表。这条线索关注如何选择最有信息量的样本以提升模型性能,但通常不关心下游统计推断的有效性。本文及 ASI 系列工作的重要贡献在于将主动学习的"采样策略"与统计推断的"有效性保证"结合起来。

这个方向在追问的核心问题: 1. 如何量化主动采样的效率增益? 即,在相同的标注预算下,主动采样相对于均匀采样能带来多少方差缩减?本文通过 ESS multiplier 来量化,并指出增益取决于预测残差的"不平衡性"(Theorem 3)。 2. 如何保证自适应采样下的推断有效性? 即,当采样概率依赖于已观测数据(包括 ML 预测)时,如何构造无偏估计量和方差估计量?本文通过"条件无偏性"和"鞅差序列"来保证。 3. 在线模型更新是利是弊? 即,随着标注数据的积累,更新 ML 模型能否进一步提升效率?本文的 ECB 诊断和冻结-ML 消融实验表明,在线更新并非总是有益,其效果取决于初始模型的质量和更新策略。

⚠️ 作者的 framing(必须明确标注成"这是作者的说法"):作者将缺口 frame 成"ASI 的序贯形式受限于固定顺序,无法充分利用全量协变量信息来主动选择样本"。作者声称,通过将采样决策从"当前样本"扩展到"整个剩余池",PAI 能够实现更高的采样效率,同时保持统计有效性。作者淡化了以下竞争路线:(1) PPAT 和 AM 等并行工作,它们也实现了主动采样,但作者认为 PAI 在无放回采样下的有限样本无偏性和方差估计上更优;(2) 简单的均匀采样 + PPI 回归修正,作者承认在某些数据集上(如 HIV、Pew)PAI 并不优于这些简单基线,但认为 PAI 在"预测残差不平衡"的场景下具有优势。值得研究者去查的问题:作者对 PPAT 和 AM 的讨论相对简略,它们与 PAI 在估计量构造上的本质区别是什么?是否存在 PAI 无法处理而 PPAT/AM 可以处理的场景?

张力:未见明显对立引用。但存在一个微妙的张力:作者强调 PAI 在"预测残差不平衡"时优于 SAI,但同时又承认 PAI 在 HIV 和 Pew 上不如均匀采样。这说明"主动采样"并非总是优于"被动均匀采样",其有效性高度依赖于数据特性和 ML 模型质量。这一张力在本文中通过 IVR 和 ECB 诊断得到了部分解释,但并未完全解决。


二、最核心、最简单的例子 / 数学问题(先把符号 / 模型 / 可观测数据交代清楚)

第一步:把符号、模型、可观测数据交代清楚

  • 符号:
  • \(N\):有限总体大小(finite population size)。
  • \(i = 1, \dots, N\):总体中的个体索引。
  • \(x_i \in \mathbb{R}^d\):个体 \(i\) 的协变量向量(可观测,全量可得)。
  • \(y_i \in \{0,1\}\)(本文实验为二值,但方法不限于此):个体 \(i\) 的响应变量(潜在不可观测,需通过标注获取)。
  • \(\theta := \frac{1}{N} \sum_{i=1}^N y_i\):有限总体均值(目标 estimand)。
  • \(n\):标注预算(labeling budget),\(n \ll N\)。
  • \(O_{t-1} \subseteq \{1,\dots,N\}\):在轮次 \(t\) 之前已标注的个体索引集合。
  • \(R_{t-1} := \{1,\dots,N\} \setminus O_{t-1}\):在轮次 \(t\) 之前未标注的个体索引集合。
  • \(I_t \in R_{t-1}\):在轮次 \(t\) 被选中标注的个体索引(随机变量,由采样策略决定)。
  • \(q_t(i) := P(I_t = i \mid \mathcal{F}_{t-1})\):轮次 \(t\) 的采样概率(采样策略,依赖于历史信息)。
  • \(\mathcal{F}_{t-1} := \sigma(\{I_s, y_{I_s}\}_{s=1}^{t-1})\):到轮次 \(t-1\) 为止的历史信息(已标注的索引和响应)。
  • \(\hat{f}^{(t-1)}(x)\):轮次 \(t\) 之前可用的 ML 预测模型(可更新,基于 \(\mathcal{F}_{t-1}\) 训练)。
  • \(\phi_t\):轮次 \(t\) 的"增量估计"(increment),见公式 (2)。
  • \(\hat{\theta}_n := \frac{1}{n} \sum_{t=1}^n \phi_t\):PAI 估计量。
  • \(\Delta_t := \phi_t - \theta\):鞅差序列。
  • \(\hat{\sigma}^2_n\):方差估计量。
  • \(\hat{\sigma}^2_{n,\text{cor}}\):改进的方差估计量。

  • 模型:

  • 数据生成机制:总体 \(\{(x_i, y_i)\}_{i=1}^N\) 是固定的(有限总体),但 \(y_i\) 不可全观测。我们假设存在一个"真实"的响应机制 \(y_i \sim \text{Bernoulli}(p(x_i))\),但本文的方法不依赖于该机制的具体形式。
  • 采样模型:在每一轮 \(t\),从剩余未标注集合 \(R_{t-1}\) 中按概率 \(q_t(i)\) 采样一个个体 \(I_t\),然后观测其响应 \(y_{I_t}\)。采样概率 \(q_t\) 可以依赖于 \(\mathcal{F}_{t-1}\)(即自适应),但必须满足 \(q_t(i) \ge \tau / |R_{t-1}|\)(均匀混合,\(\tau \in (0,1]\)),以保证重要性权重有界。
  • ML 预测模型:\(\hat{f}^{(t-1)}\) 是一个黑箱模型,输入协变量 \(x\),输出对 \(y\) 的预测(如概率)。该模型可以随标注数据的积累而更新(在线更新),也可以固定不变(冻结)。

  • 可观测数据:

  • 全量可得:所有个体的协变量 \(\{x_i\}_{i=1}^N\)。
  • 部分可得:已标注个体的响应 \(\{y_{I_s}\}_{s=1}^t\)。
  • 不可观测:未标注个体的响应 \(\{y_i\}_{i \in R_t}\)。
  • 关键点:采样过程是自适应的,因此已标注的个体并非总体的随机样本,直接使用样本均值会产生选择性偏差。PAI 通过重要性加权(除以 \(q_t(I_t)\))来修正这一偏差。

第二步:讲最小内核

最小内核:假设总体大小 \(N\) 很大,标注预算 \(n\) 很小,且 ML 预测模型 \(\hat{f}\) 是固定的(不随标注更新)。我们想要估计总体均值 \(\theta\),但只能标注 \(n\) 个个体。

最简特例:考虑一个极端简化的情形:\(N=2\),\(n=1\),即总体只有两个个体,我们只能标注一个。协变量 \(x_1, x_2\) 已知,ML 预测为 \(\hat{f}(x_1), \hat{f}(x_2)\)。真实响应 \(y_1, y_2\) 未知。

  • PAI 的采样策略:根据某种规则(例如,预测不确定性高的个体优先),我们以概率 \(q_1(1)\) 选择个体 1,以概率 \(q_1(2)=1-q_1(1)\) 选择个体 2。
  • PAI 的估计量:假设选中了个体 1,则
    \[\phi_1 = \frac{1}{2} \left( y_1 + \hat{f}(x_2) \right) + \frac{1}{2} \frac{y_1 - \hat{f}(x_1)}{q_1(1)}.\]
    这里,第一项是"预测均值"(用 ML 预测填补未标注的个体 2),第二项是"重要性加权的残差修正"(用真实响应与预测的差异修正个体 1 的贡献)。
  • 为什么无偏:在给定历史信息 \(\mathcal{F}_0\) 的条件下,个体 1 被选中的概率是 \(q_1(1)\),因此
    \[E[\phi_1 \mid \mathcal{F}_0] = \frac{1}{2}(y_1 + \hat{f}(x_2)) + \frac{1}{2} \frac{y_1 - \hat{f}(x_1)}{q_1(1)} \cdot q_1(1) = \frac{1}{2}(y_1 + y_2) = \theta.\]
    关键在于,重要性加权(除以 \(q_1(1)\))恰好抵消了选择性偏差,使得条件期望等于真实均值。
  • 方差:如果 \(q_1(1)\) 很小(即个体 1 被选中的概率很低),那么权重 \(1/q_1(1)\) 很大,方差会爆炸。因此,PAI 的方差取决于采样概率与残差的匹配程度。如果采样概率与残差大小成正比(即优先标注残差大的个体),则方差最小化。这正是 Theorem 3 中"预测残差不平衡性"(\(\bar{b}^2\))的作用:残差越不平衡,PAI 相对于均匀采样的增益越大。

这个最小内核揭示了什么:PAI 的本质是"用 ML 预测构造一个基线估计,然后用重要性加权修正选择性偏差"。其无偏性不依赖于 ML 预测的准确性,但方差高度依赖于采样策略与残差的匹配程度。在线更新 ML 模型(本文的核心贡献之一)可以进一步降低残差,但同时也引入了新的偏差来源(因为 \(\hat{f}^{(t-1)}\) 依赖于历史标注),需要通过鞅差序列来保证整体无偏性。


三、这篇论文做了什么(本次重心,务必讲透)

三句话: 1. 研究了什么问题:在有限总体均值估计中,如何利用全量协变量和 ML 预测,在无放回、自适应采样下主动选择样本进行标注,同时构造统计有效(无偏 + 渐近正态)的置信区间。 2. 核心工具 / 方法:提出了 Pro-Active Inference (PAI) 框架,其估计量由"预测均值"和"重要性加权的残差修正"两部分组成,并配套了改进的有限样本方差估计量;理论上通过鞅差序列和鞅中心极限定理建立渐近有效性。 3. 主要结论:PAI 在无放回采样下保持有限样本无偏性和渐近有效性;其相对于 Batch Active Inference (BAI) 的效率增益取决于预测残差的不平衡性(\(\bar{b}^2\));在八个数据集上,PAI 在多数情况下优于 SAI,但并非总是优于 PPI 和均匀采样,其相对表现可通过 IVR 和 ECB 诊断进行预测。

关键设定与假设: - 采样模型:无放回、自适应采样。每一轮从剩余未标注集合 \(R_{t-1}\) 中按概率 \(q_t(i)\) 采样,且 \(q_t(i) \ge \tau / |R_{t-1}|\)(均匀混合,\(\tau \in (0,1]\))。这一假设保证了重要性权重 \(1/q_t(i)\) 有界,是有限样本无偏性和渐近正态性的关键。 - ML 预测模型:\(\hat{f}^{(t-1)}\) 是 \(\mathcal{F}_{t-1}\)-可测的(即只依赖于历史信息),可以是任意黑箱模型。本文不假设 ML 预测的准确性,但要求其满足一定的矩条件(如残差的四阶矩有界,Assumption 6)。 - 正则性条件:Assumption 4(方差稳定)、Assumption 5(Lindeberg 条件)、Assumption 6(加权残差的四阶矩一致有界)。这些是鞅中心极限定理和方差估计量一致性的标准条件。 - 与已有文献的比较:相比 ASI/SAI(Zrnic & Candès, 2024),PAI 允许主动选择样本(而非固定顺序),且无需 Bonferroni 校正即可推广到超总体推断;相比 PPAT(Ashouritaklimi et al., 2026),PAI 在估计量中同时使用在线更新的 ML 预测进行插补和残差修正,而 PPAT 使用固定的预测作为控制变量。

主要结果: - Theorem 1(有限样本无偏性 + 渐近正态性):在假设 4-6 下,PAI 估计量 \(\hat{\theta}_n\) 对任意有限 \(n\) 都是无偏的(\(E[\hat{\theta}_n] = \theta\)),且 \(\sqrt{n}(\hat{\theta}_n - \theta) / \hat{\sigma}_n \xrightarrow{d} N(0,1)\)。证明思路:首先证明 \(\Delta_t = \phi_t - \theta\) 是鞅差序列(利用条件期望和重要性加权的性质),然后验证方差稳定和 Lindeberg 条件,最后应用鞅中心极限定理。 - Theorem 3(效率增益的理论刻画):在准 oracle 设定下(ML 预测固定且残差已知),PAI 的方差与 BAI 的方差之比为 \(1 - \bar{b}^2\),其中 \(\bar{b}^2\) 是预测残差的"不平衡性"度量(加权平均的净符号方向平方)。当残差完全平衡(\(\bar{b}^2 = 0\))时,PAI 与 BAI 效率相同;当残差完全不平衡(\(\bar{b}^2 \to 1\))时,PAI 方差趋于零。这揭示了主动采样的效率增益来源于"优先标注残差大的样本"。 - Proposition 2(超总体推断):将 PAI 扩展到超总体均值 \(E[Y]\),渐近方差为 \(\sigma^2 + \rho \tau^2\),其中 \(\sigma^2\) 是有限总体采样方差,\(\tau^2\) 是超总体方差,\(\rho = \lim n/N\)。无需 Bonferroni 校正,因为 PAI 的估计量直接同时考虑了有限总体采样误差和超总体抽样误差。

证明路线与技术技巧: - 整体路线:从"条件无偏性"出发,证明 \(\Delta_t\) 是鞅差序列;然后利用鞅中心极限定理(Hall & Heyde, 2014, Corollary 3.2)建立渐近正态性;最后通过方差分解和矩条件证明方差估计量的一致性。 - 关键跳跃点: 1. 从"固定顺序"到"主动选择"的跳跃:SAI 的鞅差性质依赖于"固定顺序"(即 \(q_t\) 只依赖于当前个体 \(x_t\)),而 PAI 允许 \(q_t\) 依赖于整个剩余池。作者通过证明 \(\phi_t\) 的条件期望等于 \(\theta\)(无论 \(q_t\) 如何选择),巧妙地绕过了这一障碍。 2. 方差估计量的改进:朴素方差估计量 \(\hat{\sigma}^2_n\) 在有限样本下会低估方差,因为 \(\hat{\theta}_{t-1}\) 与 \(\phi_t\) 相关。作者通过二阶泰勒展开,推导出修正项 \(\hat{C}_n\),并证明 \(\hat{\sigma}^2_{n,\text{cor}} = \hat{A}_n - \hat{B}_n + \hat{C}_n\) 在 MSE 意义下优于 \(\hat{\sigma}^2_n\)。 3. 效率增益的理论刻画:Theorem 3 的证明依赖于将 PAI 的方差分解为"预测均值方差"和"残差修正方差"两部分,并利用柯西-施瓦茨不等式和残差的符号方向来刻画 \(\bar{b}^2\) 的作用。 - 技术技巧点名: - 鞅差序列:用于处理自适应采样下的相关性,是证明无偏性和渐近正态性的核心工具。 - 重要性加权:通过除以 \(q_t(I_t)\) 来修正选择性偏差,是估计量构造的基础。 - 二阶泰勒展开:用于推导方差修正项 \(\hat{C}_n\),体现了对有限样本性质的精细刻画。 - Lindeberg 条件:用于验证鞅中心极限定理的适用性,是渐近正态性的关键假设。 - 准 oracle 分析:在理论分析中假设残差已知,以隔离采样策略对效率的影响,是理论刻画的标准技巧。

真实例子与应用: - 数据集:八个数据集,涵盖 ACSIncome(人口统计)、AlphaFold(蛋白质结构)、MMLU-Pro 和 BBH+GPQA+IFEval+MATH+MuSR(LLM 评估)、BODMAS(恶意软件检测)、HIV(分子活性)、Pew(社会调查)等。 - 实验设计:每个数据集上,比较 PAI、SAI、PPI、PPAT 和均匀采样在相同 ML 预测模型和标注预算下的表现。主要指标是 ESS multiplier(相对于均匀采样的方差比)和经验覆盖率。 - 关键结果: - PAI 在 5/7 数据集上优于均匀采样,在 4/7 数据集上优于 PPI,在 6/7 数据集上优于或持平 SAI。 - PAI 在 LLM 评估数据集上表现突出,ESS multiplier 高达 5 倍以上。 - PAI 在 HIV 和 Pew 上不如均匀采样,这两个数据集的共同特征是预测残差较为平衡(IVR 较低)。 - 冻结 ML 模型的消融实验表明,在线更新在 ACS 和 LLM 数据集上显著提升效率,但在 BODMAS、HIV 和 Pew 上反而降低效率。 - 例子想说明什么: - 验证了 Theorem 3 的理论预测:主动采样的效率增益取决于预测残差的不平衡性。 - 揭示了在线更新的双刃剑效应:当 ML 模型能快速改进时(如 LLM 评估),在线更新有益;当 ML 模型改进缓慢或噪声较大时(如 HIV),在线更新可能引入额外的方差。 - 提供了实用的诊断工具(IVR 和 ECB),帮助实践者判断主动采样是否值得。

🔎 结论是否比证明窄: - Theorem 1 的证明是严格的,但假设 6(四阶矩一致有界)在实际中难以验证,作者在实验中未对此进行敏感性分析。 - Theorem 3 的证明依赖于准 oracle 设定(残差已知),作者在文中明确承认这一设定是"理想化的",并指出在真实场景中残差是未知的,需要估计。因此,Theorem 3 的结论是"定性"的,而非"定量"的。 - Proposition 2 的证明依赖于 \(\rho = \lim n/N\) 的存在性,但作者未讨论 \(n/N \to 0\) 的速度对超总体推断的影响。 - 实验部分:作者在 LLM 评估数据集上使用了与 Wu et al. (2026) 相同的训练/测试划分,但未说明这些划分是否独立于本文的方法选择,存在潜在的"数据窥探"风险。 - 作者在结论中声称 PAI 是"自然继承者",但未与 PPAT 进行理论上的深入比较,仅提供了实验对比。这一声称的强度超出了论文的证明范围。


四、开放问题(点到为止,扎根具体语句)

  1. 在线更新的理论刻画:Theorem 3 的准 oracle 分析假设 ML 模型固定,但实验表明在线更新对效率有显著影响。作者在 Section 6.4.1 中提出 ECB 诊断来量化在线更新的影响,但未给出理论保证。扎根点:Section 6.4.1 "ECB measures the expected relative change in our ML model's Brier score after one online update"——一个自然的开放问题是:能否在理论上刻画在线更新对 PAI 方差的影响,并给出最优更新策略的条件?

  2. 有限样本方差的改进:作者提出了改进的方差估计量 \(\hat{\sigma}^2_{n,\text{cor}}\),并证明了其 MSE 优于朴素估计量,但未给出最优性。扎根点:Appendix A.3.4 "we have the following necessary and sufficient criteria for when MSE(\(\hat{\sigma}^2_{n,\text{cor}}\)) ≤ MSE(\(\hat{\sigma}^2_n\))"——是否存在一个方差估计量在某种意义下是最优的(如最小 MSE 或最小风险)?能否将二阶泰勒展开推广到更高阶以获得更精确的修正?

  3. 超总体推断的有限样本性质:Proposition 2 给出了渐近分布,但未讨论有限样本下的覆盖率。扎根点:Proposition 2 "\(\sqrt{n}(\hat{\theta}_n - \theta) \xrightarrow{d} N(0, \sigma^2 + \rho\tau^2)\)"——在有限样本下,\(\rho = n/N\) 的估计误差如何影响置信区间的覆盖率?能否构造有限样本有效的置信区间(如通过自助法或 Edgeworth 展开)?

  4. 主动采样策略的最优性:PAI 的采样策略(基于不确定性)是启发式的,作者未证明其最优性。扎根点:Section 3.1 "A natural starting point for the above problem is Active Statistical Inference (ASI)"——是否存在一个最优的采样策略,在给定预算下最小化 PAI 估计量的渐近方差?这可以形式化为一个动态规划或最优控制问题。

  5. 与 PPAT 的理论比较:作者在实验中比较了 PAI 和 PPAT,但未在理论上分析两者的优劣。扎根点:Section 2 "Another closely related method is Prediction-Powered Active Testing (PPAT)"——在什么条件下 PAI 的方差严格小于 PPAT?两者的差异是否源于估计量构造(PAI 使用在线更新的插补,PPAT 使用固定预测的控制变量)还是采样策略?

  6. 诊断工具的前瞻性使用:作者提出的 IVR 和 ECB 是回顾性诊断,但展望了前瞻性使用。扎根点:Section 7 "This raises the possibility of approximating these diagnostics using representative validation data or small pilot samples"——如何基于小规模试点数据可靠地估计 IVR 和 ECB,并据此在实验开始前选择最优的采样策略和在线更新方案?


给研究者的提醒:要确认上述开放问题是否是真 gap,建议去读以下方向的近期文献(约 5 篇的 intro): - 主动学习中的偏差修正(如 Farquhar et al., 2021; Kossen et al., 2021 的后续工作) - 预测驱动推断的鲁棒性(如 PPI++ 的后续改进) - 自适应实验设计中的推断(如 bandit 算法中的置信区间构造) - 在线机器学习中的统计推断(如在线 bootstrap 方法)

如果这些文献都指向同一个未解决的问题(例如"在线更新下的有限样本方差估计"),那很可能是一个值得投入的真 gap;如果文献之间互相矛盾(例如有的说在线更新有益、有的说有害),那本身就是一个值得研究的问题。


Maintained by 陈星宇 · Homepage · Source on GitHub

评论