跳转至

Two Conformal Constructions for Adaptive Within-Document AI-Text Screening

作者: Marco Mandap, Jerahmeel Hipolito, Arcel Galvez, Charlie Margaret Balagtas, Michael Joshua Buluran et al.
主题: 数理统计 / 假设检验
相关性: 6/10
链接: https://arxiv.org/abs/2609.31547


一、领域脉络与小综述

这个方向是什么

本文所处的子方向是带有限样本误差控制的AI生成文本检测。其根本统计问题是:在逐文档筛查AI生成文本时,如何对"误报"(将人类文本标记为AI生成)给出严格的、有限样本的、不依赖渐近近似的概率控制。该方向的核心张力在于:检测器(如DetectGPT、Binoculars)给出的是逐段或逐前缀的分数,而实际筛查程序会自适应地选择检查哪些前缀、用哪个检测器、何时停止——这种数据依赖的选择会使朴素的逐次检验失效,需要专门的构造来维持整体误报率控制。该方向的成熟度处于方法快速涌现但基础理论尚在梳理的阶段:一方面已有大量基于共形预测的检测框架(如MCP),另一方面对"自适应检查路径"下的严格保证仍缺乏系统处理。

发展脉络

  • 奠基工作:基于概率曲率的零样本检测。 Mitchell et al. (2023) 提出DetectGPT,利用LLM对数概率函数的曲率来区分机器生成与人类文本,无需训练分类器。这是本文所依赖的"分数来源"之一。其后续Fast-DetectGPT (Bao et al., 2024) 用条件概率曲率替代扰动步骤,大幅降低计算成本。这些工作确立了"分数越高越可疑"的检测范式,但没有讨论多重检查或自适应停止下的误差控制。
  • 主要进展:共形预测进入AI文本检测。 Zhu et al. (2025) 提出多尺度共形预测(MCP)框架,用长度感知的校准来约束误报率。这是本文最直接的竞争/前序工作——它已经将共形预测用于AI文本检测,但作者指出其"一个提交文本长度的阈值"不能直接推广到"多个前缀+多个检测器"的自适应选择场景。同时,Bates et al. (2021) 的共形p值理论(outlier testing)为本文提供了核心技术工具——保守共形秩引理。
  • 当前frontier:自适应与顺序决策的误差控制。 更广泛的顺序检验文献(Wald 1945; Howard et al. 2020; Koning & van Meer 2026)提供了时间一致(time-uniform)控制的工具,如e-process和任意时点有效(anytime-valid)检验。Chen & Wang (2025) 将序列假设检验用于在线检测文本流,但处理的是跨文档的流,而非文档内的自适应检查。本文的定位正是在这个交叉点:文档内、自适应前缀选择、多检测器切换下的有限样本误报控制。
  • 本文位置:作者明确将自己定位为"规格化两种构造"的工作——不声称发明新的基础理论("We make no claim to originate conformal AI-use detection or foundational sequential-testing theory"),而是将已有的共形秩和联合界技术适配到文档内自适应筛查的具体设定,并厘清其成立所需的限制条件。

子线索聚类

  1. 零样本检测器设计(DetectGPT, Fast-DetectGPT, Binoculars):关注分数本身的质量(AUROC),不关注推断保证。本文将其作为"分数来源"的输入。
  2. 共形预测用于误报控制(MCP, Bates et al.):关注对固定分数或固定长度阈值的有限样本保证。本文的构造A是其直接推广(从单一阈值到有限族联合控制)。
  3. 顺序检验与任意时点有效性(Wald, Howard et al., Koning & van Meer):关注跨时间的误差控制。本文的构造B借鉴其"完整路径"思想,但明确不构造e-process。
  4. AI文本检测的鲁棒性与公平性(Liang et al. 2023):指出检测器对非母语写作者存在系统性偏差,说明"池化性能"不足以支撑部署决策。本文在讨论中承认这一点,但未将其纳入形式化框架。

这个方向在追问的核心问题

  1. 如何对数据依赖的检查路径给出严格保证? 筛查程序看到分数后才决定是否继续检查,这种适应性会破坏固定样本的推断有效性。本文的构造A和B分别用"预注册族+联合界"和"完整路径最大值"来应对。
  2. 有限样本保证与检测效力的权衡:共形方法天然保守(需要大量校准数据才能达到有意义的拒绝阈值),本文推导了所需校准样本量(构造A需约1,199个校准文档在α=0.01时才能允许拒绝),但明确承认"允许拒绝"不等于"有检测效力"。
  3. 分布偏移下的保证退化:当校准分布与部署分布不一致时,边际控制如何退化?本文给出TV距离加权的偏移界,但指出这需要已知或可估计的TV上界。

⚠️ 作者的framing

作者将缺口frame成:"现有共形检测只处理固定检查方案,而实际筛查需要自适应选择前缀和检测器,且可能提前停止——这两种自适应行为都需要专门的构造来维持误报控制。" 由此,本文成为"显然的下一步":构造A处理"从有限族中选择",构造B处理"沿固定路径提前停止"。被淡化或回避的竞争路线包括:(1) e-process方法——作者明确说"两种构造都不构造e-process",暗示那是一条不同且可能更强的路线,但需要更强的假设;(2) 贝叶斯或经验贝叶斯方法——完全未提及;(3) 对抗鲁棒性——承认存在但未形式化。明显该被引却没出现在intro里的:关于共形预测在非交换数据上的最新进展(如加权共形、分布鲁棒共形),以及关于e-value/e-process在假设检验中的系统综述(Ramdas et al. 2022的预印本只在脚注位置被提及,未进入正文讨论)。

张力

未见明显对立引用。但存在一个微妙的张力:Bates et al. (2021) 的共形p值强调条件有效性(给定训练数据),而本文的构造A/B只声称边际有效性(平均掉校准数据)。作者在讨论中承认这一点("They do not invoke conformal validity conditional on a realized calibration sample"),但未深入探讨条件失效的实际后果。


二、最核心、最简单的例子 / 数学问题

第一步:符号、模型、可观测数据

符号清单(逐个点名):

记号 含义 类型
\(X = (W_1, \dots, W_L)\) 一篇完整文档,含长度L和获取元数据 随机变量(观测)
\(P_0\) 人类文档的参考分布(零假设) 分布(已知或假设)
\(\mathcal{Q}\) 生成/AI辅助文档的备选分布族 分布族(未指定)
\(H_1, \dots, H_m\) m篇人类校准文档 随机变量(观测,独立同分布)
\(a = (k, j)\) 一个"动作":检查前k个token(前缀预算\(b_k\))并用第j个检测器 参数(设计选择)
\(\mathcal{A}\) 预注册的有限动作族 参数(设计选择)
\(S_a(X)\) 动作a在文档X上的检测分数(越大越可疑) 随机变量(由X和a决定)
\(p_a(X)\) 动作a的共形p值(公式4) 随机变量(由S_a和校准秩决定)
\(w_a\) 动作a的误差权重,\(\sum_a w_a \le 1\) 参数(设计选择)
\(\alpha_a = \alpha w_a\) 动作a的局部误报阈值 参数(导出)
\(E \subseteq \mathcal{A}\) 实际执行的子集(数据依赖) 随机变量(由观测分数决定)
\(\tau\) 实际执行的动作数 随机变量
\(N_\tau\) 实际检查的不同token数 随机变量
\(C_\tau\) 总计算成本 随机变量
\(M_\pi(X)\) 构造B中完整路径的最大分数(公式8) 随机变量
\(p^{\text{path}}_t(X)\) 构造B中第t步的部分路径共形p值(公式9) 随机变量
\(p^{\text{full}}(X)\) 构造B中完整路径的共形p值 随机变量
\(\alpha\) 全局误报率目标(如0.01) 参数(用户指定)

模型:零假设为 \(X \sim P_0\),即文档来自人类参考分布。备择为 \(X \sim Q \in \mathcal{Q}\),其中\(\mathcal{Q}\)是某种生成/AI辅助分布族(未具体指定)。关键假设(Assumption 2.1):给定开发信息\(D_{\text{dev}}\)(包括分数映射、预处理、动作族、权重),校准文档\(H_1, \dots, H_m\)与新文档X是可交换的。这允许文档内token任意依赖(不需要i.i.d.假设),但要求校准文档与测试文档来自同一人类分布。

可观测数据:研究者实际能观测到的是:m篇人类校准文档(已知标签)、一篇待筛查文档X(未知标签)、以及每个动作a在文档上的分数\(S_a(X)\)。不可观测的是:文档的真实来源(人类 vs AI)、以及"如果选择不同动作会得到什么分数"(反事实动作结果)。

目标量(estimand):误报概率 \(P_0\{\text{在允许的检查路径上任意一步发出警报}\} \le \alpha\)。这是一个路径级的误差控制,而非单次检验的误差控制。

第二步:最小内核

最小设定:假设只有一个动作\(a\)(固定前缀长度、固定检测器),m个校准文档,1个测试文档。此时构造A退化为标准共形p值:

\[p_a(X) = \frac{1 + \sum_{i=1}^m \mathbf{1}\{S_a(H_i) \ge S_a(X)\}}{m+1}\]

核心命题:在可交换性下,\(P_0(p_a \le \alpha) \le \alpha\)。证明的关键是秩的均匀性:由于\(S_a(H_1), \dots, S_a(H_m), S_a(X)\)可交换,测试文档的秩在\(\{1, \dots, m+1\}\)上均匀分布(保守版本用\(\ge\)处理平局)。这就是Lemma 3.1——保守上尾秩引理。

为什么这是最小内核:整篇论文的所有复杂性都来自打破这个简单设定的两个方向:

  1. 多个动作(构造A):如果有\(|\mathcal{A}|\)个动作,且允许根据观测分数选择执行哪个动作,那么"选中最小的p值"会使误报率膨胀。朴素修正:对每个动作分配权重\(w_a\),用\(\alpha_a = \alpha w_a\)作为阈值,再对执行的动作做联合界(Bonferroni)。这就是Theorem 4.1的全部内容——它本质上就是加权Bonferroni + 共形秩。关键洞察:联合界不需要动作间的独立性,只需要每个动作的边际有效性。

  2. 提前停止(构造B):如果动作序列是自适应的(第t+1步的动作取决于前t步的分数),那么每个中间步骤的p值\(p^{\text{path}}_t\)与最终p值\(p^{\text{full}}\)的关系是:部分路径最大值 ≤ 完整路径最大值,因此\(p^{\text{path}}_t \ge p^{\text{full}}\)。这意味着:如果完整路径的p值受控,那么任何提前停止点的p值也受控——不需要分割误差预算。这就是Theorem 5.1的核心:单调性拯救了自适应停止。

这个最小内核揭示了论文的本质:构造A和B都不是新的推断原理,而是两种不同的方式来驯服数据依赖的选择——A用"预注册+联合界"来限制选择空间,B用"完整路径校准"来吸收自适应的复杂性。两者的共同前提是:校准必须在完整的决策规则上做,而不是在单个动作上做。


三、这篇论文做了什么

三句话

  1. 研究问题:在筛查AI生成文本时,如何对自适应选择前缀和检测器、且可能提前停止的检查程序,给出有限样本的误报率控制。
  2. 核心方法:给出两种构造——构造A对预注册的有限动作族做加权Bonferroni联合界(Theorem 4.1),构造B对冻结的自适应策略校准其完整路径最大值(Theorem 5.1),两者都基于保守共形秩引理(Lemma 3.1)。
  3. 主要结论:两种构造都在文档级可交换性下证明了对任意允许检查路径的边际误报控制,并给出所需校准样本量的下界(构造A需\(m \ge \lceil 1/(\alpha w_a)\rceil - 1\),构造B需\(m \ge \lceil 1/\alpha\rceil - 1\));同时明确两种构造都不构造e-process,不声称更强的任意时刻有效性。

关键设定与假设

  • Assumption 2.1(开发分离与可交换性):这是全文的基石。它要求:(1) 分数映射、模型检查点、预处理、动作族、变换、误差权重全部在开发阶段固定,不能使用校准或测试数据;(2) 校准文档与新文档在给定\(D_{\text{dev}}\)后可交换。这个假设比常见的i.i.d.假设弱(允许文档内token依赖),但比"条件于校准集"的有效性弱(只保证边际控制)。
  • 构造A的额外要求:动作族\(\mathcal{A}\)必须是有限的,且权重\(w_a\)在开发阶段固定。允许执行子集\(E\)由观测分数决定,但不允许根据分数调整权重(Remark 4.2明确警告:事后分配权重会破坏控制)。
  • 构造B的额外要求:路由生成器\(\pi\)必须在开发阶段完全冻结,包括其随机种子。允许提前停止,但停止规则不能改变后续动作的选择(否则完整路径不再是参考路径)。
  • 相比已有文献:相比MCP(Zhu et al. 2025)的"长度感知多尺度"设定,本文允许检测器切换和任意前缀选择,但要求预注册;相比e-process方法(Howard et al. 2020),本文不要求构造鞅或超鞅,因此不需要对分数分布做额外假设,但只能给出路径级控制而非任意时刻控制。

主要结果

Theorem 4.1(构造A):在Assumption 2.1下,对任意可测的"执行子集选择规则",误报概率\(\le \alpha\)。证明路径:对每个动作a,由Lemma 3.1得\(P_0(p_a \le \alpha_a) \le \alpha_a\);对执行子集E做联合界,\(\{警报\} \subseteq \bigcup_{a \in \mathcal{A}} \{p_a \le \alpha_a\}\);因此\(P_0(警报) \le \sum_a \alpha_a = \alpha \sum_a w_a \le \alpha\)。技术要点:联合界不需要动作间的独立性,也不需要知道选择规则的具体形式——只要选择规则是\(D_{\text{dev}}\)可测的。

Theorem 5.1(构造B):在Assumption 2.1下,对任意提前停止规则,误报概率\(\le \alpha\)。证明路径:完整路径分数\(M_\pi(X)\)与校准文档的完整路径分数可交换,故\(p^{\text{full}}\)受控;部分路径最大值\(M_{\pi,t}(X) \le M_\pi(X)\),故\(p^{\text{path}}_t \ge p^{\text{full}}\);因此任何提前停止点的警报都蕴含\(p^{\text{full}} \le \alpha\)。技术要点:这个证明的关键是单调性——部分路径的p值永远不会小于完整路径的p值,所以完整路径的校准自动覆盖所有可能的停止点。

Corollary 4.3 & 5.3(校准样本量):构造A在等权重下需\(m \ge \lceil 1/(\alpha w_a)\rceil - 1\),构造B需\(m \ge \lceil 1/\alpha\rceil - 1\)。例如α=0.01时,构造A(12个动作等权重)需1,199个校准文档,构造B需99个。注意:这只是"允许拒绝"的最低要求,不保证检测效力。

Theorem 6.1(Oracle界):对任意两个文档分布\(P_0, Q\),最优检验的总误差为\(1 - \text{TV}(P_0^{\otimes n}, Q^{\otimes n})\)。这个结果说明:即使有oracle,检测误差也受TV距离控制;但它不将token数转化为独立样本数——文档内的依赖结构使得TV距离不能简单分解。

Proposition 6.2(Hoeffding界):在独立同分布假设下,\(n \ge \frac{2}{\Delta^2}\max\{\log(1/\alpha), \log(1/\beta)\}\) 的样本量足以同时控制两类误差。这是说明性的——作者明确警告这不适用于文档内依赖的token。

Proposition 6.3(分布偏移界):当测试分布从\(P_0\)偏移到\(\tilde{P}_0\)时,误报率\(\le \alpha + \text{TV}(P_0, \tilde{P}_0)\)。这是边际意义上的平均保证,不是条件保证。

Proposition 6.5(Clopper-Pearson审计):若独立审计\(N_0\)篇人类文档且零误报,则部署误报率\(q\)的95%置信上界为\(1 - 0.05^{1/N_0}\);要求上界<0.001需\(N_0 \ge 2,995\)。

证明路线与技术技巧

整体路线:论文的证明策略是"先建立单动作的秩均匀性,再通过联合界或单调性扩展到多动作/自适应停止"。核心工具是Lemma 3.1的保守秩论证——它比标准共形p值论证多了一个关键细节:用\(\ge\)而非\(>\)处理平局,使得秩分布是保守的(即p值偏大,误报率偏小)。

关键引理(Lemma 3.1)的证明技巧:引入辅助均匀随机变量\(V_i\)打破平局,将\((Z_i, V_i)\)按字典序排序。这样秩\(R^*\)严格均匀,而保守秩\(R \ge R^*\),故\(P(p \le u) \le P(R^* \le \lfloor(m+1)u\rfloor) = \lfloor(m+1)u\rfloor/(m+1) \le u\)。这个技巧的妙处:不需要假设分数分布连续,也不需要假设无平局。

构造A的证明技巧:将"执行子集选择"视为一个黑箱,只要求它是\(D_{\text{dev}}\)可测的。联合界\(\bigcup_{a \in \mathcal{A}} \{p_a \le \alpha_a\}\)的包含关系是逐路径成立的,因此不需要选择规则的任何性质。这是"预注册"的力量:因为权重和族在开发阶段固定,所以事后无论怎么选,联合界都成立。

构造B的证明技巧:关键洞察是"部分路径最大值 ≤ 完整路径最大值"这一单调性。这使得完整路径的校准自动覆盖所有可能的停止点。注意:这个论证依赖于"完整路径"是预先定义好的——如果停止规则本身改变了后续动作的选择(即路径不是预定的),则论证失效。作者在Assumption 2.1中明确要求路由生成器在开发阶段冻结,正是为了确保这一点。

技术技巧总结: 1. 保守秩 + 辅助随机化:处理平局,保证有限样本有效性。 2. 联合界 + 预注册:处理多动作选择,不需要动作间独立性。 3. 单调性 + 完整路径校准:处理提前停止,不需要分割误差预算。 4. TV距离 + 分布偏移:将保证从参考分布扩展到偏移分布,但代价是TV项。

真实例子与应用

本文为纯理论论文,无真实数据实验或模拟研究。 作者在摘要和结论中明确声明:"Detection power and computational savings remain questions for empirical evaluation." 文中提到的唯一"应用"是概念性的:将DetectGPT/Fast-DetectGPT/Binoculars的分数作为输入,但未给出任何数值结果。作者提供了一个GitHub仓库(Burnwatch原型),但明确标注为原型,且论文中未报告其性能数据。

🔎 结论是否比证明窄

是,存在多处"证明窄于声称"的情况:

  1. 边际vs条件保证:论文声称"误报控制",但证明的是边际控制(平均掉校准数据)。在Example 6.4中,作者自己展示了条件误报率可以远超α(当校准数据恰好不利时)。论文在讨论中承认这一点,但结论部分仍使用"control"一词,未强调其边际性质。

  2. 构造B的"自适应"范围:Theorem 5.1声称保护"任意提前停止",但前提是路由生成器完全冻结。如果筛查者根据中间结果改变后续动作的选择(而非仅仅提前停止),则论证失效。论文在Assumption 2.1中排除了这种"路径切换",但结论部分未明确强调这一限制。

  3. 分布偏移界的实用性:Proposition 6.3给出的界是\(\alpha + \text{TV}(P_0, \tilde{P}_0)\),但TV距离通常无法从数据中估计,论文也未给出可操作的TV上界方法。因此该结果更多是概念性的,而非可部署的保证。

  4. 校准样本量的"充分性":Corollary 4.3和5.3给出的样本量是允许拒绝的必要条件,但论文未讨论这些样本量是否足以保证有意义的检测力。作者在结论中承认这一点,但未给出任何功率分析。


四、开放问题

  1. 条件误报控制:能否在保持有限样本保证的同时,实现对校准数据的条件控制(而非仅边际控制)?Example 6.4表明这需要额外假设,但具体需要什么假设、代价多大,论文未探讨。(扎根于Example 6.4和Section 7的"Subgroup validity"讨论)

  2. 路径切换的自适应:构造B只允许"提前停止",不允许"改变后续动作"。能否将完整路径校准推广到真正的路径切换(即根据中间结果改变检测器或前缀预算)?这可能需要更复杂的秩论证或e-process构造。(扎根于Assumption 2.1中"route generator frozen"的限制)

  3. e-process构造:论文明确不构造e-process,但指出这是"另一条可能更强的路线"。能否为文档内自适应筛查构造一个e-process,从而获得任意时刻有效性(anytime-validity)?(扎根于Section 6.5的讨论)

  4. TV距离的可估计性:Proposition 6.3的偏移界依赖TV距离,但TV距离通常不可估计。是否存在可操作的分布偏移度量(如最大均值差异MMD或 Wasserstein 距离)能给出类似的有限样本保证?(扎根于Proposition 6.3的假设)

  5. 检测力与样本量的权衡:论文给出了允许拒绝所需的最小校准样本量,但未讨论在给定检测力(如80%功率)下所需的样本量。能否推导出最小样本量的下界,使得在给定备择分布族\(\mathcal{Q}\)上达到指定功率?(扎根于Corollary 4.3和5.3后的讨论)

  6. 子群体公平性:论文承认"池化性能不足以支撑部署决策"(引用Liang et al. 2023的检测器偏见),但未将子群体误报率控制纳入形式化框架。能否在共形构造中加入子群体约束?(扎根于Section 7的"Subgroup validity")


提示:若要确认这些是否是真gap,建议去读以下方向的近期文献(各约5篇intro):(1) 共形预测在非交换数据上的最新进展(加权共形、分布鲁棒共形);(2) e-process在假设检验中的系统应用;(3) AI文本检测的公平性审计。若这些文献都未处理"文档内自适应检查路径"的设定,则上述问题大概率是真实空白。


Maintained by 陈星宇 · Homepage · Source on GitHub

评论