When AI Generates Covariates: Causal Typing and Estimand Drift in Sequential Experiments¶

作者: Takes Fujita (VRI), Nobutaka Hattori (Department of Neurology, Juntendo University School of Medicine)
主题: 因果推断
相关性: 7/10
链接: https://arxiv.org/abs/2609.17772

一、领域脉络与小综述¶

这个方向是什么¶

本文所处理的根本问题是：在序贯实验中，当协变量由 AI 系统（或任何非结构化数据源）生成时，这些协变量在因果结构中的角色（是治疗版本、前行动状态、中介、结局代理、还是设计变量？）若未被明确指定，就可能悄然改变因果估计量本身——即"estimand drift"。这不是一个估计精度问题，而是一个因果问题的定义问题：你以为是估计 A 效应，实际上估计的是 B 效应。该子方向处于因果推断与机器学习交叉的早期阶段，成熟度较低——它试图在标准潜在结果框架（[10, 19, 24, 25]）之上，为"生成式协变量"建立一套先于估计的语义纪律。

发展脉络¶

奠基工作：潜在结果框架与序贯因果推断（Robins 1986 [24]；Hernán & Robins [10]；Pearl [19]）为序贯实验中的因果效应提供了形式语言。这些工作假设协变量是"给定的"、角色是清晰的，没有考虑协变量本身可能是被构造出来的。
主要进展（两条线索）：
线索一：去混杂得分与表示学习。D'Amour & Franks [37] 和 Clivio et al. [38] 建立了条件协方差刻画压缩偏差的机制——即用低维表示替换高维混杂时，什么条件下因果效应保持不变。这是本文定理 2 的直接数学基础。作者明确说"the covariance identity and its zero-covariance criterion are not claimed as new general compression theory"——即他们是在借用而非发明这个机制。
线索二：生成式协变量进入因果推断。文本作为数据（[33, 34, 35]）、因果表示学习（[12, 26]）、以及 AI/ML 生成回归元（[1, 2, 6, 9, 32, 39]）——这些工作处理的是"协变量已经存在、如何用"的问题（预测误差、第一阶段的估计不确定性、测量误差校正）。本文的定位是前移一步：在"怎么用"之前，先问"这个变量能不能用于这个因果角色"。
当前 frontier：本文声称的贡献在于整合——把压缩偏差机制（线索一）与生成式协变量的角色模糊性（线索二）结合，放进一个可操作的审计框架（causal type discipline）。其位置是"估计之前的语义层"，而非新的估计方法。

子线索聚类¶

去混杂得分与表示压缩（[37, 38]）：核心问题是"什么条件下表示替换不改变因果效应"。数学工具：条件协方差、密度比。
文本/表示学习中的因果推断（[12, 26, 33, 34, 35]）：核心问题是"如何从非结构化数据中学习可用于因果调整的表示"。本文的 post-action leakage 与此线索的 treatment leakage [36] 直接相关。
生成回归元的推断（[1, 2, 6, 9, 32, 39]）：核心问题是"协变量是预测值/生成值时，下游推断如何校正"。本文明确说这是下游问题，causal typing 是上游问题。
临床试验估计量规范（[11] ICH E9(R1)）：强调在分析前固定估计量、处理伴发事件。本文的 estimand lock 明显受此启发，但推广到了生成式协变量的语境。

核心问题（作者在追问什么）¶

角色分类问题：一个生成变量在因果结构中可能扮演 9 种角色（表 1），如何判定它实际扮演哪种？
估计量保持问题：在什么条件下，用生成变量替换设计相关状态不会改变目标估计量？（定理 2 的零协方差条件）
声明纪律问题：如何防止探索性发现（如"AI 发现某个标记与结局相关"）被误报为确认性结论？（claim-status filter）
估计目标问题：经验目标（empirical target）与超总体目标（superpopulation target）在聚类序贯数据中如何区分？（定理 5）

⚠️ 作者的 framing（这是作者的说法）¶

作者把缺口 frame 成："AI 生成协变量可能改变因果问题，而现有文献（生成回归元、表示学习、post-selection）都假设角色已经确定，只处理下游不确定性。" 因此本文是"显然的下一步"：在估计之前先做角色审计。作者淡化的竞争路线包括：(a) 因果表示学习（[12, 26]）——他们可能认为那是在学表示，而本文是在审计表示的角色；(b) 主动学习/实验设计——本文不讨论如何设计更好的实验来避免角色模糊，而是接受数据后做审计。值得研究者去查的问题：为什么 [37, 38] 的压缩偏差结果没有被更早地应用到生成式协变量的语境？是数学上不直接，还是社区没有意识到这个连接？另外，作者引用了 [39] 但只用了"public abstract"——这篇工作是否已经覆盖了本文的部分内容？这是一个值得查证的点。

张力¶

未见明显对立引用。但有一个微妙的张力：作者一方面承认"prediction does not decide causal admissibility"（预测能力不决定因果合法性），另一方面又用条件协方差（一个可估计的统计量）作为压缩偏差的判据。这意味着因果角色的判定最终落在统计可检验的条件上，而非纯粹的概念分析——这个张力在文中没有被明确讨论。

二、最核心、最简单的例子 / 数学问题¶

第一步：符号、模型、可观测数据¶

符号清单（逐个点名）：

记号	含义	类型
\(i = 1, \dots, N\)	独立参与者/聚类	样本索引
\(s = 1, \dots, S_i\)	参与者 \(i\) 的会话	样本索引
\(\mathcal{F}^{-}_{is}\)	行动前的信息集（含基线、既往结局、既往治疗、设计变量、原始事件流）	可观测的原始信息
\(t^A_{is}\)	行动时间	时间标记
\(A_{is} \in \{0, 1\}\)	当前会话的治疗版本	随机变量（干预）
\(R_{is}\)	观察指示（结局是否缺失）	随机变量
\(Y_{is}\)	结局（当 \(R_{is}=1\) 时观测到）	随机变量
\(Y_{is}(a)\)	潜在结局（在治疗版本 \(a\) 下）	潜在量（counterfactual）
\(Z^{(m)}_{is} = \mathcal{R}_m(E_{is}, \xi^{(m)}_{is})\)	生成表示	随机变量（由映射 \(\mathcal{R}_m\) 产生）
\(E_{is}\)	纵向事件流（原始数据）	可观测
\(\xi^{(m)}_{is}\)	算法随机性	潜在量（可记录种子）
\(V_{is} = (X_{is}, D_{is})\)	可容许的前行动状态-设计对象	可观测（估计量中的调节变量）
\(Q^*\)	目标状态分布（锁定）	估计目标的一部分
\(\Psi(a, a'; Q^*)\)	锁定的标准化近端效应	估计目标（estimand）
\(\pi_a(v) = P(A = a \mid V = v)\)	倾向得分	nuisance 参数
\(\rho_a(v) = P(R = 1 \mid A = a, V = v)\)	观察倾向	nuisance 参数
\(\mu_a(v) = E(Y \mid A = a, R = 1, V = v)\)	结局回归	nuisance 参数
\(h_{is} \geq 0\)	目标权重（聚类内归一化）	设计量（锁定）

模型（数据生成机制，用直白语言）：

每个参与者 \(i\) 有 \(S_i\) 个会话，会话间存在携带效应（carryover），但不假设无干扰（between-participant interference 被排除，见 Assumption 5）。
在每个会话 \(s\)：先观测到前行动信息集 \(\mathcal{F}^{-}_{is}\)（含原始事件流 \(E_{is}\)），然后分配治疗 \(A_{is}\)（可能依赖 \(\mathcal{F}^{-}_{is}\)，即状态自适应分配），随后可能观测到中介、结局、以及缺失指示 \(R_{is}\)。
生成表示 \(Z^{(m)}_{is}\) 是从事件流 \(E_{is}\) 通过版本化映射 \(\mathcal{R}_m\) 产生的。映射可以是人工编码、规则字典、监督模型或基础模型。关键：\(Z\) 的生成时间窗口决定了它的角色——若窗口在 \(A_{is}\) 之前，则可能是前行动状态；若在之后，则可能是中介或结局代理。
估计目标：\(\Psi(a, a'; Q^*) = \int \{m_a(v) - m_{a'}(v)\} dQ^*(v)\)，其中 \(m_a(v) = E\{Y_{is}(a) \mid V_{is} = v\}\)。这是标准化（standardized）的效应：在目标状态分布 \(Q^*\) 下，比较治疗版本 \(a\) 与 \(a'\) 的潜在结局均值差。

可观测数据：\(\{(E_{is}, A_{is}, R_{is}, Y_{is}, Z^{(m)}_{is}, V_{is})\}_{i,s}\)，其中 \(V_{is}\) 是被判定为可容许的前行动状态-设计对象（由审计决定）。

关键区分（可观测 vs 潜在）： - 可观测：事件流、治疗、结局（当 \(R=1\)）、生成表示、被审计接纳的状态变量。 - 潜在：\(Y_{is}(a)\)（反事实结局）、\(Z_{is}(a)\)（若表示本身是治疗的函数，则其潜在版本不可观测）。 - 想要但观测不到：生成变量 \(Z\) 的真实因果角色——这是审计要判定的，而非数据直接给出的。

第二步：最小内核¶

最小设定：去掉所有序贯复杂性，考虑单个会话、无缺失、二值治疗 \(A \in \{0,1\}\)。设 \(W\) 为可容许的前行动状态（满足无混杂），\(Z = T(W)\) 为生成表示（\(T\) 是确定性映射，先忽略随机性）。目标是估计 \(\Psi = E\{m_1(W) - m_0(W)\}\)，其中 \(m_a(w) = E\{Y(a) \mid W = w\}\)。

核心问题：如果分析师用 \(Z\) 代替 \(W\) 作为调节变量（即估计 \(E\{E(Y \mid A=1, Z) - E(Y \mid A=0, Z)\}\)），这个量还是 \(\Psi\) 吗？

定理 2 的特例（在最小设定下）：

设 \(\pi_a(w) = P(A = a \mid W = w)\)，\(m_a(w) = E\{Y(a) \mid W = w\}\)。用 \(Z = T(W)\) 代替 \(W\) 后，条件均值变为：

\[E(Y \mid A = a, Z = z) = \frac{E\{m_a(W) \pi_a(W) \mid Z = z\}}{E\{\pi_a(W) \mid Z = z\}}\]

而目标量是 \(E\{m_a(W) \mid Z = z\}\)。两者之差为：

\[E(Y \mid A = a, Z = z) - E\{Y(a) \mid Z = z\} = \frac{\text{Cov}\{m_a(W), \pi_a(W) \mid Z = z\}}{E\{\pi_a(W) \mid Z = z\}}\]

这就是公式 (3) 的核心。它说的是：用生成表示 \(Z\) 代替 \(W\) 后，条件因果均值发生偏移，偏移量等于 \(m_a(W)\) 与 \(\pi_a(W)\) 在 \(Z\) 水平内的条件协方差除以倾向得分的条件期望。

为什么这个公式重要：它把"生成变量是否可安全替代原始状态"这个看似模糊的问题，转化成了一个可检验的统计条件——条件协方差是否为零。如果 \(Z\) 保留了所有与结局和分配都相关的信息（即 \(W\) 在给定 \(Z\) 后不再同时影响 \(m_a\) 和 \(\pi_a\)），则协方差为零，替代是安全的。反之，如果 \(Z\) 压缩掉了某些同时影响分配和结局的信息（"设计信息"），则协方差非零，估计量发生漂移。

直觉解释：\(Z\) 可能预测 \(Y\) 很好（高预测精度），但如果它丢失了那些同时影响治疗分配和潜在结局的变量（如"医生是否认为患者病情严重"这一未记录判断），那么用 \(Z\) 调节就会产生混杂偏差——这就是"predictive sufficiency is not causal sufficiency"（推论 2）的数学含义。

最小内核的证明思路（三步）：

一致性：在 \(W\) 下，\(E\{Y(a) \mid W\} = E(Y \mid A=a, W)\)（由无混杂假设）。
贝叶斯加权：在给定 \(Z\) 的水平内，\(W\) 的分布被倾向得分 \(\pi_a(W)\) 加权扭曲。具体地，\(E(Y \mid A=a, Z=z) = E\{m_a(W) \mid A=a, Z=z\}\)，而 \(P(W = w \mid A=a, Z=z) \propto \pi_a(w) P(W = w \mid Z=z)\)。
协方差分解：将加权期望与未加权期望之差分解为协方差项，即得公式 (3)。

这个最小内核揭示了全文的技术本质：本文的所有 drift 定理（定理 2、3、推论 1-3）都是这个协方差恒等式的不同变体——在不同角色设定（中介、泄漏、设计变量）下，\(W\) 和 \(Z\) 的关系不同，协方差项的具体形式也不同。而 estimand lock 的作用，就是在分析前固定 \(W\)（状态-设计对象）和 \(Q^*\)（目标分布），使得协方差项有明确的因果解释。

三、这篇论文做了什么¶

三句话¶

研究了什么问题：在序贯实验中，AI 生成的协变量（来自文本、图像、可穿戴设备流等）可能因角色未指定而改变因果估计量；本文提出一套"因果类型纪律"（causal type discipline），在估计之前对生成变量进行角色审计，防止 estimand drift。
核心工具/方法：一个四元组框架 \(\mathcal{G} = (\mathcal{R}_m, \mathcal{C}, \mathcal{S}, \mathcal{L})\)——版本化表示映射、因果角色分类器、声明状态过滤器、估计目标锁；以及基于条件协方差的 drift 刻画定理（定理 2）和正交估计量（定理 5）。
主要结论：在审计正确性和标准识别假设下，满足角色兼容规则的变量分配能保持锁定的标准化近端效应；违反规则（中介当作状态、设计变量被压缩、泄漏变量进入调节集）会导致可量化的估计量漂移；聚类级正交估计量在重复会话和缺失结局下能区分经验与超总体目标。

关键设定与假设¶

完整设定（在最小内核基础上补全）：

序贯结构：每个参与者 \(i\) 有 \(S_i\) 个会话，\(1 \le S_i \le S_{\max} < \infty\)，\(S_i\) 在第一次分配前固定并包含在 \(V_{is}\) 中。
权重：\(h_{is} \ge 0\) 由固定、聚类内规则决定，\(\sum_{s=1}^{S_i} h_{is} = 1\) a.s.，且 \(\sigma(h_{is}) \subseteq \sigma(V_{is}) \subseteq \mathcal{F}^{-}_{is}\)（可预测性）。
治疗：\(A_{is} \in \{0,1\}\)，可能是状态自适应的（依赖 \(V_{is}\)）。
缺失：\(R_{is}\) 为观察指示，可能依赖 \(A_{is}\) 和 \(V_{is}\)。

假设逐条（统计含义）：

审计正确性与版本稳定性（Assumption 1）：审计正确记录每个生成变量的源窗口、表示版本、因果角色和声明状态。含义：这是框架的前提条件，不是可检验的统计假设——它要求分析者诚实记录。
一致性（Assumption 2）：\(Y_{is} = Y_{is}(A_{is})\)（当 \(R_{is}=1\)）。标准 SUTVA 的组成部分。
序贯可交换性（Assumption 3）：\(A_{is} \perp \{Y_{is}(1), Y_{is}(0)\} \mid V_{is}\)。在随机化试验中由设计保证；在观察性序贯研究中是核心识别假设。
积极性（Assumption 4）：\(0 < P(A_{is} = 1 \mid V_{is} = v) < 1\) 对所有 \(v \in \text{supp}(Q^*)\)。
无干扰与携带效应表示（Assumption 5）：参与者间无干扰；参与者内携带效应通过 \(V_{is}\) 中的历史变量表示。
观察过程（Assumption 6）：\(R_{is} \perp \{Y_{is}(a)\} \mid (A_{is}, V_{is})\)，且 \(P(R_{is} = 1 \mid A_{is} = a, V_{is} = v) > 0\)。这是可忽略缺失的序贯版本。

相比已有文献的定位：这些假设本身是标准的（与 [5, 27, 28] 类似）。本文的新增不是识别假设，而是角色兼容规则（表 2）——它规定了哪些变量可以进入哪些分析位置。这是概念性贡献，而非统计性贡献。

主要结果¶

定理 1（估计量保持）：在假设 1-6 和表 2 的角色兼容规则下，观测数据泛函 \(\Psi^{id}(a, a'; Q^*) = \int \{\mu_a(v) - \mu_{a'}(v)\} dQ^*(v)\) 识别锁定的标准化近端效应 \(\Psi(a, a'; Q^*)\)。

证明路线：三步——(i) 角色兼容规则保证 \(V\) 是前行动的且不含中介/结局信息；(ii) 一致性将 \(m_a(v)\) 替换为观测条件均值；(iii) 序贯可交换性 + 积极性保证条件均值可识别。这是标准 G-公式的变体，证明本身不复杂。
技术要点：关键是角色兼容规则如何与假设 3 交互——如果 \(V\) 中混入了中介（违反表 2 规则 3），则即使假设 3 成立，识别的也不是总效应。

定理 2（无免费替换）：公式 (3) 的条件协方差刻画。这是全文的数学核心。

证明路线：贝叶斯加权 + 协方差分解，如上节所述。
技术要点：这个定理本身不依赖序贯结构，是单轮的恒等式。它的力量在于普适性——任何用生成表示替换原始状态的尝试，都可以用这个恒等式来评估。

定理 3（中介当作状态的漂移）：在线性结构模型下，将中介 \(M\) 当作前行动状态调节，估计量从总效应 \(\beta_A + \beta_M \alpha_A\) 漂移到 \(\beta_A\)，漂移量为 \(-\beta_M \alpha_A\)。

证明路线：直接计算——在回归 \(Y \sim A + M + V\) 中，\(A\) 的系数是直接效应 \(\beta_A\)（因为 \(M\) 阻断了间接路径），而总效应需要加上 \(\beta_M \alpha_A\)。
技术要点：这个定理是说明性的，不是一般性结果。它用最简单的线性模型展示了"角色错误"的后果。

定理 5（正交估计）：在交叉拟合和 nuisance 收敛率条件下，聚类级正交估计量对经验目标 \(\Psi_N\) 和超总体目标 \(\Psi\) 均满足 \(\sqrt{N}\) 收敛和渐近正态性。

证明路线：四步——(i) 构造正交得分（对 nuisance 的 Gateaux 导数为零）；(ii) 交叉拟合保证样本外预测；(iii) 乘积条件（\(\|\hat{\mu}_b - \mu_b\| \cdot \|\hat{\pi}_b - \pi_b\| = o_p(N^{-1/2})\)）控制剩余项；(iv) 独立聚类 CLT。附录 B 给出加权矩计算和剩余项界。
技术要点：这里的新意在于权重 \(h_{is}\) 的可预测性条件——它允许聚类内会话数变化，但要求权重在给定 \(V_{is}\) 后可预测。这比标准的 i.i.d. 假设更灵活，但比完全任意的权重更受限。

真实例子与应用¶

模拟研究（第 9 节）：这是唯一的实证部分，且是人工模拟而非真实数据。作者明确说"no real patient data are used"。

数据生成：重复会话设计，\(N = 140\) 参与者，\(S = 6\) 会话。包含设计变量 \(D\)、粗状态 \(U^{(0)}\)、精状态 \(U^{(1)}\)、中介 \(M\)、泄漏变量 \(L\)、结局 \(Y\)。治疗分配依赖 \(U^{(0)}\) 和 \(D\)（状态自适应）。
比较的设定：naive（只用 \(A\)）、coarse state（用 \(U^{(0)}\)）、design erasure（用 \(U^{(1)}\) 替换 \(U^{(0)}\) 和 \(D\)）、admissible refinement（保留 \(D\) 并加入 \(U^{(1)}\)）、mediator-as-state（加入 \(M\)）、leakage（加入 \(L\)）、oracle（用 \(U^{true}\)）。
结果（表 4）：naive 有巨大偏差（0.784）；coarse state 几乎无偏（-0.014）；design erasure 有中等偏差（0.141）且覆盖率仅 0.655；admissible refinement 与 oracle 表现相似（偏差 -0.011 vs -0.004，覆盖率 0.947 vs 0.946）；mediator-as-state 和 leakage 有严重负偏差（-0.402, -0.227）且覆盖率极低（0.009, 0.358）。
表 5：改变设计变量与治疗的关联强度（positivity stress）、结局对设计变量的依赖（outcome compression）、以及表示误差的非经典性。结果符合定理 2 的预测——设计擦除的伤害随 positivity 压力增大而增大。
表 6：claim-status 模拟。同数据选择+推断的覆盖率仅 0.273，而分割样本为 0.942。这验证了众所周知的 post-selection inference 问题，但将其置于"AI 生成协变量"的语境中。

这个模拟想说明什么：不是证明某个估计器更好，而是展示角色错误的具体后果——设计擦除、中介调整、泄漏、同数据选择都会导致实质性的偏差或覆盖率下降。模拟是教学性的，用于支持框架的实用性。

🔎 结论是否比证明窄¶

是的，存在明显的不匹配：

定理 1 的"保持"是条件性的：它说"在假设 1-6 和表 2 规则下，识别保持"。但假设 1（审计正确性）是一个无法从数据验证的前提。作者在第 8 节承认"typing is not certification"，但没有给出任何部分识别或敏感性分析的工具来应对审计错误。结论中"admissible role assignments preserve this estimand"的说法，比证明实际保证的要宽——证明只保证在审计完全正确时成立。
定理 2 是恒等式，不是新结果：作者自己也承认这一点（"not claimed as new general compression theory"）。但结论部分暗示这是一个"drift theorem"——实际上它只是把 [37, 38] 的结果重新表述在生成协变量的语境中。新的部分是应用，不是数学。
定理 5 的证明假设了 nuisance 收敛率：文中没有给出任何具体估计器（如随机森林、神经网络）满足这些收敛率的条件。结论中"orthogonal estimation"的说法，比证明实际保证的要宽——证明是通用框架，不是可操作的估计程序。
模拟的局限性：模拟只覆盖了线性、低维、可加的情形。结论中"the framework applies to this broader class of generated representation maps"的说法，没有非线性或高维的模拟支持。

最值得注意的窄结论：第 6.2 节的设计擦除分析（推论 2）是最接近新数学结果的部分——它表明"预测充分性不蕴含因果充分性"，且给出了构造反例的方法。但这个结果本质上也是 [37] 的推论，本文的贡献在于将其与序贯设计信息联系起来。

四、开放问题¶

以下问题均扎根于论文的具体语句：

审计错误的后果（扎根于第 8 节 "Typing is not certification"）：如果审计错误地将一个中介标记为前行动状态，估计量的偏差有多大？能否给出敏感性分析的界？作者明确说"certification in a specific retrospective information environment... is a broader problem outside the local role theory developed here"——这是一个明确的未解决问题。
非线性压缩的 drift 刻画（扎根于定理 2 的线性协方差形式）：公式 (3) 是条件协方差的精确恒等式，但它是一阶的。对于非线性映射 \(T\)，drift 是否有更高阶的展开？作者没有讨论。
高维生成表示的版本稳定性（扎根于假设 1 的 "version stability"）：当表示映射 \(\mathcal{R}_m\) 是深度神经网络时，"版本"如何定义？微调、提示工程、随机种子变化是否构成新版本？作者没有给出操作化的版本定义。
正交估计量的效率（扎根于定理 5）：作者证明了 \(\sqrt{N}\) 收敛和渐近正态性，但没有给出效率界。在 nuisance 估计收敛率低于 \(N^{-1/4}\) 时，是否存在半参数效率下界？作者引用了 [5, 27, 28] 但未讨论本文设定下的效率界。
多角色变量的处理（扎根于表 1 的互斥角色分类）：一个生成变量可能同时是状态标记和中介（如"患者疲劳度"既反映既往治疗效应又影响当前行为）。作者没有讨论混合角色的识别问题。
模拟的扩展（扎根于第 9 节的线性设定）：非线性、高维、真实文本/图像数据的模拟缺失。作者承认"Nonlinear or high-dimensional representation maps may make the same violations harder to diagnose"——但没有给出诊断工具。

验证建议：要确认上述哪些是真正的 gap，建议去读以下方向的近期文献（各约 5 篇的 intro）：(a) 因果表示学习中的"角色发现"（role discovery）；(b) post-selection inference 在 AI 生成协变量中的应用；(c) 半参数效率理论在 nuisance 估计中的最新进展。如果这些文献都指向同一个未解决问题，那大概率是共识性 gap；如果互相矛盾，则是机会。

Maintained by 陈星宇 · Homepage · Source on GitHub