Interventional Score Geometry for Causal Inference¶

作者: Mojtaba Eslami
主题: 因果推断
相关性: 9/10
链接: https://arxiv.org/abs/2607.21914

一、领域脉络与小综述¶

这个方向是什么¶

本文所属的子方向是因果推断的几何化表述。它试图用微分几何的语言（流形、切空间、度量、得分场）来重新表述因果识别的基本问题：观测数据（联合分布）的几何结构能否告诉我们因果方向？如果不能，那么需要额外引入什么结构？这个方向当前处于概念构建与基础澄清阶段，远未成熟——它主要提供一套统一的符号和视角，而不是新的识别结果或估计方法。

发展脉络（history）¶

奠基工作：因果推断的经典非识别结果与结构方程模型
Haavelmo (1943)：最早指出不同的结构方程系统可以生成相同的观测联合分布，因此仅凭观测数据无法区分因果方向。这是整个领域的起点。
Pearl (2009)：建立了因果图（DAG）和 do-算子的形式化框架，将因果推理分为关联、干预、反事实三个层次（Ladder of Causation），并证明了 do-算子与条件分布的根本区别。
Imbens & Rubin (2015)：从潜在结果框架出发，系统阐述了随机化试验、工具变量等经典设计的识别条件。
主要进展：信息几何与因果流形
Amari (2016)：将信息几何（Fisher信息度量、α-散度等）系统化，为统计模型赋予黎曼结构。本文引用它作为信息几何的权威参考。
Surasinghe & Bollt (2020)：从观测时间序列数据构建流形，用几何距离（如分形关联维数）来度量信息流（转移熵），从而推断因果。本文引用它时明确说：“这些是，通过构造，仅依赖于p(x)的函数，因此面临与p(x)本身相同的识别限制。”——这是本文对这类工作的定位：它们仍是关联层面的几何，无法触及干预。
当前 frontier：得分生成模型与因果效应估计
Song & Ermon (2021)：通过得分匹配估计观测得分场∇_x log p(x)，并用Langevin动力学生成样本。本文引用它时强调：它只估计观测得分，不估计干预响应场，因此不能用于因果识别。
Künzel et al. (2019) (X-learner)、Nie & Wager (2021) (R-learner)、Chernozhukov et al. (2018) (DML)：这些是估计条件平均处理效应（CATE）的元学习器/双机器学习方法。本文在Section 10专门指出：这些文献中的“score”指的是Neyman正交矩条件中的估计方程，与本文的密度梯度得分是三个不同的对象，混淆它们会导致错误推导。
本文的位置：本文是对上述所有工作的一个几何化“元评论”。它不提出新的识别结果或估计方法，而是提供一个统一的几何语言（干预得分、干预响应场、因果度量）来重新表述已知的识别限制和经典设计。它的核心论点是：观测得分几何不能识别因果方向（命题1），投影到可容许方向也不能（命题3），因果信息必须来自外部提供的干预响应场（定义4）。它明确声明“不增加超越底层假设的识别能力”。

子线索聚类¶

信息几何与因果流形（Amari 2016, Surasinghe & Bollt 2020）：用Fisher信息度量、流形曲率等几何工具研究统计模型或观测数据。本文认为它们停留在关联层面。
得分生成模型（Song & Ermon 2021）：估计观测得分场，用于生成而非因果推断。本文指出它不能替代干预响应场。
因果效应估计的元学习器（Künzel et al. 2019, Nie & Wager 2021, Chernozhukov et al. 2018）：用机器学习估计CATE，依赖Neyman正交性等半参数工具。本文仅做术语澄清，不贡献新结果。
经典因果识别设计（Angrist et al. 1996, Heckman & Vytlacil 2005, Rosenbaum & Rubin 1983）：IV、RCT、条件独立性假设。本文用几何语言重新表述它们，但明确说“不增加识别能力”。

这个方向在追问的核心问题¶

观测几何能否识别因果方向？ 主流答案（包括本文）是“不能”，因为任何两个共享p(x)的结构模型产生相同的观测几何（命题1）。这是经典非识别结果的几何重述。
如何定义干预下的得分？ 硬干预使被干预坐标退化为常数，联合密度在原始d维空间上奇异。本文的答案是：在剩余的d-1个自由坐标上定义干预得分（定义1）。
如何构建一个“因果度量”？ 即用一个数字衡量干预的“信息量”。本文的答案是：对每个干预目标单独定义Fisher信息度量（定义5），避免跨目标空间不匹配。
经典设计（RCT、IV、CIA）的几何含义是什么？ 本文用得分场的块对角结构（RCT）、条件均值函数的梯度比（IV）等来表述，但强调这些只是重述，不增加识别力。

⚠️ 作者的 framing（必须明确标注成“这是作者的说法”）¶

作者把缺口 frame 成什么？ 作者说：“观测得分几何不能识别因果方向，因为它是p(x)的函数”（命题1），“投影到可容许方向也不能”（命题3），“因果信息必须来自外部提供的干预响应场”（定义4）。因此，本文的“显然的下一步”是：提供一个统一的几何语言来组织已知的识别限制和经典设计，并明确指出哪些信息必须从外部输入。作者声称本文的贡献是“一套符号”和“一个修正的几何词典”，而不是新的识别结果。
哪些竞争路线被他淡化或回避了？
非高斯识别方法（如LiNGAM）：本文完全没有提及。LiNGAM利用非高斯性在观测数据中识别因果方向，这似乎与本文“观测几何不能识别”的论断矛盾。作者回避了这一点，可能是因为LiNGAM的识别依赖于非高斯分布的特殊性质（如独立成分分析），而本文的几何框架（基于得分场）可能无法自然地容纳这种非参数识别策略。
基于条件独立性的因果发现算法（如PC算法、FCI算法）：本文也没有提及。这些算法利用条件独立性检验来推断DAG结构，属于关联层面的操作，但可以部分识别因果方向（在马尔可夫性和忠实性假设下）。作者可能认为这些算法仍属于“观测几何”范畴，因此被命题1覆盖。
基于异质性的因果推断（如差中差、断点回归）：本文没有讨论。这些设计利用准实验变异来识别因果效应，但本文的几何框架似乎只关注“硬干预”这一种理想化操作。
什么明显该被引/该存在、却没出现在 intro 里？
Shimizu et al. (2006) “A linear non-Gaussian acyclic model for causal discovery” (LiNGAM)：这是因果发现领域的重要工作，直接挑战“观测数据不能识别因果方向”的论断。它的缺席是一个值得注意的空白。
Janzing et al. (2012) “Information-geometric approach to inferring causal directions”：这篇工作直接用信息几何（如独立于机制的因果性假设）来推断因果方向，与本文的主题高度相关。它的缺席可能意味着作者刻意回避了与自己论点相悖的文献。
Peters et al. (2017) “Elements of Causal Inference”：这是一本系统性的因果推断教材，涵盖了上述许多方法。它的缺席可能只是引用策略问题。

张力¶

未见明显对立引用。本文引用的所有工作（Amari, Surasinghe & Bollt, Song & Ermon, Künzel et al., Nie & Wager, Chernozhukov et al.）在本文的叙述中都被定位为“观测层面的”或“术语不同的”，没有出现彼此矛盾或在不同条件下得相反结论的情况。唯一的潜在张力是LiNGAM类工作的缺席，但这属于“该存在而未存在”的问题，不是已存在引用之间的对立。

二、最核心、最简单的例子 / 数学问题¶

第一步：把符号、模型、可观测数据交代清楚¶

符号（逐个点名）：

X = (X₁, ..., X_d)：d维随机向量，代表所有观测变量。每个X_k是一个标量随机变量。
p(x)：X的联合概率密度函数，定义在支撑集𝒳 ⊆ ℝᵈ上。这是可观测的（假设我们可以从p(x)中抽样）。
ψ(x) = ∇_x log p(x)：观测得分场，一个d维向量场。它是p(x)的梯度除以p(x)，指向log密度增长最快的方向。完全由p(x)决定。
M ⊆ ℝᵈ：p(x)的支撑集，配备一个背景黎曼度量g（通常是欧几里得度量）。(M, g, ψ)构成“观测几何”。
do(X_k = ξ)：硬干预，将X_k固定为常数ξ。这是不可观测的（除非我们实际进行实验），是我们要推断或假设的对象。
X_{-k} = (X₁, ..., X_{k-1}, X_{k+1}, ..., X_d)：除X_k外的所有变量，是一个d-1维随机向量。
p_{-k}^{(k,ξ)}(x_{-k})：在干预do(X_k = ξ)下，X_{-k}的联合密度。定义在ℝ^{d-1}上，是非奇异的（因为被干预的坐标已被移除）。这是不可观测的，除非有实验数据。
ψ_{-k}^{(k,ξ)}(x_{-k}) = ∇{x{-k}} log p_{-k}^{(k,ξ)}(x_{-k})：干预得分场，定义在ℝ^{d-1}上。这是本文的核心新对象。
p_j^{(k,ξ)}(x_j)：在干预do(X_k = ξ)下，单个变量X_j (j ≠ k)的边际密度。通过对p_{-k}^{(k,ξ)}进一步边际化得到。
S_{k→j}(ξ, x_j) = ∂ξ ∂{x_j} log p_j^{(k,ξ)}(x_j)：干预得分敏感性，一个标量函数。如果它在某个开集上非零，则X_k对X_j有因果影响（定义2的意义下）。
A(x) ⊆ T_x M：在点x处的可容许干预方向集。代表“设计或政策原则上可以操纵的方向”。这是外部输入，不是从数据中估计的。
S(v)(z)：沿方向v的干预响应场。需要结构性地指定一个单参数干预族{p_v^{do,ε}}，然后对ε在0处求导。这是外部输入，不是从数据中估计的。
G^{(k)}(η)：固定干预目标k的因果度量，是干预族{p_η^{(k)}}的Fisher信息矩阵。η是干预参数（可以是多维的）。

模型：

本文不假设一个具体的结构因果模型（SCM），而是假设存在一个联合密度p(x)（由某个未知的SCM生成）。核心问题是：给定p(x)（以及可能的可容许方向集A(x)），我们能推断出什么关于干预分布{p_{-k}^{(k,ξ)}}的信息？答案是：几乎什么都不能，除非我们额外提供干预响应场S(v)。

可观测数据：

可观测：来自p(x)的i.i.d.样本。由此可以估计观测得分场ψ(x)（例如通过得分匹配）。
不可观测（但想要推断）：干预分布p_{-k}^{(k,ξ)}、干预得分ψ_{-k}^{(k,ξ)}、干预响应场S(v)。这些只能通过实验或结构假设来获得。

第二步：讲最小内核——双变量高斯例子¶

本文的核心论点可以用一个双变量高斯例子完美展示。这个例子是整篇论文的“最小内核”：它剥去了所有一般性设定，只保留d=2、线性高斯、两个竞争模型，却完整地展示了“相同观测几何，不同干预响应”这一核心矛盾。

设定： - d=2，变量为X和Y。 - 两个结构模型（Model A 和 Model B）生成完全相同的联合正态分布： - X ~ N(0, 1) - (X, Y) 联合服从二元正态分布，协方差矩阵 Σ = [[1, 0.8], [0.8, 1.64]]。

Model A (X → Y)： - Y = βX + ε_Y，其中 β = 0.8，ε_Y ~ N(0, 1)，且 ε_Y ⟂ X。 - 因此，Var(Y) = β² + 1 = 1.64。

Model B (Y → X)： - Y = ε̃_Y，其中 ε̃_Y ~ N(0, 1.64)。 - X = γY + ε̃_X，其中 γ = Cov(X,Y)/Var(Y) = 0.8/1.64 ≈ 0.488，ε̃_X ~ N(0, τ²)，τ² = 1 - γ² * 1.64 ≈ 0.610，且 ε̃_X ⟂ Y。 - 直接计算可验证，Model B 也生成相同的协方差矩阵 Σ。

观测几何： - 由于两个模型生成相同的p(x,y)，它们的观测得分场 ψ(x,y) = ∇_{(x,y)} log p(x,y) 完全相同。命题1成立：观测几何不能区分Model A和Model B。

干预几何： - 考虑干预 do(X = ξ)。由于d=2，X_{-X} = Y，所以干预得分 ψ_{-X}^{(X,ξ)}(y) 就是Y的边际密度的得分。 - Model A 下：Y = βξ + ε_Y，所以 p_Y^{(X,ξ)}(y) = N(βξ, 1)。其得分 ∂y log p = -(y - βξ)/1。干预得分敏感性 S{X→Y}(ξ, y) = ∂ξ ∂_y log p = β/1 = 0.8 ≠ 0。因此，X对Y有因果影响。 - Model B 下：Y = ε̃_Y，与X无关，所以 p_Y^{(X,ξ)}(y) = N(0, 1.64) 对所有ξ都相同。其得分 ∂_y log p = -y/1.64。干预得分敏感性 S{X→Y}(ξ, y) = ∂_ξ ∂_y log p = 0。因此，X对Y没有因果影响。

核心结论： - 两个模型共享完全相同的观测得分场（图2a），但具有截然不同的干预得分敏感性（图2b：Model A的E[Y|do(X=ξ)] = 0.8ξ，Model B的E[Y|do(X=ξ)] = 0）。 - 这个例子完美证明了：观测几何（即使加上可容许方向集）不能识别因果方向。因果信息必须来自外部提供的结构信息（即知道哪个模型是真实的）。

三、这篇论文做了什么¶

三句话¶

研究了什么问题：在观测得分几何（基于联合密度p(x)的得分场）不能识别因果方向的前提下，如何正确定义干预下的得分几何，并构建一个统一的几何语言来表述经典因果识别设计（RCT、IV、CIA）的识别限制。
核心工具/方法：引入干预得分（定义在剩余d-1个自由坐标上）、干预得分敏感性、干预响应场（需外部输入）、以及基于Fisher信息的因果度量（每个干预目标单独定义）。
主要结论：观测得分几何不能识别因果方向（命题1）；投影到可容许方向也不能（命题3）；干预得分敏感性在支撑固定、连通、严格正时与分布定义等价（命题2）；经典设计的几何重述不增加识别能力。

关键设定与假设¶

设定：X = (X₁, ..., X_d) 是d维随机向量，具有光滑密度p(x)，支撑集M ⊆ ℝᵈ。背景度量g是欧几里得度量。
假设：
光滑性：p(x)足够光滑，使得所有涉及的导数存在。这是技术性假设，保证得分场定义良好。
硬干预：只考虑do(X_k = ξ)这种将坐标固定为常数的干预。不讨论软干预或随机干预。
可容许方向集A(x)是外部输入：不是从数据中估计的，且不要求凸性或对缩放封闭（对离散干预，A(x)可以是有限集）。
干预响应场S(v)是外部输入：需要结构性地指定一个单参数干预族{p_v^{do,ε}}。这是因果信息的来源。
相比已有文献的放宽/强化：
放宽：不假设SCM的具体形式（线性、非高斯等），只假设存在一个联合密度。这使得框架非常通用。
强化：要求干预是“硬”的（do-算子），而不是“软”的（如条件分布的改变）。这限制了框架的适用范围，但使得干预得分的定义清晰。
核心限制：框架不提供任何新的识别方法，只是重新表述已知结果。作者明确声明“不增加识别能力”。

主要结果¶

命题1（非识别性）：如果两个结构模型生成相同的密度p(x)，则它们诱导相同的观测几何(M, g, ψ)。因此，任何仅依赖于(M, g, ψ)的泛函都不能区分它们。 - 直觉：观测几何是p(x)的重新参数化，所以如果p(x)相同，几何就相同。 - 必要条件：两个模型必须生成完全相同的p(x)。这是经典非识别结果的几何重述。 - 解决的技术难点：无。这是一个直接的观察，证明只有一句话。

命题2（得分等价性）：假设p_j^{(k,ξ)}在固定连通支撑上严格正且光滑。如果S_{k→j}(ξ, x_j) = 0对所有(ξ, x_j)成立，则p_j^{(k,ξ)}不依赖于ξ，因此X_k对X_j没有因果影响。 - 直觉：得分敏感性为零意味着边际得分不随干预水平变化，通过积分和归一化可推出边际密度也不变。 - 必要条件：支撑固定、连通、严格正。如果干预改变了支撑（例如，将X_j推向从未出现过的值），则得分诊断可能失效。 - 解决的技术难点：需要处理积分常数。证明的关键是：得分只确定密度到乘法常数，但归一化条件（积分=1）固定了这个常数。

命题3（投影得分不识别）：存在两个结构模型，它们(i)生成相同的观测密度p（因此相同的ψ），(ii)具有相同的可容许方向集A(x)，但(iii)对干预的因果响应不同。因此，ψ到A(x)的投影不能代表因果响应。 - 直觉：双变量高斯例子直接证明了这一点。两个模型共享ψ和A(x)（只允许操纵X），但S_{X→Y}不同。 - 必要条件：需要存在两个观测等价但因果不同的模型。双变量高斯例子提供了这样的模型。 - 解决的技术难点：无。这是一个反例，证明一个泛函（投影得分）不能是因果响应。

定义5（因果度量）：对固定干预目标k，定义G^{(k)}(η)为干预族{p_η^{(k)}}的Fisher信息矩阵。 - 直觉：Fisher信息衡量干预参数η的微小变化在统计上有多“可区分”。大的G^{(k)}意味着干预效果容易检测。 - 必要条件：干预族{p_η^{(k)}}必须定义在同一个空间（ℝ^{d-1}）上，且被一个共同测度控制。这避免了跨目标比较的问题。 - 解决的技术难点：跨目标比较（比较对X_k和X_{k'}的干预效果）是不适定的，因为干预后的分布生活在不同的空间上。定义5通过每个目标单独定义来回避这个问题。

证明路线与技术技巧¶

本文的“证明”主要是概念性的，而不是技术性的。没有复杂的渐近分析或概率不等式。

整体路线： 1. 定义观测几何 (Section 3)：定义(M, g, ψ)，并证明命题1（非识别性）。这是铺垫。 2. 定义干预几何 (Section 4)：正确定义干预得分（定义1）、因果影响（定义2）、得分诊断（定义3）。证明命题2（得分等价性）。这是核心概念构建。 3. 展示反例 (Section 5)：用双变量高斯例子具体展示命题1和命题3。 4. 引入干预响应场 (Section 6)：定义可容许方向集A(x)，证明命题3（投影得分不识别），然后引入干预响应场S(v)（定义4）作为因果信息的来源。这是对“需要什么额外信息”的回答。 5. 构建因果度量 (Section 7)：定义固定目标的因果度量G^{(k)}（定义5），并用位置干预族作为例子计算。 6. 重述经典设计 (Section 8)：用几何语言重述RCT（命题4）、CIA、IV。这是应用。 7. 术语澄清 (Section 10)：区分三种不同的“score”。

关键跳跃点： - 从观测得分到干预得分：关键跳跃是认识到硬干预后得分必须定义在更少的坐标上（定义1）。这不是一个技术难点，而是一个概念澄清。 - 从得分诊断到分布定义：命题2证明了在支撑固定时两者等价。关键步骤是：从S_{k→j}=0推出∂_ξ log p_j^{(k,ξ)} = c(ξ)（与x_j无关），然后积分并利用归一化条件消去c(ξ)。这是一个标准的“得分确定密度到归一化常数”的论证。 - 从投影得分到干预响应场：命题3用反例证明投影得分不能工作，然后定义4引入干预响应场作为替代。这是对“因果信息必须来自外部”这一核心论点的形式化。

技术技巧点名： - 得分函数的定义与性质：整个框架的基础。 - Fisher信息度量：用于构建因果度量（定义5）。 - 方向导数：用于定义干预响应场（定义4）和IV的梯度比（Remark 3）。 - 混合偏导检验：用于证明RCT下的得分块对角结构（命题4的证明）。 - 积分与归一化：用于证明命题2。

真实例子与应用¶

双变量高斯例子（Section 5）： - 数据/场景：两个线性高斯结构模型（X→Y和Y→X），生成相同的联合正态分布。 - 如何应用：计算两个模型下的观测得分场（相同）和干预得分敏感性（不同）。 - 结果：图2直观展示了相同观测得分场（图2a）和不同干预响应（图2b）。 - 说明什么：验证命题1（观测几何不能识别）和命题3（投影得分不能识别）。这是整篇论文的核心例证。

位置干预族例子（Section 6.1）： - 数据/场景：一个抽象的位置干预族，其中干预通过平移分布来影响响应变量Y。 - 如何应用：推导干预得分敏感性S(ξ, y)的表达式，分解为“干预速度”m'(ξ)和“log密度曲率”ℓ''₀。 - 结果：对于高斯位置族，S(ξ, y) = m'(ξ)/σ²。 - 说明什么：展示干预响应场（定义4）在一个简单情况下的具体计算，并验证与双变量高斯例子的一致性。

本文为纯理论/无实证例子：除了上述两个理论例子外，本文没有使用真实数据或进行模拟实验。

🔎 结论是否比证明窄¶

命题1：证明是严格的，结论与证明一样宽。它说“任何依赖于(M, g, ψ)的泛函都不能区分两个模型”。这是正确的，因为(M, g, ψ)完全由p(x)决定。
命题2：证明是严格的，但结论有一个明确的限制条件（支撑固定、连通、严格正）。作者在Section 11中承认了这一点：“The remaining gap between the score diagnostic and the distributional definition is entirely a support phenomenon”。结论不比证明窄。
命题3：证明依赖于双变量高斯反例。结论是“投影得分不能代表因果响应”。这是严格的，但只对“投影”这个特定操作成立。作者没有声称其他基于ψ和A(x)的泛函也不能工作，但暗示了这一点（“no functional depending only on ψ and A(x), including the projected score, can represent the causal response in general”）。这个更宽的声明没有被严格证明，只是一个推论。
定义5（因果度量）：这是一个定义，不是定理。作者没有证明它有任何最优性或与其他因果度量的联系。它只是一个提议。
Section 8（经典设计）：作者明确说“I do not have a geometric restatement of this that is both non-circular and adds content beyond the standard statement”（关于CIA）和“I do not derive anything new about them here”（关于元学习器）。因此，结论不比证明窄——作者没有声称任何新结果。

四、开放问题¶

跨目标因果度量的构建：本文的因果度量（定义5）是每个干预目标单独定义的。如何比较对不同目标（X_k vs. X_{k'}）的干预效果？作者在Section 7末尾提到“requires either restricting to the common non-intervened coordinates... or moving to soft interventions”，但没有发展。这是一个明确的开放问题，扎根于Section 7的讨论。
支持移动时的得分诊断：命题2证明，在支撑固定时，得分诊断与分布定义等价。但当干预改变支撑时（例如，将X_j推向从未出现过的值），得分诊断可能失效。作者在Section 11中承认这是“the only gap”。如何修正或补充得分诊断以处理支持移动？这是一个具体的开放问题，扎根于Section 4.2和Section 11。
非线性/非高斯/高维设定下的推广：本文的双变量高斯例子是线性的。作者在Section 11中承认“Higher-dimensional, non-Gaussian, or nonlinear settings raise identifiability and estimation issues... not addressed here”。如何将干预得分几何推广到这些更现实的设定？特别是，非线性SCM下的干预得分是否有更丰富的几何结构？这扎根于Section 11。
干预响应场的估计：本文的干预响应场S(v)（定义4）需要外部输入。但在某些准实验设定下（如断点回归、差中差），我们可能可以估计它。如何用非参数或半参数方法估计S(v)？它的收敛率和效率界是什么？这扎根于定义4和Section 9（关于得分生成模型的讨论）。

Maintained by 陈星宇 · Homepage · Source on GitHub