跳转至

Sharp Fr\'echet--Hoeffding Bounds under Selectively Incomplete Observation

作者: Rami V. Tabri
主题: 因果推断
相关性: 7/10
链接: https://arxiv.org/abs/2611.03075


一、领域脉络与小综述

这个方向是什么

本文属于部分识别(partial identification)与Fréchet–Hoeffding 界的交叉领域。核心科学问题是:当我们只知道各边缘分布(marginal distributions)以及一些"选择性不完全观测"(selectively incomplete observation)的记录时,对联合分布(特别是联合 CDF 在某个阈值点的取值)能给出什么样的尖锐(sharp)识别界?这里的"选择性"指观测模式(哪些坐标被观测到)可以与结果变量任意相关——即观测机制完全不受限制(unrestricted)。该方向在计量经济学中的应用包括:代际收入流动性(跨代收入联合分布)、潜在结果(potential outcomes)的联合分布、多维贫困测度等。当前成熟度:Fréchet–Hoeffding 界本身是经典结果(Hoeffding 1940; Fréchet 1951),但如何在"部分观测 + 已知边缘"的组合信息下得到尖锐界,是近十年才被系统研究的活跃方向。

发展脉络

  • 奠基工作:Fréchet(1951)与 Hoeffding(1940)给出了仅利用边缘分布时联合 CDF 的经典上下界。这是整个领域的起点——它回答的是"边缘已知、依赖结构完全未知"时的最坏情况。
  • 主要进展(依赖结构的部分信息):Lux and Papapantoleon(2017)与 Bartl et al.(2022)将额外依赖信息(如 copula 在某个子集上的取值)纳入 FH 界,得到改进的界。这两篇工作在"已知边缘 + 部分依赖信息"的框架下推进了经典结果,但它们的设定是"已知某些依赖信息",而非本文的"观测到部分坐标的联合记录"。
  • 主要进展(不完全观测的线性规划方法):Torgovitsky(2019)证明了一大类计量模型的部分识别集可以通过线性方程组来刻画——这是方法论的里程碑,因为它把识别问题转化为可计算的线性代数问题。Zaffalon(2002)用 credal set 处理缺失数据;Fan et al.(2023)进一步在矩模型框架下处理不完全数据。这条线索的关键思想是:观测到的子分布 + 已知边缘 = 对联合分布的线性约束,识别集是一个凸多面体。
  • 主要进展(相容性与检验):Berrett and Samworth(2023)从假设检验角度研究 MCAR(完全随机缺失),建立了"可检测的备择假设集合"与 Fréchet 类相容性之间的精确联系。这为"哪些缺失模式携带识别信息"提供了理论刻画。
  • 当前 frontier:如何在不限制观测机制的前提下,将"选择性不完全观测"的信息纳入 FH 界,并给出可计算的尖锐界表达式。这正是本文的位置——它声称填补了"已知边缘 + 任意观测模式"这一组合下的空白。
  • 本文的位置:作者声称(这是作者的说法)已有工作要么只处理完全观测(经典 FH),要么处理特定的缺失机制(如 MCAR 或 ignorability),而本文在完全不限制观测机制的前提下,将识别问题精确约化为有限维优化,从而得到可计算的尖锐界。

子线索聚类

  1. 经典 FH 界及其改进(Hoeffding 1940; Fréchet 1951; Lux and Papantoleon 2017; Bartl et al. 2022):已知边缘,部分依赖信息,求联合 CDF 的界。方法:copula 理论、最优传输对偶。
  2. 不完全观测下的部分识别(Zaffalon 2002; Torgovitsky 2019; Fan et al. 2023):观测到的子分布 + 已知边缘 → 线性约束 → 识别集。方法:线性规划、子分布延拓。
  3. 缺失机制与相容性检验(Dobra and Fienberg 2000; Berrett and Samworth 2023):哪些缺失模式可被检测、哪些备择假设可区分。方法:图模型、组合优化、相容性指标。
  4. 应用驱动的识别界(Rathnayake et al. 2026; Fan et al. 2017):在 DID、潜在结果等具体因果参数上构造界。本文的潜在结果例子属于此线索。

这个方向在追问的核心问题

  1. 识别信息的来源:当观测模式与结果相关时,哪些观测到的量(子分布、边缘)携带关于联合分布的信息?观测模式本身是否携带信息?
  2. 尖锐性的刻画:给定信息组合,识别集是否是一个凸多面体?能否给出显式的界公式(而非仅算法)?
  3. 计算可行性:当维度 d 增大时,识别集的计算复杂度如何变化?是否存在多项式时间的算法?
  4. 与经典 FH 界的关系:不完全观测何时严格改进经典 FH 界?何时不改进?

⚠️ 作者的 framing(这是作者的说法)

作者把缺口 frame 成:"即使没有任何一对结果被同时观测到,不完全记录也能收紧联合概率的界。" 他声称的贡献是:(i) 在不限制观测机制的前提下,结合已知边缘与选择性观测记录,推导出逐点尖锐的界;(ii) 将识别问题精确约化为有限维优化,从而得到可计算的界刻画。他淡化的竞争路线包括:Torgovitsky(2019)的线性系统方法(本文声称自己的约化更"精确"、更"显式")、以及依赖 ignorability 或 MCAR 假设的方法(本文声称不需要这些假设)。值得研究者去查的问题:本文的"有限维约化"与 Torgovitsky(2019)的线性系统刻画在计算复杂度上是否有本质区别?本文的界在哪些设定下严格优于经典 FH 界?作者没有讨论估计与推断问题——即当边缘分布和子分布都需要从数据估计时,界的估计误差如何刻画?这可能是作者刻意回避的空白。

张力

未见明显对立引用。但有一个潜在张力:Berrett and Samworth(2023)的 MCAR 检验表明,某些缺失模式无法与 MCAR 区分——这意味着这些模式可能不携带识别信息。本文声称"不限制观测机制"也能得到尖锐界,这与 Berrett and Samworth 的"某些模式不可检测"是否矛盾?本文没有正面回应这一点。这是一个值得研究者去查的潜在缝隙。


二、最核心、最简单的例子 / 数学问题

第一步:符号、模型、可观测数据

符号(逐个点名):

  • d:结果变量的维度(正整数,d ≥ 2)。
  • [d] = {1, ..., d}:坐标索引集合。
  • X = (X₁, ..., X_d):完整结果向量,取值于 Polish 空间 X = ∏ⱼ Xⱼ。这是潜在(latent)随机向量——研究者想推断其联合分布,但无法完全观测。
  • H = P ∘ X⁻¹:X 的联合概率分布(law)。这是目标对象——我们想对 H 的某个函数(如联合 CDF 在阈值 x 处的取值)给出界。
  • Fⱼ = (prⱼ)#H:第 j 个坐标的边缘分布。这是已知量(来自外部信息,如普查数据)。
  • S ⊆ [d]:随机观测模式(observation pattern),即哪些坐标被记录。S 是随机集合,取值于 2^[d]。
  • T ⊆ [d]:S 的一个固定实现(fixed pattern)。
  • µ_T(B) = P(S = T, X_T ∈ B):观测到的子分布(subdistribution)——给定观测模式 T,记录到的坐标 X_T 的分布(带权重 P(S = T))。这是可观测量(从数据中识别)。
  • p_T = µ_T(X_T) = P(S = T):观测模式 T 的概率。
  • X_T = pr_T ∘ X:X 在 T 上的投影(即被观测到的坐标子向量)。
  • M(T) = [d] \ T:模式 T 下缺失的坐标集合。
  • Dⱼ = 1{Xⱼ ≤ xⱼ}:阈值指示变量(threshold indicator),即第 j 个坐标是否不超过阈值 xⱼ。
  • qⱼ = Fⱼ(xⱼ) = P(Dⱼ = 1):已知的边缘阈值概率。
  • θ_{T,a} = µ_T(B^a_T):观测到的阈值类别概率,其中 a ∈ {0,1}^T 是观测到的阈值指示向量。
  • a_T = θ_{T,1_T}:模式 T 下所有观测坐标都通过阈值的概率("eligible mass")。
  • rⱼᵉ = P(j ∉ S, Dⱼ = e):坐标 j 缺失且其阈值指示为 e 的概率("residual mass")。
  • H(x) = P(X₁ ≤ x₁, ..., X_d ≤ x_d):联合 CDF 在阈值向量 x 处的取值——目标 estimand。
  • H(x) 和 H̄(x):H(x) 的尖锐下界和上界。
  • W(θ, q):满足观测约束和边缘约束的二元分配多面体(binary allocation polytope)。
  • A(F, µ):满足所有子分布和边缘约束的候选联合分布族(admissible family)。

模型:

数据生成机制如下:先有完整结果向量 X ~ H(H 未知),然后根据观测模式 S(S 可以与 X 任意相关)决定哪些坐标被记录。研究者观测到的是 (S, X_S)——即观测模式和被观测到的坐标值。关键假设:边缘分布 Fⱼ 已知(外部信息),观测模式 S 与 X 的依赖完全不受限制。目标:对 H(x) = P(X₁ ≤ x₁, ..., X_d ≤ x_d) 给出尖锐界。

可观测数据:对每个模式 T,观测到子分布 µ_T(即 P(S = T, X_T ∈ ·))。这包括模式概率 p_T 和条件分布 P(X_T ∈ · | S = T)。不可观测:缺失坐标的值、S 与 X 的联合依赖结构。

第二步:最小内核

最小内核:考虑 d = 2 的情形,即两个结果变量 X₁, X₂。假设我们只知道边缘分布 F₁, F₂,并且观测到三种模式:{1}(只观测 X₁)、{2}(只观测 X₂)、{1,2}(两个都观测)、∅(都不观测)。关键问题:即使没有任何一对结果被同时观测到(即模式 {1,2} 的概率为 0),观测到的子分布 µ_{1} 和 µ_{2} 能否收紧联合 CDF 的经典 FH 界?

经典 FH 界(只用边缘):对任意阈值 (x₁, x₂), - 下界:max{0, q₁ + q₂ − 1} - 上界:min{q₁, q₂}

本文的核心发现:观测到的子分布 µ_{1} 和 µ_{2} 提供了额外约束。具体地,考虑阈值指示 D₁ = 1{X₁ ≤ x₁}, D₂ = 1{X₂ ≤ x₂}。观测到的量包括: - a_{1} = P(S = {1}, D₁ = 1)(模式 {1} 下 X₁ 通过阈值的概率) - a_{2} = P(S = {2}, D₂ = 1)(模式 {2} 下 X₂ 通过阈值的概率) - r₁ᵉ = P(1 ∉ S, D₁ = e)(X₁ 缺失且 D₁ = e 的概率) - r₂ᵉ = P(2 ∉ S, D₂ = e)(X₂ 缺失且 D₂ = e 的概率)

核心思想:要计算 H(x) = P(D₁ = 1, D₂ = 1),我们可以按观测模式分解: H(x) = Σ_T P(S = T, D₁ = 1, D₂ = 1)。

对于模式 T = {1},我们知道 P(S = {1}, D₁ = 1) = a₁,但不知道在这些观测中 D₂ 是否等于 1。然而,D₂ = 1 的总概率是 q₂,而 D₂ 在模式 {1} 下被观测到的概率是 a₂(即 P(S = {2}, D₂ = 1))。因此,在模式 {1} 下 D₂ = 1 的概率至多是 q₂ − a₂(因为 D₂ = 1 且被观测到的概率是 a₂,剩下的 q₂ − a₂ 必须来自 D₂ 缺失的情况)。类似地,在模式 {2} 下 D₁ = 1 的概率至多是 q₁ − a₁。

上界的推导: H(x) = P(S = {1}, D₁ = 1, D₂ = 1) + P(S = {2}, D₁ = 1, D₂ = 1) + P(S = {1,2}, D₁ = 1, D₂ = 1) + P(S = ∅, D₁ = 1, D₂ = 1)

第一项 ≤ a₁(因为 D₂ = 1 的概率不超过 1),但更紧的界是:第一项 ≤ min{a₁, q₂ − a₂}(因为 D₂ = 1 且 S = {1} 的概率不超过 D₂ = 1 且 2 ∉ S 的概率,即 q₂ − a₂)。类似地,第二项 ≤ min{a₂, q₁ − a₁}。第三项 = a_{12}(模式 {1,2} 下两个都通过阈值的概率,可直接观测)。第四项 ≤ p_∅。

因此,上界为: H̄(x) = min{a₁, q₂ − a₂} + min{a₂, q₁ − a₁} + a_{12} + p_∅

下界的推导:要最小化 H(x),我们需要让尽可能少的"eligible mass"(即所有观测坐标都通过阈值的模式)同时满足缺失坐标也通过阈值。对于模式 {1},有 a₁ 的概率 D₁ = 1 且 S = {1}。在这些观测中,D₂ 必须等于 1 才能贡献给 H(x)。但 D₂ = 0 的总概率是 1 − q₂,其中在模式 {1} 下 D₂ = 0 且被观测到的概率是 P(S = {1}, D₂ = 0) = P(S = {1}) − a₁ = p₁ − a₁。因此,在模式 {1} 下 D₂ = 0 的剩余概率至多是 (1 − q₂) − (p₁ − a₁)(即 D₂ = 0 的总概率减去在模式 {1} 下被观测到的 D₂ = 0 的概率)。所以,模式 {1} 下 D₁ = 1, D₂ = 1 的概率至少是 a₁ − [(1 − q₂) − (p₁ − a₁)] = a₁ + q₂ + p₁ − 1。

下界为: H̲(x) = max{0, a₁ + q₂ + p₁ − 1} + max{0, a₂ + q₁ + p₂ − 1} + max{0, a_{12} + p_∅ − 1}

为什么这个例子是"最小内核":它展示了本文的核心机制——观测到的子分布通过"剩余概率"(residual probability)约束缺失坐标的分布。即使没有联合观测,每个单变量观测模式也提供了关于缺失坐标的"容量约束"(capacity constraint),这些约束可以收紧经典 FH 界。本文的一般定理(Theorem 4.1)正是将这个二维例子推广到任意维度 d 和任意观测模式集合,用最大流/最小割(下界)和分数打包(上界)来刻画。

关键直觉:经典 FH 界只用了边缘信息,相当于假设"所有观测都是完全缺失的"(即只有模式 ∅)。当存在部分观测时,每个观测模式 T 都提供了"T 中坐标的联合分布"这一额外信息,这些信息通过"缺失坐标的剩余概率"约束了联合分布。本文的贡献在于精确量化了这些约束如何转化为联合 CDF 的尖锐界。


三、这篇论文做了什么

三句话

① 研究了什么问题:在观测机制完全不受限制(选择性不完全观测)的条件下,结合已知边缘分布与观测到的子分布,对联合 CDF 的取值给出尖锐的识别界。 ② 核心工具/方法:将识别问题精确约化为有限维优化——下界转化为最大流/最小割问题,上界转化为分数打包问题(线性规划);通过"二元阈值指示"的离散化,将无穷维测度优化约化为有限维线性规划。 ③ 主要结论:得到了联合 CDF 下界(Theorem 4.1 公式 4.3)和上界(公式 4.4)的显式刻画;证明了即使没有任何一对结果被同时观测到,不完全记录也能严格收紧经典 FH 界;给出了可观测的充分条件(Corollary 4.2)判断何时发生严格收紧。

关键设定与假设

  • 观测模式:S 是取值于 2^[d] 的随机集合,与 X 的依赖完全不受限制。这是本文最核心的假设——它比 MCAR、MAR 或 ignorability 都弱得多。
  • 已知量:边缘分布 Fⱼ(外部已知)和观测子分布 µ_T(从数据中识别)。不需要假设观测模式与结果独立。
  • 目标量:联合 CDF 在固定阈值 x 处的取值 H(x) = P(X₁ ≤ x₁, ..., X_d ≤ x_d)。
  • 技术假设:Xⱼ 为 Polish 空间(保证测度论正则性);µ_T 为有限测度;Fⱼ 为概率测度。不需要连续性假设(阈值指示的离散化避免了连续性要求)。
  • 与已有文献的比较:相比经典 FH 界(只用边缘),本文加入了观测子分布约束;相比 Torgovitsky(2019)的线性系统方法,本文声称给出了更显式的界公式(最大流/最小割),而非仅线性方程组刻画;相比 Fan et al.(2023)的矩模型,本文允许任意观测模式而非特定的缺失结构。

主要结果

Theorem 3.1(精确二元约化与提升):这是全文的技术核心。它声称(这是作者的说法):对于任何满足观测约束和边缘约束的二元指示向量 D 的分布,都存在一个完整的实值结果向量 X 的分布,使得 X 的边缘分布等于 Fⱼ,且 X 的阈值指示分布恰好等于该二元分布。换句话说,二元阈值指示层面的可行性完全刻画了实值层面的可行性——不需要考虑阈值指示之外的任何信息。这个"提升"(lifting)结果使得无穷维测度优化问题可以约化为有限维线性规划。

Theorem 4.1(尖锐多元 Fréchet–Hoeffding 界): - 下界(公式 4.3):H̲(x) = max_{J⊆[d]} { Σ_{T: M(T)⊆J} a_T − Σ_{j∈J} rⱼ⁰ } 直觉:要最小化联合通过概率,我们需要选择一组坐标 J,将"eligible mass"(所有观测坐标都通过阈值的模式)尽可能多地排除在联合通过事件之外。每个坐标 j ∈ J 的"缺失零概率" rⱼ⁰ 是排除的容量限制。 - 上界(公式 4.4):H̄(x) = max { Σ_T t_T : 0 ≤ t_T ≤ a_T, Σ_{T: j∈M(T)} t_T ≤ rⱼ¹, ∀j } 直觉:要最大化联合通过概率,我们需要将"eligible mass"尽可能多地分配给"所有缺失坐标也通过阈值"的事件。每个坐标 j 的"缺失一概率" rⱼ¹ 是资源限制。 - 等价刻画(公式 4.5):上界有对偶形式 H̄(x) = min_{λ∈R⁺ᵈ} { Σⱼ λⱼ rⱼ¹ + Σ_T a_T (1 − Σ_{j∈M(T)} λⱼ)⁺ },这是分数打包问题的线性规划对偶。

Corollary 4.2(识别量与严格收紧): - 下界严格大于经典 FH 下界 ⇔ 存在 J 使得 Σ_{T: M(T)⊆J} a_T − Σ_{j∈J} rⱼ⁰ > max{0, Σⱼ qⱼ − (d−1)} - 上界严格小于经典 FH 上界 ⇔ 存在 λ 使得 Σⱼ λⱼ rⱼ¹ + Σ_T a_T (1 − Σ_{j∈M(T)} λⱼ)⁺ < minⱼ qⱼ - 给出了可观测的充分条件:例如,若存在两个模式 T₁, T₂ 使得 a_{T₁} > 0 且 a_{T₂} > 0,且它们的缺失坐标集合有重叠,则可能发生严格收紧。

公式 4.9(可观测的下界证书): H̲(x) ≥ Σⱼ qⱼ − (d−1) + E[(N₀ − 1)⁺] 其中 N₀ = Σ_{j∈S} (1 − Dⱼ) 是观测到的零的个数。这个不等式表明:观测到的"零"(即观测坐标未通过阈值)越多,下界越高。直觉:如果我们在多个观测中看到多个零,那么这些零不可能全部来自同一个坐标,因此联合通过的概率必须更高。

证明路线与技术技巧

整体路线(3-5 步主干):

  1. 二元约化:首先证明任何可行的二元指示分布都可以提升为完整的实值分布(Theorem 3.1)。证明思路:对每个模式 T 和阈值类别 a,在观测到的坐标上使用条件分布 µ_T(·|B^a_T),在缺失坐标上使用边缘分布 Fⱼ 的适当截断。关键是构造"独立填充"(independent filling):缺失坐标的条件分布只依赖于其边缘分布和阈值类别,不依赖于观测坐标的具体值。

  2. 下界:最大流/最小割:将"排除 eligible mass"的问题建模为网络流问题。构造一个二分图:左侧是坐标 j ∈ [d],右侧是模式 T。源点到坐标 j 的容量为 rⱼ⁰(可排除的缺失零概率),模式 T 到汇点的容量为 a_T(可排除的 eligible mass)。坐标 j 到模式 T 的边容量为无穷(如果 j ∈ M(T))。最小割的值即为最大可排除的 mass,从而得到下界公式 4.3。

  3. 上界:分数打包:将"分配 eligible mass 到联合通过事件"的问题建模为分数打包问题。每个模式 T 的 eligible mass a_T 需要分配给"缺失坐标全部通过"的事件,但每个坐标 j 的缺失一概率 rⱼ¹ 是总资源限制。这导致线性规划 4.4,其对偶 4.5 通过拉格朗日乘子 λⱼ 定价缺失一资源。

  4. 尖锐性构造:证明下界和上界都是可达的。下界通过"反单调"构造(countermonotonic):在选定的 J 上,将 eligible mass 的缺失坐标尽可能设为 0;上界通过"同单调"构造(comonotonic):将 eligible mass 的缺失坐标尽可能设为 1。关键是证明这些构造不违反观测子分布约束。

  5. 可观测证书:从最大流/最小割的对偶推导出公式 4.9,给出一个仅依赖可观测量的下界。

技术技巧点名:

  • 最大流/最小割定理(Ahuja et al. 1993):用于下界的显式公式化。这是组合优化的经典工具,在这里被用来刻画"最大可排除概率"。
  • 线性规划对偶(Schrijver 2003):用于上界的对偶表示(公式 4.5),将分数打包问题转化为定价问题。
  • 测度提升(lifting):Theorem 3.1 的核心技巧——从二元指示分布构造完整的实值分布。这类似于 copula 理论中的"子 copula 延拓"(Sklar 定理的推广),但允许观测模式与结果相关。
  • 反单调/同单调耦合:用于构造尖锐性。这是 Fréchet 界理论的标准工具,但在这里被推广到"部分观测"的设定。
  • 剩余概率分解:将边缘约束分解为"观测到的部分"和"缺失的部分"(公式 2.4 的 Rⱼ),这是连接观测子分布与边缘约束的关键。

真实例子与应用

例子 1:三代收入流动性(Section 6)。设 X₁, X₂, X₃ 为三代人的收入,已知每代处于最低收入五分之一(bottom quintile)的概率 qⱼ = 0.2。观测模式为 ∅, {1}, {2}, {3},各占 1/4。在观测到单代收入的模式中,P(Dⱼ = 1 | S = {j}) = 0.5。因此 a_∅ = 0.25, a_{j} = 0.125, rⱼ¹ = 0.075, rⱼ⁰ = 0.675。经典 FH 上界为 minⱼ qⱼ = 0.2。本文上界为 0.1125(公式 6.1),改善了 43.75%。这个例子说明:即使没有任何两代人的收入被同时观测到,单代观测记录也能大幅收紧三代同时处于最低收入组的概率上界。直觉:如果每代单独观测时只有 50% 的概率处于最低组,但总体边缘概率只有 20%,那么"缺失的"最低组概率(rⱼ¹ = 0.075)很小,限制了联合通过的概率。

例子 2:潜在结果 copula 界(Section S6)。设 X₁ = Y(0), X₂ = Y(1) 为潜在结果,S = {1} 表示接受对照,S = {2} 表示接受处理。假设 p₀ = p₁ = 1/2,边缘概率 q₀ = q₁ = 0.5,观测到的条件概率 P(Y(z) ≤ c | S = {z}) = 0.8。则 a₀ = a₁ = 0.4,rⱼ¹ = 0.1。本文界给出 H(c,c) ∈ [0, 0.2],而经典 FH 界为 [0, 0.5]。这个例子说明:在完全不受限的处理分配机制下,观测到的处理组和对照组子分布可以显著收紧"处理不降低结果"的概率界。这比传统工具变量或 ignorability 假设下的结果更稳健。

例子 3:高维分割问卷(Section S7)。d = 20 个指标,分为 4 个模块,每个模块 5 个指标。观测模式为各模块(以及空模式),每个模式概率 0.2。边缘概率 qⱼ = 0.84。本文界给出 H ∈ [0, 0.2],而经典 FH 界为 [0, 0.84]。这个例子说明:在高维分割问卷设计中,即使没有任何两个模块被同时观测到,观测到的模块内联合分布也能大幅收紧所有 20 个指标同时达标的概率上界。计算上,上界只需解 5 个变量的线性规划(每个模式一个变量),而非 2²⁰ 个。

🔎 结论是否比证明窄

  • Theorem 3.1 的"提升"声称:作者声称二元约化是"精确"的,即任何二元指示分布都可以提升为实值分布。但证明中构造的实值分布在缺失坐标上使用了"独立填充",这可能不适用于某些需要特定依赖结构(如高斯 copula)的设定。作者没有讨论这一点。
  • Theorem 4.1 的"逐点尖锐":作者声称界是逐点尖锐的,即对每个固定的阈值 x,存在一个联合分布达到下界、另一个达到上界。但没有声称存在一个联合分布同时达到所有阈值点的界(即"一致尖锐")。在 Section 5 中作者承认"Sharpness is pointwise in general",并指出在 d=2, p_∅=0 时才是均匀尖锐的。这是一个明确的窄结论。
  • 公式 4.9 的"可观测证书":这个下界只使用了 N₀(观测到的零的个数),没有使用观测到的"一"的信息。作者没有声称这是最优的可观测证书,但它确实是一个简单且可计算的下界。
  • 计算复杂度:作者在 Section 5 中承认"the reduction does not imply polynomial complexity in d, since there may be 2^d patterns"。这意味着上界计算在最坏情况下仍是指数级的,尽管实际中通常只有少数模式出现。

四、开放问题

  1. 估计与推断(扎根于 Section 7:"Sampling uncertainty in (F, µ) lies outside the present population identification analysis"):本文只处理了总体层面的识别问题。当边缘分布 Fⱼ 和子分布 µ_T 都需要从有限样本估计时,如何构造 H(x) 的置信区间?这需要处理"估计误差传播"和"部分识别集"的推断问题——这是部分识别文献中的经典难题(参见 Imbens and Manski 2004 的置信区间构造)。

  2. 一致尖锐性(扎根于 Section 5:"Sharpness is pointwise in general"):在 d > 2 或 p_∅ > 0 时,是否存在一个联合分布同时达到所有阈值点的下界(或上界)?如果没有,能否刻画"一致尖锐"的充分条件?这与 copula 理论中的"相容性"(compatibility)问题密切相关。

  3. 观测模式与结果的依赖结构(扎根于 Section 2:"I impose no restrictions on the dependence between S and X"):本文假设观测机制完全不受限制。如果额外假设观测模式满足某种结构(如单调性、或依赖于结果的某种可观测函数),界能否进一步收紧?这与缺失数据文献中的"可忽略性"(ignorability)假设的放松有关。

  4. 计算复杂度(扎根于 Section 5:"the reduction does not imply polynomial complexity in d"):当模式数量为 2^d 时,上界计算是否可以在多项式时间内完成?是否存在近似算法?这与"分数打包"问题的近似算法有关。

  5. 与其他部分识别方法的联系(扎根于 Section 1 引用的 Torgovitsky 2019):本文的线性规划方法与 Torgovitsky(2019)的"子分布延拓"方法在计算复杂度和界的大小上是否有系统性的比较?在哪些设定下一种方法严格优于另一种?

  6. 高维分割问卷的最优设计(扎根于 Section S7):给定预算约束(如最多能观测 K 个模块),如何设计分割问卷使得联合 CDF 的识别界最紧?这是一个实验设计问题,与"最优子抽样"(optimal subsampling)有关。


给研究者的提示:若要确认上述某条是否是真 gap,建议去读以下近期文献的引言部分(约 5 篇):(i) 部分识别与最优传输的交叉(如 Blanchet et al. 2022);(ii) 缺失数据与 copula 延拓(如 Genest and Neslehova 2023);(iii) 高维分割问卷的统计推断(如 Raghunathan and Grizzle 1995 的后续工作)。如果这些文献的引言都指向同一个未解决问题,那大概率是共识性 gap;如果它们互相矛盾,那可能是机会。


Maintained by 陈星宇 · Homepage · Source on GitHub

评论