跳转至

Nonparametric Bayesian Inference for Partially Identified Discrete Response Models

作者: Elie Tamer, Christopher D. Walker
主题: 因果推断
相关性: 7/10
链接: https://arxiv.org/abs/2608.25814

一、领域脉络与小综述

这个方向是什么

本文研究的核心问题是：如何对由条件矩不等式或线性系统定义的部分识别（partially identified）模型进行统计推断。这类模型在计量经济学中广泛出现（如博弈、动态选择、有限考虑集等），其特点是结构参数γ的识别集（identified set）Γ_I 由一组关于简约式（reduced-form）条件概率质量函数（PMF） p(X) 的不等式约束定义。因此，对p(X)的统计推断直接转化为对Γ_I的推断。当前该领域的成熟度较高，已有大量频率学派方法，但贝叶斯方法在处理连续协变量X时面临挑战，本文试图填补这一空白。

发展脉络（history）

  • 奠基工作：Manski (1987) 和 Tamer (2003) 奠定了部分识别离散响应模型的理论基础，指出识别集可由条件矩不等式刻画。Honoré and Tamer (2006) 将线性规划方法引入动态面板离散选择模型的识别集计算。
  • 主要进展（频率学派）：Andrews and Shi (2013, 2014) 和 Armstrong (2014, 2015) 发展了基于条件矩不等式的频率推断方法，核心思路是将条件矩转化为一组用户指定的无条件矩（通过工具变量或离散化协变量）。Chernozhukov et al. (2007) 提出了基于准则函数水平集的识别集估计与置信区域构造的一般框架。Khan and Tamer (2009) 和 Chen et al. (2018) 进一步推进了相关方法。
  • 贝叶斯方法的早期尝试：Kline and Tamer (2016) 提出了一个贝叶斯框架，但将简约式参数限制为有限维（例如，通过离散化协变量）。Liao and Simoni (2019) 和 Florens and Simoni (2021) 也提出了简约式贝叶斯推断，但同样要求简约式参数能以参数速率估计，从而排除了连续协变量的情形。Norets and Tang (2014) 对动态离散选择模型提出了贝叶斯方法，但限于有限状态空间。
  • 当前frontier与本文位置：本文直接针对连续协变量X，将非参数贝叶斯工具（高斯过程先验）用于推断条件PMF p(X)，从而避免了离散化或选择无条件矩的信息损失。作者将本文定位为Kline and Tamer (2016) 从有限维到无限维的自然推广，并声称其框架在灵活性上可与频率学派非参数方法媲美，同时享有贝叶斯推断的便利性。

子线索聚类

  1. 频率学派部分识别推断：以Andrews and Shi (2013, 2014)、Chernozhukov et al. (2007)、Armstrong (2014) 为代表。核心是构造基于无条件矩的检验或置信区域，需要用户选择工具变量或离散化方案。本文认为这些选择可能损失识别信息或导致对误设敏感。
  2. 简约式贝叶斯推断：以Kline and Tamer (2016)、Liao and Simoni (2019)、Florens and Simoni (2021) 为代表。核心是对可识别的简约式参数（如条件概率或支持函数）赋予先验，然后通过后验推断识别集。这些方法通常假设简约式参数是有限维或能以参数速率估计。
  3. 非参数贝叶斯条件分布估计：以Dunson and Park (2008)、Ren et al. (2011)、Norets and Pelenis (2014, 2022a,b) 为代表。发展了基于stick-breaking和高斯过程的条件分布估计方法。本文直接借用这些工具作为其推断框架的“引擎”。

这个方向在追问的核心问题

  1. 如何在不损失识别信息的前提下处理连续协变量？ 频率学派方法通常需要离散化或选择工具变量，这可能导致识别集变“松”（outer set）。贝叶斯方法能否直接利用条件矩的原始形式？
  2. 贝叶斯后验在部分识别模型中的大样本行为如何？ 一个经典担忧是，在部分识别模型中，先验可能无法被数据完全修正（Poirier, 1998）。本文通过将先验置于可识别的简约式参数p上，而非直接置于不可识别的结构参数γ上，试图规避这一问题。
  3. 如何检测模型误设？ 部分识别模型（如博弈模型）常因对未观测异质性的参数化假设而误设。一个理想的推断框架应能提供误设诊断。

⚠️ 作者的framing

作者将缺口frame为：现有贝叶斯方法（Kline and Tamer, 2016; Liao and Simoni, 2019）无法处理连续协变量，而频率学派方法（Andrews and Shi, 2013）需要用户做出ad hoc选择（离散化、选工具变量），这些选择可能损失识别信息或导致对误设敏感。因此，本文的“显然的下一步”是：直接对条件PMF进行非参数贝叶斯推断，从而避免上述问题。

被淡化或回避的竞争路线： - 作者承认频率学派非参数方法（如Andrews and Shi, 2013）具有灵活性，但强调其需要用户选择工具变量。然而，频率学派也有直接处理条件矩的方法（如Armstrong, 2014的加权KS统计量），作者对此的讨论相对简略。 - 作者将本文与Walker (2026) 的关系类比为Kline and Tamer (2016) 与Chamberlain and Imbens (2003) 的关系，即从点识别推广到部分识别。但Walker (2026) 处理的是条件矩等式，而本文处理不等式，这带来了额外的技术复杂性（如识别集可能为空、下半连续性条件等）。

值得研究者去查的问题： - 作者在引言中引用了大量关于“线性系统”的文献（如Bai et al., 2022, 2026; Fang et al., 2023; Goff and Mbakop, 2025），但本文的线性系统例子（Example 2）似乎主要基于Khan et al. (2023) 的动态二元选择模型。这些被引文献中是否有更一般的线性系统框架，其识别集结构是否与本文的假设兼容？ - 作者提到了“spurious precision”问题（Appendix C.3），即当伪识别集有平坦底部时，后验可能集中在伪识别集的子集上，导致虚假的精确性。这是一个重要的警告，但作者仅将其放在附录中。这个问题在实证应用中是否常见？

张力

未见明显对立引用。所有被引工作基本都承认“部分识别模型由条件PMF定义”这一共同结构，分歧主要在于推断方法（频率 vs. 贝叶斯、参数 vs. 非参数）。

二、最核心、最简单的例子 / 数学问题

第一步：把符号、模型、可观测数据交代清楚

  • 符号：
  • \(Y\)：离散结果变量，取值于有限集 \(\mathcal{Y} = \{y_1, \dots, y_K\}\)。
  • \(X\)：协变量向量，可以是连续的，取值于 \(\mathcal{X} \subseteq \mathbb{R}^{d_x}\)。
  • \(p(X) = (p_1(X), \dots, p_K(X))\)：条件概率质量函数（PMF），其中 \(p_k(X) = P(Y = y_k | X)\)。这是简约式参数，是本文推断的直接对象。
  • \(\gamma\)：有限维结构参数（如支付参数），取值于 \(\Gamma \subseteq \mathbb{R}^{d_\gamma}\)。这是目标参数，但可能是部分识别的。
  • \(\Gamma_I\)：识别集（identified set），定义为 \(\Gamma_I = \{\gamma \in \Gamma : f(X, p(X), \gamma) \ge 0 \text{ a.s.}\}\)，其中 \(f\) 是一个已知的向量值函数。
  • \(Q_n(\gamma, p)\)：准则函数，用于判断 \(\gamma\) 是否属于识别集。它只通过 \(p\) 在观测到的协变量点 \(\{x_i\}_{i=1}^n\) 上的值依赖于 \(p\)。
  • \(\Pi\)：定义在 \(p\) 上的先验分布。

  • \(\Pi_n(\cdot | Y^{(n)})\)：基于样本 \(Y^{(n)} = (Y_1, \dots, Y_n)\) 的后验分布。

  • 模型：

  • 数据生成过程：给定协变量 \(X_i = x_i\)，结果 \(Y_i\) 独立地服从以 \(p_0(x_i)\) 为PMF的分类分布（Categorical distribution）。即 \(Y_i | X_i = x_i \sim \text{Categorical}(p_0(x_i))\)。
  • 这是一个条件模型：我们不对 \(X\) 的边缘分布做假设，而是条件于观测到的 \(X\) 值。

  • 识别集 \(\Gamma_I\) 由关于 \(p\) 的条件矩不等式定义。例如，在条件矩不等式模型中，\(f(X, p(X), \gamma) = E[g(Y, X, \gamma) | X]\)，其中 \(g\) 是已知函数。

  • 可观测数据：

  • 研究者观测到 \(\{(Y_i, X_i')\}_{i=1}^n\)，其中 \(Y_i\) 是离散的，\(X_i\) 可以是连续的。
  • 可观测的是 \(Y_i\) 和 \(X_i\) 的具体取值。
  • 想要但观测不到的是：
    1. 真实的简约式PMF \(p_0(X)\)。它只能通过 \(Y_i\) 和 \(X_i\) 的关系被推断。
    2. 结构参数 \(\gamma\) 的真实值（如果点识别的话）或识别集 \(\Gamma_I\)。后者是 \(p_0\) 的函数，因此对 \(p_0\) 的不确定性会传递到对 \(\Gamma_I\) 的不确定性。

第二步：讲最小内核

本文的核心思路可以用一个最简特例来理解：一个二元结果（K=2）、一个连续协变量X、一个由单个条件矩不等式定义的识别集。

  • 设定：
  • \(Y \in \{0, 1\}\)，\(X \in [0, 1]\)。
  • 简约式参数是 \(p(X) = P(Y=1 | X)\)。
  • 结构参数 \(\gamma \in \Gamma \subseteq \mathbb{R}\)。
  • 识别集由单个条件矩不等式定义：\(\Gamma_I = \{\gamma : E[g(Y, X, \gamma) | X] \ge 0 \text{ a.s.}\}\)。

  • 假设 \(g(Y, X, \gamma) = Y - \gamma\)，那么条件矩不等式变为 \(E[Y|X] - \gamma \ge 0\)，即 \(\gamma \le p(X)\) 对所有 \(X\) 成立。因此，识别集是 \(\Gamma_I = (-\infty, \inf_X p(X)]\)。

  • 核心观察：

  • 识别集 \(\Gamma_I\) 完全由未知函数 \(p(\cdot)\) 决定。如果我们知道了 \(p(\cdot)\)，我们就知道了 \(\Gamma_I\)。

  • 因此，对 \(p(\cdot)\) 的统计推断直接转化为对 \(\Gamma_I\) 的推断。

  • 贝叶斯推断过程：

  • 对 \(p(\cdot)\) 赋予先验：使用高斯过程（GP）先验。例如，令 \(B(X) \sim \mathcal{GP}(0, \kappa(\cdot, \cdot))\)，然后通过逻辑链接函数 \(p(X) = \Lambda(B(X)) = e^{B(X)}/(1+e^{B(X)})\) 得到 \(p(X)\) 的先验。
  • 计算后验：基于观测数据 \(\{(Y_i, X_i)\}_{i=1}^n\)，计算 \(p(\cdot)\) 的后验分布 \(\Pi_n(p | Y^{(n)})\)。由于GP先验和逻辑链接，后验可以通过Pólya-Gamma数据增广进行Gibbs采样。

  • 推断识别集：对于后验的每一次抽样 \(p^{(s)}\)，计算对应的识别集 \(\Gamma_I^{(s)} = (-\infty, \inf_{i=1,\dots,n} p^{(s)}(X_i)]\)。这些 \(\Gamma_I^{(s)}\) 的集合就构成了识别集的后验分布。

  • 这个特例说明了什么：

  • 问题本质：推断一个由函数 \(p(\cdot)\) 定义的集合，等价于推断这个函数本身。
  • 关键想法：将先验放在可识别的 \(p\) 上，而不是不可识别的 \(\gamma\) 上。这样，后验会随着数据增加而集中于真实的 \(p_0\)，从而也集中于真实的 \(\Gamma_I\)。
  • 技术挑战：当 \(X\) 连续时，\(p(\cdot)\) 是无限维的，需要非参数贝叶斯工具（如GP）来建模。后验一致性（即后验是否集中于真实值）在无限维空间中是一个微妙的问题，需要仔细验证。

三、这篇论文做了什么

  • 三句话：
  • 本文针对由条件PMF定义的部分识别离散响应模型，提出了一种非参数贝叶斯推断框架。
  • 核心工具是使用高斯过程（GP）先验对条件PMF进行建模，并通过Pólya-Gamma数据增广实现闭式后验采样，从而将PMF的后验映射为识别集的后验。

  • 主要结论是证明了在正确设定下后验对真实识别集的一致性，以及在误设下后验对伪识别集的一致性和对误设的检测能力。

  • 关键设定与假设：

  • 设定：数据 \(\{(Y_i, X_i')\}_{i=1}^n\)，\(Y_i\) 离散，\(X_i\) 连续。模型为 \(Y_i | X_i \sim \text{Categorical}(p(X_i))\)。识别集 \(\Gamma_{n,I}(p) = \{\gamma \in \Gamma : f(x_i, p(x_i), \gamma) \ge 0, \forall i=1,\dots,n\}\)，其中 \(f\) 是已知函数。

  • 关键假设：

    • Assumption 1 & 2：标准正则性条件，确保后验定义良好。
    • Assumption 3：参数空间 \(\Gamma\) 是紧致的。
    • Assumption 4：准则函数 \(Q_n(\gamma, p)\) 关于 \(\gamma\) 下半连续，关于 \(p\) 可测。这是为了将识别集视为一个随机闭集。
    • Assumption 5 (DGP)：数据由真实的 \(p_0\) 生成，且真实识别集非空，准则函数在识别集外有正的下界（well-separated condition）。
    • Assumption 6 (Prior)：后验集中在某个筛子 \(P_n\) 和 \(p_0\) 的邻域内（后验集中），且在该邻域内准则函数一致收敛，并且识别集映射满足下半连续性。
    • Assumption 7 & 8 (Covariates & GP Prior)：协变量 \(X\) 在 \([0,1]^{d_x}\) 上，密度有界；GP先验的样本路径光滑且一致有界。这些是验证Assumption 6的低层条件。

  • 主要结果：

  • Theorem 4 (后验一致性)：在Assumptions 1-6下，对于几乎所有的协变量序列，后验 \(\Pi_n(\cdot | Y^{(n)})\) 在Hausdorff距离下收敛到真实识别集 \(\Gamma_{n,I}(p_0)\)。即，随着样本量增大，后验质量集中在真实识别集附近。
  • Theorem 5 (误设诊断)：如果模型误设（即真实 \(p_0\) 下识别集为空），后验概率 \(\Pi_n(\Gamma_{n,I}(p) = \emptyset | Y^{(n)})\) 趋近于1。这提供了一个一致的误设诊断。
  • Theorem 6 (误设下的后验一致性)：在误设下，后验对伪识别集 \(\tilde{\Gamma}_{n,I}(p)\)（准则函数的全局最小值点集）是一致的。

  • Proposition 7 & 8 (GP先验的后验集中率)：对于logistic stick-breaking GP先验，后验在经验 \(L_2\) 范数下以最优（minimax）速率集中于真实 \(p_0\)，并且在更强的经验上确界范数下也是一致的（在额外光滑性条件下）。这为验证Assumption 6提供了低层条件。

  • 证明路线与技术技巧：

  • 整体路线：
    1. 将问题转化为随机闭集：证明识别集映射 \(\Gamma_{n,I}: p \mapsto \Gamma_{n,I}(p)\) 是一个随机闭集，从而其后验由容量泛函唯一决定。
    2. 后验集中：证明后验集中在 \(p_0\) 的某个“好”邻域 \(V_{n,\delta_n}\) 内（Assumption 6.1）。这个邻域由筛子 \(P_n\) 和半度量 \(d_n\) 定义。
    3. 一致收敛与下半连续性：证明在 \(V_{n,\delta_n}\) 上，准则函数 \(Q_n(\gamma, p)\) 一致收敛到 \(Q_n(\gamma, p_0)\)（Assumption 6.2），且识别集映射 \(p \mapsto \Gamma_{n,I}(p)\) 满足下半连续性（Assumption 6.3）。
    4. Hausdorff距离收敛：利用一致收敛性证明后验不会将质量放在真实识别集 \(\Gamma_{n,I}(p_0)\) 的“膨胀”外部；利用下半连续性证明后验不会将质量放在真实识别集的“收缩”内部。结合两者得到Hausdorff距离下的后验一致性。
  • 关键跳跃点：
    • 从后验集中到准则函数一致收敛：这是连接贝叶斯推断和频率学派一致性的桥梁。需要证明，如果后验集中在 \(p_0\) 附近，那么由 \(p\) 计算的准则函数 \(Q_n(\gamma, p)\) 与由 \(p_0\) 计算的 \(Q_n(\gamma, p_0)\) 相差不大。这依赖于 \(Q_n\) 对 \(p\) 的连续性。
    • 验证下半连续性：对于凸识别集，作者通过Slater条件和凸分析（Lagrange乘子）证明了下半连续性（Proposition 4）。对于非凸但可分解为凸集并集的情形，通过Corollary 4处理。对于伪识别集，需要更强的“弱尖锐最小值”条件（Proposition 5 & 6）。
    • GP先验的后验集中率：证明GP先验的后验在经验上确界范数下一致（Proposition 8）是技术难点。作者使用了小波插值技巧，将问题转化为对投影到小波基上的有限维参数的控制，并利用GP的RKHS性质。

  • 技术技巧点名：

    • 随机集理论：用于形式化识别集的后验分布（Theorem 1, 2）。
    • Pólya-Gamma数据增广：用于实现GP先验下的闭式后验采样（Section 3.2）。
    • 凸分析：用于验证识别集映射的下半连续性（Proposition 4），特别是利用Slater条件和Lagrange乘子的有界性。
    • 小波插值：用于将经验上确界范数下的后验集中问题转化为经验 \(L_2\) 范数下的问题，从而利用已有的GP后验集中率结果（Proposition 8）。
    • 经验过程理论：用于构造检验函数，证明后验集中率（Proposition 7的证明中引用了Ghosal and van der Vaart, 2007的引理）。

  • 真实例子与应用：

  • 模拟实验：使用一个动态面板二元选择模型（Khan et al., 2023）进行模拟。
  • 数据/场景：生成 \(n=100, 500, 1000, 2000\) 个独立截面单元，每个单元有2个时间点。协变量 \(X_1, X_2\) 独立同分布于 \(U[-2,2]\)。真实参数 \(\beta=1, \theta=0.5\)。
  • 方法应用：使用logistic stick-breaking GP先验，通过Gibbs采样得到 \(p\) 的后验，然后对每个后验样本求解线性规划问题 \(Q^{LP}_n(\gamma, p)\) 来得到伪识别集 \(\tilde{\Gamma}_{n,I}(p)\) 的后验。
  • 结果：
    1. 后验概率图（Figure 2）：展示了 \(\beta\) 和 \(\theta\) 属于识别集的后验概率。随着 \(n\) 增大，后验概率集中在真实识别集（由真实 \(p_0\) 计算得到）附近。
    2. 平均绝对偏差（MAD）表（Table 1）：计算了后验期望的Hausdorff距离 \(E[d_H(\tilde{\Gamma}_{n,I}(p), \Gamma_{n,I}(p_0)) | Y^{(n)}]\) 的MAD。MAD随 \(n\) 增大而减小（从1.733降至0.548），表明后验越来越集中于真实识别集。

  • 这个例子想说明什么：

    1. 验证理论：模拟结果支持了Theorem 4和6的后验一致性结论。
    2. 展示优势：与将协变量二值化的传统方法（Figure 3）相比，本文方法得到的识别集更“紧”（sharp），信息量更大。这直接回应了作者在引言中批评的“离散化导致信息损失”问题。
    3. 计算可行性：展示了所提出的Gibbs采样算法在实际中是可运行的。

  • 🔎 结论是否比证明窄：

  • Theorem 4 的结论是后验在Hausdorff距离下一致于条件识别集 \(\Gamma_{n,I}(p_0)\)，而不是总体识别集 \(\Gamma_I(p_0)\)。作者通过Theorem 3指出，在i.i.d.协变量和well-separatedness条件下，\(\Gamma_{n,I}(p_0)\) 在Hausdorff距离下收敛到 \(\Gamma_I(p_0)\)。因此，Corollary 3将后验一致性推广到了总体识别集。这个推广依赖于Theorem 3的条件，而这些条件（特别是well-separatedness）可能在某些应用中不成立。
  • Proposition 8 关于经验上确界范数后验一致性的证明，依赖于一个额外的Assumption 9（关于小波基的假设）。作者在Appendix E.2.1中论证，对于Matérn GP，该假设等价于要求光滑参数 \(\alpha_k > (1+\sqrt{5})d_x/4\)。这是一个比通常保证经验 \(L_2\) 一致性的条件（\(\alpha_k > d_x/2\)）更强的条件。因此，论文在最强范数下的结论比在较弱范数下的结论更窄（需要更强的假设）。
  • Theorem 6 关于误设下伪识别集的后验一致性，依赖于一个关键条件（Proposition 6的Condition 5），该条件要求伪识别集 \(\tilde{\Gamma}_{n,I}(p_0)\) 是单点集。作者在Appendix C.3中明确指出，当伪识别集有“平坦底部”时，这个条件会失败，并可能导致“spurious precision”。因此，Theorem 6的适用范围比其陈述可能暗示的要窄。作者随后提出了一个使用松弛伪识别集 \(\tilde{\Gamma}^t_{n,I}(p)\) 的补救措施（Proposition 11），但这并非Theorem 6的直接结论。

四、开放问题

  1. 验证低层条件：本文的后验一致性定理（Theorem 4）依赖于高层的Assumption 6。作者为GP先验验证了这些条件（Proposition 7 & 8），但这是针对特定的准则函数（如 \(Q_{n,r}\) 和 \(Q^{LP}_n\)）和特定的识别集结构（如凸集或凸集并集）。对于更一般的 \(f\) 函数或更复杂的识别集几何形状，验证Assumption 6.2（一致收敛）和6.3（下半连续性）可能是一个开放问题。扎根点：Section 4.2.1和4.2.2中的Proposition 1-6提供了充分条件，但并非对所有模型都容易验证。

  2. 扩展到连续响应：Section 5.2讨论了扩展到连续 \(Y\) 的情形，但后验一致性结果（Proposition 10）依赖于一个高层的假设，即后验集中在某个能使准则函数一致收敛的邻域内。对于连续 \(Y\)，如何构造类似于GP的先验并验证相应的后验集中率（特别是在强范数下）是一个开放问题。扎根点：Section 5.2, Proposition 10的陈述及其对“uniform convergence conditions”的依赖。

  3. 计算效率与高维协变量：本文的Gibbs采样算法需要对每个stick-breaking组件 \(k\) 的GP进行采样，其计算复杂度为 \(O(n^3)\)（由于需要求逆 \(n \times n\) 协方差矩阵）。当 \(n\) 很大或协变量维度 \(d_x\) 很高时，计算可能变得不可行。如何利用稀疏近似GP或变分推断来提高可扩展性是一个实际问题。扎根点：Section 3.2描述的Gibbs采样器，其计算瓶颈在于对 \(\kappa_{n,k}\) 求逆。

  4. 伪识别集的“spurious precision”问题：作者在Appendix C.3中揭示了一个重要问题：当伪识别集有平坦底部时，后验可能集中在某个子集上，导致虚假的精确性。作者提出了使用松弛伪识别集 \(\tilde{\Gamma}^t_{n,I}(p)\) 的补救措施，但如何在实际中选择松弛参数 \(t\)（或序列 \(t_n\)）是一个未解决的问题。扎根点：Appendix C.3, Proposition 11及其讨论。

Maintained by 陈星宇 · Homepage · Source on GitHub

评论