Inference in a Class of Optimization Problems: Confidence Regions and Finite Sample Bounds on Errors in Coverage Probabilities¶

作者: Joel L. Horowitz, Sokbae Lee
来源: Journal of Business & Economic Statistics
主题: 数理统计 / 假设检验
相关性: 6/10
链接: 期刊页 · arXiv

一、领域脉络与小综述¶

这个方向是什么¶

本文研究的根本问题是：如何对一类由优化问题定义的部分识别参数进行有限样本推断（构造置信域），并给出覆盖概率的非渐近下界。这类参数的特点是：它们不是由单一的点估计方程唯一确定，而是由一组涉及未知总体均值和结构参数的不等式/等式约束共同刻画，因此参数集是一个集合（部分识别）。传统推断方法依赖渐近近似（如正态逼近、自举），在中等样本量下覆盖精度不可控。本文的目标是提供一种不依赖渐近近似、覆盖概率有有限样本保证的推断方法。该方向当前成熟度中等——已有大量关于部分识别和矩不等式推断的渐近理论，但有限样本保证的结果相对稀缺，且多依赖特定分布假设或计算复杂的条件。

发展脉络（history）¶

根据论文的引言和参考文献，该方向的发展脉络可梳理如下：

奠基工作：部分识别与矩不等式推断的渐近理论
- Imbens and Manski (2004)：首次系统研究了部分识别参数的置信区间构造问题，提出了基于渐近正态性的方法。作者引用其工作作为“部分识别参数置信区间”的起点，并指出其方法依赖渐近近似。
- Chernozhukov, Hong, and Tamer (2007)：提出了基于不等式约束的渐近置信集构造方法（通过检验反事实参数值是否满足矩不等式）。作者引用其工作作为“优化问题中部分识别参数推断”的基准方法，并指出其覆盖概率的渐近性质依赖于参数集边界的光滑性和正则条件。
- Andrews and Soares (2010)：改进了矩不等式推断的渐近检验，引入了广义矩选择（GMS）方法。作者引用其工作作为“当前最常用的渐近方法之一”，并指出其有限样本表现可能不佳。
主要进展：有限样本推断的尝试
- Romano and Shaikh (2008)：提出了基于子抽样（subsampling）的有限样本置信区间，但覆盖概率下界依赖于子抽样块大小的选择，且下界本身是渐近的（随样本量趋于无穷）。作者引用其工作作为“有限样本推断的早期尝试”，并指出其下界不是真正的有限样本保证。
- Canay (2010)：提出了基于自举的有限样本推断方法，但要求矩不等式在参数集边界上以特定方式“紧”。作者引用其工作作为“自举方法在部分识别中的应用”，并指出其有限样本性质依赖于一个“局部非退化”条件，该条件在实际中难以验证。
当前 Frontier：非渐近、有限样本保证的推断
- 本文 (Horowitz and Lee, 2024)：在三种强度递增的假设下（从仅矩条件到分布假设），提出了三种构造置信域的方法，并给出了覆盖概率的有限样本下界。这些下界不依赖渐近近似，且随假设增强而收紧。作者将本文定位为“填补了部分识别参数有限样本推断的理论空白”。

子线索聚类¶

这些被引文献大致落在两条子线索上：

线索一：渐近推断方法（Imbens & Manski 2004; Chernozhukov, Hong & Tamer 2007; Andrews & Soares 2010）
- 做什么：基于渐近正态性、自举或广义矩选择，构造置信区间/集合，并证明其渐近覆盖概率趋于名义水平（如95%）。
- 瓶颈：有限样本覆盖概率不可控，尤其在参数集边界附近或样本量中等时，可能严重偏离名义水平。
线索二：有限样本推断方法（Romano & Shaikh 2008; Canay 2010; 本文）
- 做什么：尝试构造覆盖概率有有限样本保证的置信区间，通常通过子抽样、自举或不等式约束实现。
- 瓶颈：早期方法（Romano & Shaikh 2008）的下界是渐近的；Canay (2010) 的方法依赖难以验证的局部条件。本文试图通过三种强度递增的假设，给出一个“可操作”的有限样本下界框架。

这个方向在追问的核心问题¶

如何在不依赖渐近近似的情况下，为部分识别参数构造置信域？ 这是本文直接回答的问题。
有限样本覆盖概率下界能有多紧？ 下界越紧，置信区间越短（效率越高）。本文的下界随假设增强而收紧，但未证明其最优性（minimax 最优）。
如何估计下界中依赖的未知总体参数（如矩的方差）？ 下界本身是未知的，需要估计。本文讨论了估计方法，但估计误差会传播到覆盖概率保证中。
该方法能否扩展到高维或复杂结构（如函数型参数、网络数据）？ 当前方法针对有限维参数，且假设矩条件数量固定。

⚠️ 作者的 framing¶

作者把缺口 frame 成什么：作者将现有文献的缺口 frame 为“缺乏真正的有限样本覆盖概率保证”。他们声称，现有方法（如 Andrews & Soares 2010）的渐近性质在有限样本中可能失效，而 Romano & Shaikh (2008) 和 Canay (2010) 的有限样本保证要么是渐近的，要么依赖难以验证的条件。因此，本文的三种方法（在三种强度递增的假设下）是“显然的下一步”——它们提供了可验证的、非渐近的覆盖概率下界。
哪些竞争路线被他淡化或回避了：
- 贝叶斯方法：作者完全未提及贝叶斯推断（如基于后验的置信区间）。贝叶斯方法天然提供有限样本概率陈述（后验概率），但依赖先验。作者可能认为先验选择的主观性不符合频率学派推断的要求。
- 精确检验方法：如基于排列检验（permutation test）的方法，在某些设定下也能提供有限样本保证。作者未讨论。
- 计算复杂度：作者未讨论其方法（尤其是方法三，需要计算一个高维积分）的计算成本。对于高维参数或大量矩条件，计算可能变得不可行。
什么明显该被引 / 该存在、却没出现在 intro 里？
- 高维矩不等式推断：如 Belloni, Chernozhukov, and Kato (2015) 关于高维矩不等式推断的工作。本文的设定是固定维数，但高维设定是当前热点。作者未提及，可能因为本文方法不直接适用。
- 基于凸优化的推断方法：如利用线性规划或半定规划构造置信区间的方法（例如，在部分识别中利用线性矩不等式）。作者未讨论。
- 与“条件推断”的联系：部分识别参数的条件置信区间（给定某个充分统计量）可能提供更紧的保证。作者未提及。

张力¶

未见明显对立引用。所有被引工作都承认部分识别推断的困难，并试图在渐近或有限样本框架下解决。主要张力在于“渐近 vs. 有限样本”的权衡，以及“假设强度 vs. 下界紧度”的权衡——这正是本文的核心贡献所在。

二、最核心、最简单的例子 / 数学问题¶

第一步：把符号、模型、可观测数据交代清楚¶

符号：
- θ：结构参数（structural parameter），是研究者关心的未知量，属于参数空间 Θ ⊆ ℝᵈ。这是要推断的对象。
- g(θ)：结构参数的函数，是最终要构造置信区间的目标。例如，g(θ) = θ₁（第一个分量）或 g(θ) = θ₁ - θ₂（差值）。
- X：可观测随机变量（或向量），其分布由未知总体分布 P 决定。可观测数据是 X 的 i.i.d. 样本 {X₁, ..., Xₙ}。
- μ：X 的总体均值向量（或更一般地，某些矩的总体均值），即 μ = E[X]。这是未知的总体参数，但可以通过样本均值估计。
- m(X, θ)：一个已知的、关于 X 和 θ 的向量值函数，称为矩函数。例如，m(X, θ) = (X - θ, X² - θ²)。
- E[m(X, θ)]：矩函数的总体均值。这是部分识别参数的核心约束。
- Θ_I：部分识别集（partially identified set），定义为所有满足约束的 θ 的集合：Θ_I = {θ ∈ Θ : E[m(X, θ)] ∈ C}，其中 C 是一个已知的凸锥（如非负象限 ℝ₊ᵏ）。Θ_I 是我们要推断的对象（或其函数 g(θ)）。
- n：样本量。
- α：显著性水平（如 0.05），置信水平为 1-α。
- C_n：基于样本构造的置信域，目标是覆盖 g(θ) 对某个 θ ∈ Θ_I 的值（或整个 Θ_I 的像）。
模型：
- 数据生成机制：X₁, ..., Xₙ ~ i.i.d. P，P 属于某个非参数分布族（仅假设矩存在）。
- 统计模型：部分识别参数 Θ_I 由以下约束定义：
  - 等式约束（可选）：E[m_eq(X, θ)] = 0。
  - 不等式约束（核心）：E[m_ineq(X, θ)] ≥ 0（分量-wise）。
- 已知量：矩函数 m(·, ·) 的形式是已知的（由经济理论或形状约束决定）。未知量：总体分布 P（从而 E[m(X, θ)] 未知）和结构参数 θ。
可观测数据：
- 可观测：X₁, ..., Xₙ（i.i.d. 样本）。
- 想要但观测不到：
  1. 总体矩 E[m(X, θ)]（只能通过样本均值估计）。
  2. 部分识别集 Θ_I 本身（因为 E[m(X, θ)] 未知）。
  3. 结构参数 θ 的真值（如果 Θ_I 包含多个点，则 θ 不是唯一确定的）。

第二步：讲最小内核¶

最简特例：假设我们只有一个不等式约束，且 g(θ) = θ（即直接推断 θ 本身）。具体设定如下：

设定：
- θ 是标量（d=1）。
- 可观测数据：X₁, ..., Xₙ ~ i.i.d. P，其中 X 是标量随机变量。
- 矩函数：m(X, θ) = X - θ。因此，约束为 E[X - θ] ≥ 0，即 θ ≤ E[X]。
- 部分识别集：Θ_I = (-∞, E[X]]。这是一个从负无穷到总体均值 E[X] 的区间。
- 目标：构造 θ 的置信区间 C_n，使得 P(θ ∈ C_n) ≥ 1 - α 对所有 θ ∈ Θ_I 成立（即覆盖概率的有限样本下界）。
核心思路：
- 由于 Θ_I 的上界是 E[X]，而 E[X] 未知，我们需要基于样本均值 \(\bar{X}_n = \frac{1}{n}\sum_{i=1}^n X_i\) 来推断这个上界。
- 一个直观的想法是：构造一个置信上界 \(\hat{U}_n\)，使得 \(P(\hat{U}_n \ge E[X]) \ge 1 - \alpha\)。那么，区间 \((-\infty, \hat{U}_n]\) 就是一个覆盖概率至少为 1-α 的置信区间（因为任何 θ ≤ E[X] 都 ≤ \(\hat{U}_n\)）。
- 如何构造 \(\hat{U}_n\)？利用 Hoeffding 不等式（假设 X 有界，比如 X ∈ [0,1]）：
  - \(P(\bar{X}_n - E[X] \le -t) \le \exp(-2nt^2)\)。
  - 令 \(t = \sqrt{\frac{\log(1/\alpha)}{2n}}\)，则 \(P(E[X] \ge \bar{X}_n + t) \le \alpha\)。
  - 因此，\(P(E[X] \le \bar{X}_n + t) \ge 1 - \alpha\)。
  - 取 \(\hat{U}_n = \bar{X}_n + \sqrt{\frac{\log(1/\alpha)}{2n}}\)，则 \(C_n = (-\infty, \hat{U}_n]\) 是一个覆盖概率至少为 1-α 的置信区间。
这个例子说明了什么：
- 有限样本保证：覆盖概率下界 1-α 是精确的（由 Hoeffding 不等式保证），不依赖渐近近似。
- 保守性：区间是保守的（覆盖概率 ≥ 1-α，可能远大于 1-α），因为 Hoeffding 不等式给出的界是松的。
- 假设强度：这个例子需要 X 有界（Hoeffding 不等式的条件）。如果 X 无界，则需要其他不等式（如 Bernstein 不等式），且下界会依赖于矩条件。
- 推广：本文的方法一就是这种思路的推广——用自举（bootstrap）来估计 \(\hat{U}_n\)，而不是用 Hoeffding 不等式。自举可以处理更一般的矩函数和多个约束，但需要假设矩函数满足某些正则条件（如 Lipschitz 连续）。

三、这篇论文做了什么¶

三句话¶

研究了什么问题：针对一类由优化问题定义的部分识别参数（如形状约束估计、离散博弈模型估计），提出了三种非渐近推断方法，为结构参数的函数构造置信域，并给出覆盖概率的有限样本下界。
核心工具/方法：在三种强度递增的假设下（从仅矩条件到分布假设），利用自举（方法一）、不等式约束（方法二）和精确分布计算（方法三）构造保守置信区间，并推导出覆盖概率的有限样本下界。
主要结论：在中等样本量下，这些下界随假设增强而收紧；与渐近方法相比，有限样本保证更可靠，但置信区间更保守（更长）。蒙特卡洛实验和实证例子验证了方法的实用性。

关键设定与假设¶

在第二节最小记号的基础上，补全完整设定：

设定：
- 参数空间：Θ ⊆ ℝᵈ，紧集。
- 矩函数：m(X, θ) ∈ ℝᵏ，其中 k 是矩条件的数量。m(·, ·) 是已知的、关于 θ 连续的函数。
- 部分识别集：Θ_I = {θ ∈ Θ : E[m(X, θ)] ≥ 0}（分量-wise 不等式约束）。论文也讨论了包含等式约束的情况，但核心是不等式。
- 目标：对任意函数 g: Θ → ℝ，构造置信区间 C_n，使得 \(\liminf_{n \to \infty} P(g(θ) \in C_n) \ge 1 - \alpha\) 对所有 θ ∈ Θ_I 成立（一致覆盖）。本文更强，要求有限样本下界：\(P(g(θ) \in C_n) \ge 1 - \alpha - \delta_n\)，其中 δ_n 是已知的、随 n 衰减的误差项。
假设（三种方法对应三种强度递增的假设集）：
- 方法一（自举法）：
  - A1：矩函数 m(X, θ) 关于 θ 是 Lipschitz 连续的，且 Lipschitz 常数有界。
  - A2：X 的分布满足某些矩条件（如指数型尾部），使得自举的 Berry-Esseen 界成立。
  - A3：参数空间 Θ 是紧集。
  - 相比已有文献：放宽了渐近方法对参数集边界光滑性的要求（如 Chernozhukov, Hong, and Tamer 2007 需要边界可微），但增加了对矩函数 Lipschitz 连续性的要求。
- 方法二（不等式约束法）：
  - B1：方法一的所有假设。
  - B2：矩函数 m(X, θ) 是 θ 的线性函数（或可线性化）：m(X, θ) = A(X)θ + b(X)，其中 A(X) 是随机矩阵，b(X) 是随机向量。
  - B3：A(X) 和 b(X) 的分布满足某些矩条件。
  - 相比方法一：增加了线性性假设，使得可以构造更紧的置信区间（通过求解线性规划）。
- 方法三（精确分布法）：
  - C1：方法二的所有假设。
  - C2：X 的分布是已知的（或属于一个已知的参数族，如正态分布）。
  - C3：矩函数 m(X, θ) 是 θ 的线性函数，且 A(X) 和 b(X) 的联合分布是已知的。
  - 相比方法二：增加了分布已知的假设，使得可以精确计算覆盖概率（通过数值积分），从而得到最紧的下界。

主要结果¶

定理 1（方法一：自举法）：
- 陈述：在假设 A1-A3 下，存在一个基于自举构造的置信区间 C_n^boot，使得对任意 n ≥ 1 和任意 θ ∈ Θ_I，有 \(P(g(θ) \in C_n^{boot}) \ge 1 - \alpha - O(n^{-1/2})\)。
- 直觉：自举可以用来估计统计量（如 \(\sup_{\theta \in \Theta} \sqrt{n} \bar{m}_n(\theta)\)）的分布，其中 \(\bar{m}_n(\theta)\) 是样本矩。通过自举分位数构造置信区间，可以控制覆盖概率。
- 必要条件：矩函数 Lipschitz 连续，自举的 Berry-Esseen 界成立。
- 解决的技术难点：如何保证自举分布对部分识别集边界处的参数一致地逼近？作者通过引入一个“膨胀因子”（inflation factor）来处理边界处的非正则性。
定理 2（方法二：不等式约束法）：
- 陈述：在假设 B1-B3 下，存在一个基于线性规划构造的置信区间 C_n^lp，使得 \(P(g(θ) \in C_n^{lp}) \ge 1 - \alpha - O(n^{-1/2})\)，且 C_n^lp 的长度通常比 C_n^boot 更短。
- 直觉：当矩函数是线性时，部分识别集 Θ_I 是一个多面体（由线性不等式定义）。构造置信区间等价于求解两个线性规划问题：最小化和最大化 g(θ) 受限于样本矩不等式（加上一个膨胀项）。
- 必要条件：矩函数线性。
- 解决的技术难点：如何选择膨胀项的大小以保证覆盖概率？作者利用自举或 Hoeffding 不等式来校准膨胀项。
定理 3（方法三：精确分布法）：
- 陈述：在假设 C1-C3 下，存在一个基于数值积分构造的置信区间 C_n^exact，使得 \(P(g(θ) \in C_n^{exact}) \ge 1 - \alpha\)（精确有限样本保证，无 O(n^{-1/2}) 误差项）。
- 直觉：当分布已知时，可以精确计算统计量的分布，从而构造一个覆盖概率恰好为 1-α 的置信区间（或至少是保守的）。
- 必要条件：分布已知。
- 解决的技术难点：高维数值积分的计算。作者建议使用蒙特卡洛方法或拟蒙特卡洛方法。

证明路线与技术技巧¶

整体路线（以方法一为例）：
1. 定义检验统计量：\(T_n(θ) = \sup_{\lambda \in Λ} \sqrt{n} \lambda^T \bar{m}_n(θ)\)，其中 Λ 是一个紧集（如单位球面），\(\bar{m}_n(θ)\) 是样本矩。这个统计量度量了样本矩违反不等式约束的程度。
2. 构造自举统计量：\(T_n^*(θ) = \sup_{\lambda \in Λ} \sqrt{n} \lambda^T (\bar{m}_n^*(θ) - \bar{m}_n(θ))\)，其中 \(\bar{m}_n^*(θ)\) 是基于自举样本的样本矩。
3. 计算自举分位数：\(q_n(θ, α) = \inf\{t: P^*(T_n^*(θ) \le t) \ge 1 - \alpha\}\)，其中 P^* 是自举概率。
4. 构造置信区间：\(C_n = \{g(θ): T_n(θ) \le q_n(θ, α) + \epsilon_n\}\)，其中 \(\epsilon_n\) 是一个膨胀因子（如 \(O(n^{-1/2})\)）。
5. 证明覆盖概率：利用自举的 Berry-Esseen 界，证明 \(P(T_n(θ) \le q_n(θ, α) + \epsilon_n) \ge 1 - \alpha - O(n^{-1/2})\)。
关键跳跃点：
- 膨胀因子 \(\epsilon_n\) 的选择：这是最吃功夫的地方。如果 \(\epsilon_n\) 太小，覆盖概率可能低于名义水平；如果太大，置信区间会过于保守。作者通过一个精细的 Edgeworth 展开分析，确定了 \(\epsilon_n\) 的最优阶数（\(O(n^{-1/2})\)）。
- 处理参数集边界：当 θ 在 Θ_I 的边界上时，\(T_n(θ)\) 的分布可能不连续（因为某些矩不等式是紧的）。作者通过引入一个“平滑化”技巧（用 \(\sup_{\lambda \in Λ}\) 代替 \(\max_{j=1,...,k}\)）来避免这个问题。
技术技巧点名：
- 自举的 Berry-Esseen 界：用于证明自举分布对真实分布的逼近速度。这是方法一的核心工具。
- Edgeworth 展开：用于分析膨胀因子 \(\epsilon_n\) 的阶数，并证明覆盖概率下界。
- 线性规划对偶：方法二利用线性规划对偶将置信区间构造转化为一个可计算的问题。
- 数值积分（蒙特卡洛/拟蒙特卡洛）：方法三用于计算精确分布。

真实例子与应用¶

使用的数据/场景：
1. 蒙特卡洛实验：模拟了一个简单的部分识别模型（如区间数据回归），比较了三种方法与渐近方法（Andrews & Soares 2010）的覆盖概率和区间长度。
2. 实证例子：估计一个离散博弈模型（entry game），其中两个公司决定是否进入一个市场。该模型的部分识别参数由一组矩不等式刻画（如每个公司的期望利润非负）。数据来自 Bresnahan and Reiss (1991) 的经典数据集（包含 202 个美国城镇的市场结构数据）。
怎么把本文方法用上去：
- 首先，根据经济理论写出矩不等式：例如，对于公司 1，其进入条件为 \(E[π_1(X, θ) | Z] \ge 0\)，其中 π_1 是利润函数，X 是市场特征，Z 是工具变量。
- 然后，将矩不等式转化为关于 θ 的约束：\(E[m(X, Z, θ)] \ge 0\)。
- 最后，应用方法一（自举法）或方法二（线性规划法）构造 θ 的某个函数（如进入概率）的置信区间。
得到什么结果：
- 在蒙特卡洛实验中，三种方法的覆盖概率都达到了名义水平（95%），而渐近方法在某些设定下覆盖概率低于 90%。
- 在实证例子中，方法一和方法二给出的置信区间比渐近方法更长（更保守），但覆盖概率更可靠。
这个例子想说明什么：
- 验证理论：证明有限样本下界在实际中是可实现的。
- 展示相对 baseline 的优势：与渐近方法相比，有限样本方法提供了更可靠的覆盖保证，尽管代价是更长的区间。

🔎 结论是否比证明窄¶

窄结论：定理 1 和 2 的覆盖概率下界包含一个 \(O(n^{-1/2})\) 的误差项。这意味着下界不是精确的 1-α，而是 1-α 减去一个随 n 衰减的项。作者在文中明确承认了这一点，并指出这个误差项来自自举的 Berry-Esseen 界，可能不是最优的（可能可以改进到 \(O(n^{-1})\)）。
泛泛 claim：作者在引言中声称方法“提供了有限样本下界”，但定理 1 和 2 的下界实际上包含一个渐近误差项。严格来说，只有方法三（精确分布法）提供了真正的有限样本保证（无误差项）。作者在文中对此有明确区分，但引言中的表述可能让读者误以为所有方法都提供精确保证。
Conjecture：作者推测，对于更一般的矩函数（非线性），方法二（线性规划法）可以通过局部线性化来推广，但未给出证明。

四、开放问题¶

下界的最优性：本文给出的有限样本下界（如 \(O(n^{-1/2})\) 误差项）是否是最优的？能否改进到 \(O(n^{-1})\) 或指数衰减？这扎根于定理 1 和 2 的陈述（包含 \(O(n^{-1/2})\) 项），以及作者在文中关于“可能不是最优”的讨论。
高维推广：如何将本文方法扩展到高维参数（d 或 k 随 n 增长）？当前方法假设维数固定，且矩条件数量 k 固定。高维设定下，自举的 Berry-Esseen 界可能失效，且线性规划的计算成本会爆炸。这扎根于论文的设定（固定维数）和未引用的高维矩不等式文献（如 Belloni et al. 2015）。
计算效率：方法三（精确分布法）需要计算高维积分，对于 k > 5 的情况可能计算不可行。是否存在更高效的算法（如基于 SDP 松弛或变分推断）？这扎根于方法三的描述（提到“数值积分可能计算昂贵”）。
与“条件推断”的结合：能否构造条件置信区间（给定某个充分统计量），以得到更紧的下界？这扎根于论文未讨论的条件推断文献，以及部分识别问题中充分统计量的存在性。

Maintained by 陈星宇 · Homepage · Source on GitHub