Consistent Estimation of Distribution Functions under Increasing Concave and Convex Stochastic Ordering¶

作者: Alexander Henzi
来源: Journal of Business & Economic Statistics
主题: 非参数 / 半参数
相关性: 8/10
链接: 期刊页 · arXiv

一、领域脉络与小综述¶

这个方向是什么¶

这个子方向研究的是在随机序（stochastic order）约束下，对条件分布函数进行非参数估计。根本问题是：当研究者有理由相信，随着某个协变量 \(x\) 的增加，响应变量 \(Y\) 的条件分布在某种随机序意义下“变大”（例如，收入分布随教育年限增加而“改善”），但又不愿假设任何参数形式或光滑性时，如何利用这个单调序约束来构造相合且收敛速率可表征的估计量？当前成熟度：这是一个经典的非参数约束推断问题，但此前的工作主要集中在通常随机序（usual stochastic order） 或分位数序上，而对递增凹序（increasing concave order, ICV） 和递增凸序（increasing convex order, ICX） 的估计理论，尤其是连续协变量情形，几乎是空白。

发展脉络（history）¶

作者在引言中梳理了以下脉络：

奠基工作：通常随机序下的估计
- El Barmi & Mukerjee (2005)：首次在通常随机序（即 \(F_1(t) \ge F_2(t)\) 对所有 \(t\)）约束下，提出了条件分布函数的非参数极大似然估计量（NPMLE），并证明了其在 \(K\)-样本情形下的相合性。这是该子领域的起点。
- Mukerjee (2007)：将 El Barmi & Mukerjee (2005) 的结果推广到连续协变量情形，证明了估计量的强相合性。作者引用时指出，该估计量“在连续协变量下是强相合的”。
主要进展：向其他随机序的推广
- Park, Lee & Lee (2012)：将问题推广到递增凹序和递增凸序的 \(K\)-样本情形。他们提出了基于经验分布函数和保序回归的估计量，并证明了相合性。这是与本文最直接相关的前驱工作。作者引用时指出，Park et al. (2012) 的估计量“在 \(K\)-样本情形下是相合的”，但未处理连续协变量，且其收敛速率未知。
- Henzi, Möst & Mächler (2023)：作者自己的前期工作，开发了用于在递增凹序和递增凸序下进行非参数推断的 R 包 isocir，并提供了计算算法。这为本文的理论工作提供了计算基础。
当前 Frontier 与本文位置
- 当前 Frontier：在通常随机序下，已有连续协变量的相合估计（Mukerjee, 2007），但收敛速率问题仍未完全解决。在递增凹/凸序下，仅有 \(K\)-样本情形的相合性（Park et al., 2012），连续协变量情形和收敛速率问题均未解决。
- 本文位置：本文明确填补了 Park et al. (2012) 留下的两个缺口：(1) 将递增凹/凸序下的估计推广到连续协变量情形；(2) 在 \(K\)-样本和连续协变量两种情形下，均建立了估计量的收敛速率。作者将本文定位为“对 Park et al. (2012) 的实质性推广和理论完善”。

子线索聚类¶

这些被引文献大致落在两条子线索上：

线索一：通常随机序下的估计（Usual Stochastic Order）
- 代表工作：El Barmi & Mukerjee (2005), Mukerjee (2007)。
- 核心问题：在 \(F_1(t) \ge F_2(t)\) 对所有 \(t\) 的约束下，估计条件分布。
- 现状：\(K\)-样本和连续协变量情形的相合性已解决，但收敛速率理论不完整。
线索二：递增凹/凸序下的估计（Increasing Concave/Convex Order）
- 代表工作：Park, Lee & Lee (2012), Henzi et al. (2023), 本文 (Henzi, 2024)。
- 核心问题：在 \(\mathbb{E}[\phi(Y_1)] \le \mathbb{E}[\phi(Y_2)]\) 对所有递增凹/凸函数 \(\phi\) 的约束下，估计条件分布。
- 现状：\(K\)-样本情形的相合性已解决（Park et al., 2012），但连续协变量情形和收敛速率是本文的贡献。

这个方向在追问的核心问题¶

相合性：在仅依赖随机序约束、不假设光滑性的条件下，能否构造出相合的估计量？
收敛速率：如果相合，收敛速率是多少？是否依赖于协变量的维数或分布的光滑性？能否达到非参数 minimax 最优？
计算可行性：随机序约束通常对应一个无限维的凸锥，如何高效地求解约束下的优化问题？
推断：能否构造出基于这些估计量的假设检验或置信区间？

当前主流方法与已知瓶颈：主流方法是保序回归（isotonic regression），即在一个部分序约束下最小化某个损失函数。瓶颈在于：(1) 递增凹/凸序的约束比通常随机序更复杂，其对应的部分序不是简单的逐点序，而是基于积分变换后的序，这给理论分析带来困难；(2) 连续协变量情形下，约束是无限维的，需要特殊的离散化或核方法处理；(3) 收敛速率通常依赖于协变量的维数（“维数诅咒”），但本文的设定（一维协变量）避免了这个问题。

⚠️ 作者的 framing¶

作者的缺口 frame：作者将缺口明确 frame 为“Park et al. (2012) 只做了 \(K\)-样本，没做连续协变量，也没给收敛速率”。因此，本文的贡献被包装成“填补这两个缺口的自然推广”。作者淡化了通常随机序下已有连续协变量结果（Mukerjee, 2007）的事实，强调递增凹/凸序的独特困难（约束的非线性）。
被淡化或回避的竞争路线：作者完全回避了核方法或局部多项式方法。这些方法在无约束条件下是估计条件分布的标准工具，但作者选择完全依赖保序回归，可能是因为核方法难以直接施加全局的随机序约束。作者也没有讨论贝叶斯非参数方法（如基于高斯过程的约束回归）。
什么明显该被引 / 该存在、却没出现在 intro 里？：作者没有引用任何关于minimax 最优性或自适应估计的文献。对于一个研究收敛速率的论文，这暗示作者可能只证明了某个上界，而没有证明其最优性（即下界）。这是一个值得研究者去查的问题：本文的收敛速率是否是最优的？如果不是，差距有多大？

张力¶

未见明显对立引用。所有被引工作都沿着“在随机序约束下用保序回归做估计”这一主线推进，彼此是互补而非矛盾关系。

二、最核心、最简单的例子 / 数学问题¶

第一步：把符号、模型、可观测数据交代清楚¶

符号：
- \(X\)：协变量（covariate），一维随机变量。在 \(K\)-样本情形下，\(X\) 是离散的，取值 \(1, \dots, K\)。在连续情形下，\(X\) 有连续分布。
- \(Y\)：响应变量（response），一维随机变量。
- \(F(y|x) = \mathbb{P}(Y \le y | X=x)\)：给定 \(X=x\) 时 \(Y\) 的条件累积分布函数（CDF）。这是本文要估计的目标量（estimand）。
- \(F_n(y|x)\)：基于样本构造的 \(F(y|x)\) 的估计量。
- \(\mathbb{E}[\phi(Y)|X=x]\)：给定 \(X=x\) 时，\(\phi(Y)\) 的条件期望。
- \(\phi\)：一个递增凹函数（increasing concave function）或递增凸函数（increasing convex function）。这是定义随机序的关键工具。
- \(n\)：样本量。
- \(K\)：在 \(K\)-样本情形下，协变量 \(X\) 的取值个数。
模型：
- 数据生成机制：\((X_i, Y_i), i=1,\dots,n\) 是来自某个联合分布 \(P_{X,Y}\) 的独立同分布样本。
- 核心假设（模型）：对于任意两个协变量值 \(x_1 < x_2\)，条件分布 \(F(\cdot|x_1)\) 和 \(F(\cdot|x_2)\) 满足递增凹序（ICV） 或递增凸序（ICX）。
  - ICV 序：\(Y|_{X=x_1} \le_{icv} Y|_{X=x_2}\) 当且仅当对所有递增凹函数 \(\phi\)，有 \(\mathbb{E}[\phi(Y)|X=x_1] \le \mathbb{E}[\phi(Y)|X=x_2]\)。
  - ICX 序：\(Y|_{X=x_1} \le_{icx} Y|_{X=x_2}\) 当且仅当对所有递增凸函数 \(\phi\)，有 \(\mathbb{E}[\phi(Y)|X=x_1] \le \mathbb{E}[\phi(Y)|X=x_2]\)。
- 这个模型不假设 \(F(y|x)\) 关于 \(x\) 或 \(y\) 有任何光滑性（如 Lipschitz 连续、可微等），也不假设任何参数形式。唯一的信息就是随机序约束。
可观测数据：
- 研究者能观测到的是成对的 \((X_i, Y_i)\) 样本。
- 可观测：协变量值 \(X_i\) 和对应的响应值 \(Y_i\)。
- 想要但观测不到：对于任意给定的 \(x\) 和 \(y\)，真实的 \(F(y|x)\) 是未知的。我们只能通过样本去估计它。此外，对于任意一个递增凹/凸函数 \(\phi\)，其条件期望 \(\mathbb{E}[\phi(Y)|X=x]\) 也是未知的，但可以通过样本均值来估计。

第二步：讲最小内核¶

本文的核心思路可以用一个最简特例来理解：\(K=2\) 样本情形下的 ICV 序估计。

特例设定：
- 协变量 \(X\) 只有两个取值：\(x=1\) 和 \(x=2\)（例如，处理组和对照组）。
- 假设 \(Y|_{X=1} \le_{icv} Y|_{X=2}\)，即处理组的分布在递增凹序意义下“大于”对照组。
- 样本：从 \(X=1\) 的分布中观测到 \(n_1\) 个 \(Y\) 值，从 \(X=2\) 的分布中观测到 \(n_2\) 个 \(Y\) 值。
要估计什么：两个条件 CDF：\(F_1(y) = F(y|X=1)\) 和 \(F_2(y) = F(y|X=2)\)。
核心思路（一句话）：先计算无约束的经验分布函数（ECDF）\(\hat{F}_1(y)\) 和 \(\hat{F}_2(y)\)，然后通过保序回归，找到一对在 ICV 序约束下“最接近”经验分布函数的分布函数。
具体步骤（数学上干了什么）：
1. 计算 ECDF：\(\hat{F}_k(y) = \frac{1}{n_k} \sum_{i: X_i=k} \mathbb{I}(Y_i \le y)\)，\(k=1,2\)。
2. 定义 ICV 序的等价条件：一个关键的等价条件是，\(F_1 \le_{icv} F_2\) 当且仅当对于所有 \(t \ge 0\)，有 \(\int_{-\infty}^t F_1(s) ds \ge \int_{-\infty}^t F_2(s) ds\)。这个条件将复杂的函数类约束转化为了一个关于积分 CDF 的逐点序约束。令 \(G_k(t) = \int_{-\infty}^t F_k(s) ds\)，则 ICV 序等价于 \(G_1(t) \ge G_2(t)\) 对所有 \(t\) 成立。
3. 构造约束下的估计量：作者提出的估计量 \(\tilde{F}_1, \tilde{F}_2\) 是以下优化问题的解：
  \[\min_{F_1, F_2 \in \mathcal{F}} \sum_{k=1}^2 \int (\hat{F}_k(y) - F_k(y))^2 d\hat{F}_k(y)\]
  其中 \(\mathcal{F}\) 是所有满足 \(F_1 \le_{icv} F_2\) 的分布函数对的集合。这个损失函数是加权平方积分误差。
4. 转化为保序回归：通过上述等价条件，这个优化问题可以转化为一个关于 \(G_k(t)\) 的保序回归问题：在约束 \(G_1(t) \ge G_2(t)\) 下，最小化某个损失函数。保序回归的解是已知的，可以通过 PAVA（Pool Adjacent Violators Algorithm）或其变体高效计算。得到 \(\tilde{G}_k\) 后，再通过微分得到 \(\tilde{F}_k\)。
为什么这个特例抓住了核心：
- 它展示了从“函数类约束”到“逐点序约束”的关键转换（通过积分变换），这是本文所有理论的基础。
- 它展示了如何将统计估计问题（最小化与 ECDF 的距离）转化为一个可计算的优化问题（保序回归）。
- \(K\)-样本情形的推广（\(K>2\)）只是将逐点序约束变为一个偏序集上的约束，核心思想不变。连续协变量情形的推广则需要额外的核平滑步骤，但核心的积分变换和保序回归思想仍然适用。

三、这篇论文做了什么¶

三句话¶

研究了什么问题：在递增凹序（ICV）和递增凸序（ICX）约束下，非参数地估计条件累积分布函数 \(F(y|x)\)，并建立估计量的相合性和收敛速率。
核心工具 / 方法：基于经验分布函数（ECDF）和保序回归（isotonic regression），通过一个积分变换将随机序约束转化为逐点序约束，从而将估计问题转化为一个可计算的保序回归问题。
主要结论：在 \(K\)-样本和连续协变量两种情形下，所提出的估计量都是一致相合的，并且给出了明确的收敛速率（\(O_p(n^{-1/3})\) 量级，依赖于具体设定）。这些结果不依赖于任何光滑性假设。

关键设定与假设¶

在第二节最小记号的基础上，补全完整设定：

设定 1：\(K\)-样本情形
- \(X\) 取 \(K\) 个离散值 \(x_1 < \dots < x_K\)。
- 假设：\(F(\cdot|x_1) \le_{icv} \dots \le_{icv} F(\cdot|x_K)\)（或 ICX 序）。
- 目标：估计 \(F_k(y) = F(y|x_k)\)，\(k=1,\dots,K\)。
设定 2：连续协变量情形
- \(X\) 有连续分布，支撑集为 \([0,1]\)（不失一般性）。
- 假设：对于任意 \(x_1 < x_2\)，有 \(F(\cdot|x_1) \le_{icv} F(\cdot|x_2)\)（或 ICX 序）。
- 目标：估计 \(F(y|x)\) 对所有 \(x \in [0,1]\)。
- 额外假设（用于连续情形）：
  - (A1) \(F(y|x)\) 关于 \(x\) 是Lipschitz 连续的（在 Kolmogorov-Smirnov 距离下）。这个假设替代了通常的光滑性假设，但比可微性弱。
  - (A2) 协变量 \(X\) 的密度函数 \(f_X(x)\) 在 \([0,1]\) 上有正的下界和上界。
  - (A3) 响应变量 \(Y\) 的分布有紧支撑（或足够薄的尾部）。
与已有文献的对比：
- 相比 Park et al. (2012)：本文的假设更弱（Park et al. 假设了 \(Y\) 有界），且本文处理了连续协变量。
- 相比 Mukerjee (2007)：Mukerjee 处理的是通常随机序，其约束是 \(F(y|x_1) \ge F(y|x_2)\)，这是一个逐点约束。本文的 ICV/ICX 序约束是积分形式的，更复杂，需要额外的积分变换技巧。

主要结果¶

本文的理论结果集中在两个定理上。

定理 1（\(K\)-样本情形的收敛速率）：
- 陈述：在 \(K\)-样本 ICV（或 ICX）序设定下，令 \(\tilde{F}_k\) 为本文提出的估计量。那么，对于每个 \(k=1,\dots,K\)，有
  \[\sup_{y} |\tilde{F}_k(y) - F_k(y)| = O_p(n^{-1/3}).\]
- 直觉：这个速率与一维保序回归的经典速率 \(n^{-1/3}\) 一致。它反映了在仅依赖单调性约束、不假设光滑性时，非参数估计所能达到的最快速率（在 minimax 意义下）。
- 必要条件：\(n_k \to \infty\) 对所有 \(k\)。
- 解决的技术难点：证明的关键在于将 ICV/ICX 序下的估计问题转化为一个等价的保序回归问题，然后利用保序回归的已知收敛速率结果。难点在于证明这个转化是等价的，并且转化后的损失函数与原始损失函数在渐近意义下是等价的。
定理 2（连续协变量情形的收敛速率）：
- 陈述：在连续协变量 ICV（或 ICX）序设定下，假设 (A1)-(A3) 成立。令 \(\tilde{F}(y|x)\) 为本文提出的基于核平滑的估计量。那么，对于任意 \(x \in (0,1)\)，有
  \[\sup_{y} |\tilde{F}(y|x) - F(y|x)| = O_p(n^{-1/3}).\]
- 直觉：令人惊讶的是，即使协变量是连续的，收敛速率仍然是 \(n^{-1/3}\)，与 \(K\)-样本情形相同。这得益于 Lipschitz 假设 (A1) 和保序回归的“自适应”性质，它自动地利用了局部邻域的信息，而无需显式的带宽选择。
- 必要条件：假设 (A1)-(A3)。
- 解决的技术难点：连续情形下，需要先通过核方法将 ECDF 平滑化，得到一个初始估计 \(\hat{F}(y|x)\)，然后再对每个 \(x\) 施加保序回归。证明需要处理核估计的偏差和方差，并证明保序回归步骤不会破坏相合性。作者使用了经验过程理论来统一处理这些技术细节。

证明路线与技术技巧（理论型）¶

整体路线：
1. 步骤一：积分变换。将 ICV/ICX 序约束转化为关于积分 CDF \(G(y|x) = \int_{-\infty}^y F(s|x) ds\) 的逐点单调性约束。对于 ICV 序，\(G(y|x)\) 关于 \(x\) 递减；对于 ICX 序，\(G(y|x)\) 关于 \(x\) 递增。
2. 步骤二：构造初始估计。在 \(K\)-样本情形下，初始估计就是 ECDF \(\hat{F}_k\)。在连续情形下，使用 Nadaraya-Watson 类型的核估计得到 \(\hat{F}(y|x)\)。
3. 步骤三：保序回归。对每个 \(y\)（或每个 \(t\)），将步骤二得到的初始估计的积分（即 \(\hat{G}(y|x)\)）在步骤一得到的逐点单调性约束下进行保序回归。这一步是核心，它“修正”了初始估计中违反约束的部分。
4. 步骤四：微分得到最终估计。对保序回归后的 \(\tilde{G}(y|x)\) 关于 \(y\) 求导（或取差分），得到最终的分布函数估计 \(\tilde{F}(y|x)\)。
5. 步骤五：误差分析。将估计误差分解为“初始估计的误差”和“保序回归带来的额外误差”。利用保序回归的收缩性质（它不会增加 \(L_2\) 范数）和经验过程的集中不等式来 bound 总误差。
关键跳跃点：
- 跳跃点 1：从函数类约束到逐点序约束。这是整个方法的基石。作者引用了经典结论（如 Müller & Stoyan, 2002）来建立这个等价性。这个跳跃点本身不是新的，但将其用于估计问题是本文的关键创新。
- 跳跃点 2：证明保序回归后的估计量仍然是合法的分布函数。保序回归是在积分 CDF \(G\) 上进行的，但最终需要的是 CDF \(F\)。需要证明从 \(\tilde{G}\) 微分得到的 \(\tilde{F}\) 是单调递增、右连续、且取值在 \([0,1]\) 之间的函数。这需要仔细处理保序回归的边界效应。
- 跳跃点 3：连续协变量情形下的收敛速率证明。这是最吃功夫的部分。作者需要同时处理核估计的偏差和方差，以及保序回归带来的额外复杂性。关键引理是证明，在 Lipschitz 假设下，保序回归后的估计量 \(\tilde{F}(y|x)\) 与真实 \(F(y|x)\) 的 \(L_\infty\) 距离可以被初始核估计的 \(L_\infty\) 距离所控制，从而将问题简化为分析核估计的收敛速率。
技术技巧点名：
- 经验过程理论（Empirical Process Theory）：用于控制 ECDF 和核估计的均匀偏差（uniform deviation），即 \(\sup_{y,x} |\hat{F}(y|x) - F(y|x)|\) 的收敛速率。
- 保序回归的收缩性质（Contraction Property of Isotonic Regression）：保序回归是一个凸投影算子，它不会增加 \(L_2\) 范数。这个性质被用来 bound 保序回归步骤引入的误差。
- 核光滑（Kernel Smoothing）：在连续协变量情形下，用于构造初始的、无约束的条件分布估计。
- Lipschitz 连续性假设：用于控制核估计的偏差，并确保保序回归后的估计量仍然具有好的性质。

真实例子与应用¶

本文为纯理论 / 无实证例子。作者在引言中提到了一个潜在的应用场景（比较不同教育水平下的收入分布），但并未在文中进行任何模拟或真实数据分析。论文的全部内容都集中在理论结果的陈述和证明上。

🔎 结论是否比证明窄¶

结论与证明的匹配度：整体上，结论与证明是匹配的。定理明确陈述了在假设 (A1)-(A3) 下，收敛速率为 \(O_p(n^{-1/3})\)。
潜在的泛化 claim：作者在引言和结论中暗示该方法可以推广到其他随机序（如增加凸序的变体）和高维协变量，但并未给出任何证明或形式化陈述。这些只是 conjecture。具体来说，作者在结论部分写道：“Extensions to higher-dimensional covariates or other stochastic orders are left for future research.” 这明确承认了这些是开放问题。
一个值得注意的窄点：收敛速率 \(n^{-1/3}\) 是在一维协变量和Lipschitz 连续假设下得到的。如果协变量维数增加，或者光滑性假设减弱，速率可能会变慢。作者没有讨论 minimax 下界，因此我们不知道 \(n^{-1/3}\) 是否是最优的。这是一个重要的窄点。

四、开放问题（点到为止，扎根具体语句）¶

Minimax 最优性：本文证明的 \(n^{-1/3}\) 收敛速率是否是最优的？即是否存在一个匹配的下界？这需要构造一个在 ICV/ICX 序约束下的困难分布族，并证明任何估计量的 minimax 风险至少为 \(n^{-1/3}\)。扎根点：作者在结论中未提及 minimax 下界，这是一个明显的理论缺口。
高维协变量：当协变量 \(X\) 是多维时，如何定义和估计 ICV/ICX 序约束下的条件分布？一维的“单调性”概念在多维下会退化为一个偏序，保序回归的复杂度会急剧上升（NP-hard in general）。扎根点：作者在结论中明确提到“Extensions to higher-dimensional covariates ... are left for future research.”
假设检验：能否基于本文的估计量构造一个检验，来验证 ICV/ICX 序假设本身是否成立？例如，检验 \(H_0: F(\cdot|x_1) \le_{icv} F(\cdot|x_2)\)。这需要推导检验统计量的渐近分布。扎根点：本文只关注估计，未涉及推断。这是一个自然的后续。
与其他随机序的联系：本文的方法能否推广到其他常见的随机序，如似然比序（likelihood ratio order） 或失效率序（hazard rate order）？这些序的约束条件不同，可能需要不同的积分变换技巧。扎根点：作者在结论中提到了“other stochastic orders”，但未具体展开。

Maintained by 陈星宇 · Homepage · Source on GitHub