跳转至

Quantile-Only Regression: Inference and Partial Identification under Quantile Disclosure

作者: Masamune Iwasawa, Hayato Nakanishi
主题: 因果推断
相关性: 7/10
链接: https://arxiv.org/abs/2610.27224


一、领域脉络与小综述

  • 这个方向是什么:本文研究一个在实证研究中非常普遍但理论上尚未被系统处理的数据可用性问题:当研究者只能获得组级分位数(如中位数、四分位数)而非组级均值时,如何对定义在组均值上的线性回归模型进行估计和推断。其根本困难在于,分位数是分布的位置度量,但回归目标(组均值)是另一个位置度量,两者之间不存在一一对应关系,因此观测到的分位数通常无法唯一确定组均值,从而产生识别问题。该方向处于部分识别理论(partial identification)与聚合数据推断(aggregate data inference)的交汇处,其成熟度尚处于早期阶段——本文是该框架下第一篇系统处理分位数披露下回归推断的论文。

  • 发展脉络(history):

    • 奠基工作:部分识别理论的现代框架由 Manski (2003) 的专著系统化,其核心思想是在观测数据无法点识别参数时,转而刻画与数据相容的参数集合(identified set)。本文的锐化识别集刻画直接承袭这一传统。
    • 主要进展(聚合数据与生态推断):针对聚合数据的回归问题,早期工作如 Farebrother (1979) 处理了仅有组均值时的线性回归估计;Nicoletti & Best (2012) 则将分位数回归推广到聚合数据场景。但这些工作均假设组均值(或组内分位数回归系数)可直接观测或可一致估计,未考虑"均值缺失、仅分位数可得"这一中间情形。
    • 主要进展(从摘要估计均值):在医学荟萃分析领域,从报告的分位数(中位数、四分位数)估计样本均值的文献(Hozo et al. 2005, Wan et al. 2014, Luo et al. 2018, McGrath et al. 2020, Cai et al. 2021)为本文提供了直接的技术起点。这些方法的核心是分位数插值:用分段线性函数连接观测到的分位数,再积分得到均值的近似。本文将其从"单组均值估计"推广到"跨组回归系数估计与推断"。
    • 当前 frontier:本文的位置在于,将上述两条线索(部分识别理论 + 分位数插值)结合,并引入披露设计(disclosure design) 这一视角,将分位数的选择(数量与位置)视为一个可设计的统计问题。作者指出,披露设计本身决定了识别精度,这为数据发布机构提供了理论指导。
    • 本文的位置:作者明确将本文定位为"在分位数披露下进行回归分析"的首个系统框架,其贡献在于:(i) 建立一致估计与渐近正态的充分条件;(ii) 刻画固定披露下的锐化识别集;(iii) 构造同时置信区域;(iv) 阐明披露设计对信息量的影响。
  • 子线索聚类:

    1. 部分识别与不完整数据:Manski (2003), Molinari (2020), Cowell & Mehta (1982)。这条线索关注在数据缺失或观测不完整时,如何刻画参数的可识别范围。本文的锐化识别集定理(Theorem 4)属于此簇。
    2. 从汇总统计量恢复分布特征:Hozo et al. (2005), Wan et al. (2014), Luo et al. (2018), McGrath et al. (2020), Cai et al. (2021)。这条线索关注如何利用分位数等汇总统计量估计均值或方差,是本文方法论的直接来源。
    3. 聚合数据回归与生态推断:Farebrother (1979), Nicoletti & Best (2012), Kovalchik (2013), McCulloch et al. (2025)。这条线索关注利用组级数据估计个体级或组级模型参数。本文的回归框架属于此簇,但区别于以往工作的是,其目标(组均值)本身不可观测,需先从分位数中重建。
  • 这个方向在追问的核心问题:

    1. 识别问题:给定一组固定的披露分位数,组均值能被唯一确定吗?如果不能,其最大可能的取值范围(识别集)是什么?本文的 Theorem 4 给出了答案:识别集是一个区间,其宽度由分位数插值误差决定。
    2. 估计与推断问题:当分位数数量随样本量增加时,如何构造组均值的估计量并使其达到参数收敛速度?如何构造覆盖真实参数(或整个识别集)的置信区域?本文的 Theorem 1-2 和 Theorem E.1 分别回答了这两个问题。
    3. 披露设计问题:在给定总披露数量 K 的限制下,如何选择分位数的位置以最小化估计误差或识别集宽度?本文的 Corollary 1 表明,均匀分布的分位数是最优的(在最小化最大间距的意义下)。
    4. 已知瓶颈:在固定分位数数量下,识别集宽度不会随样本量增加而缩小,这构成了推断的根本瓶颈。此外,方差估计需要额外的密度信息,而分位数披露本身不包含该信息,需要额外的假设或数据。
  • ⚠️ 作者的 framing(这是作者的说法):作者将披露设计(disclosure design)本身视为一个统计设计问题,并强调"披露设计本身是统计设计问题"这一观点。他们声称,分位数的数量和位置决定了信息的含量,因此数据发布机构可以通过选择披露设计来主动控制下游分析的精度。这一 framing 将本文从被动的"数据处理方法"提升为主动的"数据发布策略设计",是其区别于以往文献的关键叙事。作者淡化了以下竞争路线:(i) 假设分布参数形式(如正态或对数正态)以从分位数精确反推均值的方法,认为其过于依赖未经证实的假设;(ii) 直接使用分位数回归替代均值回归的做法,认为其改变了目标参数。

  • 张力:被引文献之间未见明显对立结论。但存在一个微妙的张力:荟萃分析文献(如 Wan et al. 2014)通常假设分位数来自样本,而本文的渐近理论同时考虑了分位数估计误差和插值误差。当分位数数量固定时,本文的识别集宽度由插值误差主导,这与荟萃分析文献中"分位数越多估计越准"的直觉一致,但本文明确指出,在固定 K 下,增加样本量无法缩小识别集,这为荟萃分析实践提供了一个理论警示。

二、最核心、最简单的例子 / 数学知识

第一步:符号、模型、可观测数据

  • 目标参数(estimand):\(\beta_0 \in \mathbb{R}^p\),定义在组级条件均值上的线性回归系数。具体地,对于组 \(g\),其条件均值 \(m_g = \mathbb{E}(Y \mid X \in g)\) 被假设为 \(m_g = X_g' \beta_0\),其中 \(X_g \in \mathbb{R}^p\) 是组 \(g\) 的协变量向量。
  • 潜在但不可观测的量:组均值 \(m_g\)。这是研究者想要建模的对象,但不直接观测。
  • 可观测数据:
  • 组大小 \(n_g\)(\(g = 1, \dots, G\),\(G\) 固定)。
  • 组级协变量 \(X_g\)(非随机,已知)。
  • 披露的分位数 \(\hat{Q}_g(\tau_k)\),即组 \(g\) 内样本的 \(\tau_k\)-分位数,其中 \(k = 1, \dots, K\),\(0 < \tau_1 < \cdots < \tau_K < 1\)。这些是样本分位数,存在抽样误差。
  • 已知的支持界 \([y_g, \bar{y}_g]\),即组 \(g\) 内个体结果 \(Y\) 的已知上下界。
  • 关键桥梁(估计量):\(\hat{m}_g = \sum_{k=1}^K \alpha_{k,N} \hat{Q}_g(\tau_k)\),即用披露分位数的加权和来重建组均值。权重 \(\alpha_{k,N}\) 由分位数位置决定,例如,对于四分位数(\(\tau = 0.25, 0.5, 0.75\)),权重为 \((3/8, 1/4, 3/8)\)。这个估计量本质上是分段线性插值函数的积分。
  • 模型:\(\hat{m}_g = X_g' \beta_0 + \text{bias}_g + \text{sampling error}_g\)。其中 \(\text{bias}_g = m_g - \mathbb{E}(\hat{m}_g)\) 是插值误差(离散化误差),\(\text{sampling error}_g = \hat{m}_g - \mathbb{E}(\hat{m}_g)\) 是分位数估计误差。

第二步:最小内核——为什么固定分位数会导致识别失败?

考虑最简单的情形:只有一个组(\(G=1\)),且只披露一个分位数——中位数 \(Q(0.5)\)。假设结果 \(Y\) 有界于 \([0, 1]\)。我们想知道均值 \(m = \mathbb{E}(Y)\)。

  1. 可观测信息:\(Q(0.5) = 0.5\)(中位数为 0.5)。
  2. 想知道的:\(m = ?\)
  3. 核心困难:中位数只告诉我们"一半的概率质量在 0.5 以下,一半在以上"。但均值是概率质量的重心。在 \([0, 0.5]\) 区间内的质量可以全部集中在 0(均值贡献 0),也可以均匀分布(均值贡献 0.25),也可以全部集中在 0.5(均值贡献 0.5)。同样,在 \([0.5, 1]\) 区间内的质量分布也完全未知。
  4. 数学刻画:为了最大化均值,我们应该把 \([0, 0.5]\) 内的所有概率质量放在 0.5 处,把 \([0.5, 1]\) 内的所有质量放在 1 处。那么 \(m_{\max} = 0.5 \times 0.5 + 0.5 \times 1 = 0.75\)。为了最小化均值,我们应该把 \([0, 0.5]\) 内的质量放在 0 处,把 \([0.5, 1]\) 内的质量放在 0.5 处。那么 \(m_{\min} = 0.5 \times 0 + 0.5 \times 0.5 = 0.25\)。
  5. 结论:仅凭中位数,均值 \(m\) 可以是 \([0.25, 0.75]\) 中的任何一个值。这就是识别失败。增加样本量 \(n \to \infty\) 只会让中位数的估计更精确,但不会改变这个识别区间。识别问题是一个"无限样本"问题,抽样误差无法解决它。

这个最小内核揭示了本文的核心思想: - 披露的分位数将 \([0,1]\) 区间分成 \(K+1\) 个子区间。 - 在每个子区间内,分布的具体形状未知,因此均值(重心)可以在该子区间内任意移动。 - 识别集(Theorem 4)的宽度正是这些子区间上"最坏情况"下的重心移动范围之和。 - 当 \(K \to \infty\)(分位数越来越密),每个子区间越来越窄,识别集收缩到真实的均值 \(m_g\)。这就是为什么增加分位数数量(而非样本量)是提高精度的关键。

三、这篇论文做了什么

三句话: 1. 研究了什么问题:在仅观测到组级分位数(而非均值)的数据披露机制下,如何对组均值线性模型进行一致估计、渐近正态推断,以及在固定披露下如何刻画回归系数的锐化识别集并构造同时置信区域。 2. 核心工具/方法:将分位数插值(分段线性插值)作为重建组均值的工具,将披露设计视为决定插值误差(离散化偏差)的机制;在渐近理论中,利用均匀分位数估计的 Bahadur 表示和插值权重的特殊结构,分离离散化偏差与抽样误差;在部分识别中,利用单调函数的积分不等式刻画均值可达集。 3. 主要结论:(i) 当分位数网格间距趋于 0 且分位数估计一致时,回归系数估计量一致且渐近正态,但存在不可忽略的离散化偏差,需通过网格加密消除;(ii) 固定分位数披露下,回归系数的识别集是凸多面体,其宽度由分位数插值误差决定,且随分位数数量增加而收缩;(iii) 构造了覆盖识别集的渐近有效同时置信区域,并证明均匀分位数网格在最小化最大间距意义下最优。

关键设定与假设: - 核心假设: - Assumption 1 (Sampling):\((Y_i, X_i)\) i.i.d.,且组划分 \(\{G_g\}\) 是固定的、可测的。 - Assumption 2 (Linear Mean Restriction):\(m_g = X_g' \beta_0\)。这是跨组线性约束,是回归分析的基础。 - Assumption 3 (Quantile Smoothness):分位数函数 \(Q_g(\tau)\) 要么 Lipschitz((i)),要么二次连续可微((ii))。这控制了插值误差的阶数:Lipschitz 给出 \(O(\Delta)\) 误差,二次可微给出 \(O(\Delta^2)\) 误差。 - Assumption 4 (Quantile Estimation):分位数估计误差在加权意义下为 \(O_p(r_{g,N})\),其中 \(r_{g,N} \to 0\)。这允许使用样本分位数,且不要求分位数网格固定。 - Assumption 5 (Design):\(\Sigma_X = \sum_g \pi_g X_g X_g'\) 正定,且 \(\|X_g\| < \infty\)。这是回归可识别的基本条件。 - 相比已有文献的放宽/强化: - 放宽:不要求观测到组均值,也不要求分位数数量固定。允许分位数网格随样本量变化(增加)。 - 强化:要求结果变量 \(Y\) 有界(用于部分识别部分),且分位数函数满足光滑性条件(用于渐近理论)。相比 Wan et al. (2014) 等荟萃分析方法,本文不假设分布的具体参数形式,但要求分位数数量足够多以保证插值精度。

主要结果: - 定理 1 (Regression Error Decomposition):\(\hat{\beta} - \beta_0 = O_p(\Delta(T_{K_N})^a + r_N)\)。其中 \(a=1\)(Lipschitz)或 \(a=2\)(二次可微)。这个定理将误差分解为离散化偏差(由 \(\Delta^a\) 控制)和抽样误差(由 \(r_N\) 控制)。它表明,只要分位数网格足够密(\(\Delta \to 0\))且分位数估计足够精确(\(r_N \to 0\)),估计量就是一致的。 - 定理 2 (Bias-corrected Asymptotic Normality):\(\sqrt{N}(\hat{\beta} - \beta_0 - B_N) \xrightarrow{d} N(0, V_\beta)\)。这里 \(B_N\) 是离散化偏差的显式表达式(\(O(\Delta^2)\))。这个定理说明,如果偏差项 \(B_N\) 不可忽略(即 \(\Delta^2\) 与 \(N^{-1/2}\) 同阶),则置信区间必须以 \(B_N\) 为中心;如果 \(\Delta^2 = o(N^{-1/2})\),则偏差可忽略,得到标准中心化。技术难点在于:偏差 \(B_N\) 依赖于未知的分位数函数 \(Q_g\) 及其导数,需要估计;且 \(V_\beta\) 的估计需要密度信息。 - 定理 3 (Non-identification under Fixed Disclosure):对于任何固定的分位数集合,存在两个不同的联合分布,它们产生相同的披露分位数和相同的 \(X\) 边际分布,但对应不同的 \(\beta_0\)。证明思路:构造性地在某个未披露的分位数区间内"搬移"概率质量,同时保持所有披露分位数不变,但改变组均值。这直接证明了点识别的不可行性。 - 定理 4 (Sharp Bounds for the Mean):组均值 \(m_g\) 的识别集是 \([m_g, \bar{m}_g]\),其中 \(m_g = \sum_{k=0}^K (\tau_{k+1} - \tau_k) Q_g(\tau_k)\),\(\bar{m}_g = \sum_{k=0}^K (\tau_{k+1} - \tau_k) Q_g(\tau_{k+1})\)。证明思路:利用分位数函数的单调性,任何满足分位数约束的分布函数 \(F\) 的均值必然被两个阶梯函数(下阶梯和上阶梯)的积分所夹逼。这两个阶梯函数分别对应"概率质量在每个区间内尽可能靠左"和"尽可能靠右"的极端情况。锐化性:通过构造达到上下界的分布函数(在区间端点放置点质量)证明界是可达的。 - 命题 3 (Sharp Partial Identification of \(\beta_0\)):\(\beta_0\) 的识别集 \(B(T_K) = \{\beta \in \Theta: m_g \le X_g' \beta \le \bar{m}_g, \forall g\}\) 是锐化的。证明思路:必要性由定理 4 直接得出。充分性需要证明,对于任意满足这些线性不等式的 \(\beta\),都能为每个组构造一个分布,使其分位数匹配且均值为 \(X_g'\beta\)。这利用了定理 4 中"每个均值在区间内都可达"的结论,并独立地构造各组分布(因为组间独立)。 - 定理 E.1 (Coverage of Simultaneous Confidence Region):在 \(\hat{\Omega} \xrightarrow{p} \Omega\) 等条件下,\(\liminf_{N\to\infty} P(B(T_K) \subseteq \hat{C}_{1-\alpha}) \ge 1-\alpha\)。证明思路:利用 \(\sqrt{N}(\hat{s} - s) \xrightarrow{d} N(0, \Omega)\) 和 \(\hat{\Omega} \xrightarrow{p} \Omega\),结合连续映射定理,证明 \(\hat{C}_{1-\alpha}\) 以概率至少 \(1-\alpha\) 覆盖 \(s\) 的联合置信区域,从而覆盖所有满足约束的 \(\beta\)。

真实例子与应用: - 教育(NAEP):数据为 2024 年八年级数学评估的州级汇总数据。每组(州×经济状况)披露样本量、均值(用于验证)和分位数(第 10、25、50、75、90 百分位)。作者用分位数重建均值,并与真实公布的均值比较,验证了重建方法的准确性。然后,用重建的均值估计"经济弱势学生与非弱势学生的成绩差距"(\(\beta\))。结果显示,点估计与基准接近,但识别集很宽,说明仅靠分位数披露无法精确估计差距。 - 社会关怀(英格兰儿童关怀评估时长):数据为地方当局-年度层面的评估完成时长。披露的是第 25、50、75 百分位数,没有均值。作者用分位数重建均值,并估计"工党席位比例超过 50% 对评估时长的影响"(\(\delta_h\))。点估计为负,但所有识别集都包含零,说明在固定分位数披露下,无法得出确定性结论。作者强调,这一结果凸显了披露设计的重要性。 - 医疗(医院感染荟萃分析):数据来自 Liu et al. (2022) 的荟萃分析,混合披露(部分研究报告均值,部分报告分位数)。作者用分位数重建缺失的均值,并估计"医院感染对住院费用的影响"。点估计为正,但识别集很宽,且在部分支持上限下为空集,说明数据与模型假设(共同效应)存在冲突。

🔎 结论是否比证明窄: - 是的,存在明显差距。作者在摘要和引言中声称"一致估计"和"渐近正态",但定理 1 和 2 的证明依赖于分位数网格间距 \(\Delta(T_{K_N}) \to 0\)。这意味着 \(K_N \to \infty\),即披露的分位数数量必须随样本量增加。然而,在固定披露(\(K\) 固定)的设定下(这是论文部分识别部分的核心场景),定理 1 和 2 的结论不适用。作者在定理 3 中证明了固定披露下点识别失败,但没有给出固定披露下估计量的收敛速度或极限分布。因此,论文的渐近理论(定理 1-2)和部分识别理论(定理 3-4)之间存在一个未填补的缝隙:前者要求 \(K\) 增长,后者假设 \(K\) 固定。作者在结论部分提到"固定披露下的推断需要不同的渐近框架",但并未在本文中给出。这是一个明确的、可被验证的"结论比证明窄"的点。

四、开放问题

  1. 固定披露下的渐近分布:论文的定理 1-2 要求 \(K_N \to \infty\),但定理 3-4 处理的是 \(K\) 固定的情形。要证明什么:在 \(K\) 固定时,\(\hat{\beta}\) 的极限分布是什么?它是否收敛到一个非退化分布(如一个包含离散化偏差的极限),还是收敛到识别集中的一个特定点?这需要一个新的渐近框架,可能涉及对分位数估计误差和插值误差的联合处理。扎根于:定理 1 与定理 3 之间的逻辑缝隙。
  2. 最优披露设计:论文的 Corollary 1 表明均匀网格最小化最大间距,但这是否最小化识别集的体积或估计量的渐近方差?要算什么:在给定 \(K\) 下,选择分位数位置 \(\tau_1, \dots, \tau_K\) 以最小化识别集 \(B(T_K)\) 的某种测度(如体积、最长轴长度),或最小化 \(\hat{\beta}\) 的渐近方差。这可能涉及最优实验设计理论。扎根于:Corollary 1 的局限性(仅针对最大间距)。
  3. 形状约束的利用:论文仅使用了分位数的单调性。如果假设分位数函数 \(Q_g(\tau)\) 是凸的或满足其他形状约束(如 log-concavity),识别集能否进一步缩小?要证明什么:在分位数约束 + 形状约束下,均值识别集的锐化界是什么?这可能涉及更复杂的泛函不等式。扎根于:定理 4 的证明仅依赖单调性。
  4. 异方差与组内相关:论文假设组内观测 i.i.d.。如果组内存在相关结构(如整群抽样)或异方差,分位数估计的收敛速度会改变,这如何影响定理 1-2 的结论?要算什么:在组内相关下,\(\hat{\beta}\) 的渐近方差表达式,以及离散化偏差是否仍然可分离。扎根于:Assumption 1 的 i.i.d. 假设。
  5. 非线性模型:论文仅处理了线性均值模型。对于非线性模型(如 Logit 或 Cox 比例风险模型),分位数披露下的识别和推断问题如何?要证明什么:非线性模型的识别集是否仍然是凸的?如何构造置信区域?扎根于:论文的模型设定(线性回归)。

提醒:要确认上述问题是否为真 gap,建议去读部分识别理论(Manski 2003, Molinari 2020)和聚合数据推断(Farebrother 1979, Nicoletti & Best 2012)这两个子领域近 5 年的论文引言。如果这些引言都指向"分位数披露下的回归"这一具体问题,那么它就是共识性 gap;如果它们各自处理不同的问题,那么本文的 gap 可能更细分。


Maintained by 陈星宇 · Homepage · Source on GitHub

评论