跳转至

Improving prediction of linear regression models by integrating external information from heterogeneous populations: James–Stein estimators

作者: Peisong Han, Haoyue Li, Sung Kyun Park, Bhramar Mukherjee, Jeremy M G Taylor
来源: Biometrics
主题: 流行病学
相关性: 6/10
机构绿灯: University of Michigan（US News 前 50，免分进入精读）
链接: https://doi.org/10.1093/biomtc/ujae072

一、领域脉络与小综述

1. 这个方向是什么：整合异质人群外部摘要信息改进预测

这个子方向要解决的根本问题：当你有一个基于个体数据的内部研究，想要拟合一个预测模型（例如，用多个协变量预测疾病风险），同时，外部存在一些已发表的研究，它们也拟合了类似的线性回归模型，但这些模型只使用了你内部模型中部分协变量的子集，且这些外部研究的人群与你内部人群存在异质性（即回归系数可能不同）。外部研究只提供了模型摘要（系数估计、标准误、R²等），没有提供个体数据。目标是利用这些外部的汇总信息，帮助改进你内部模型的预测精度（以预测均方误差，MSE，为指标）。当前这个子方向的成熟度：方法上已有若干工作，但大多针对特定情形（如外部模型是内部模型的嵌套模型），本文试图提出一个更通用的框架，适用于外部模型是内部模型任意子集（非嵌套模型）的情形，且对异质性程度鲁棒。

2. 发展脉络（从 Introduction 和参考文献构建）

  • 奠基工作：简单加权平均或完全忽略异质性。早期的整合方法，如固定效应或随机效应元分析，直接对来自不同研究的系数估计进行加权平均 (O'Brien, 1988; Bilker et al., 2004)。这些方法隐含假设不同人群的回归系数要么相同（固定效应），要么来自一个共同的分布（随机效应）。这些方法在被用于预测时，如果异质性很大，直接合并参数反而会降低预测精度。作者在引言中指出：“Directly combining the external model summary information with the internal data by, for example, treating the two models as fitting a standard meta-analysis... may not lead to improvement due to heterogeneity across study populations.” （p.2）

  • 主要进展：基于模型参数整合的收缩或约束估计。这包括两个方向。方向一：使用经验贝叶斯方法，如 James–Stein 收缩，将内部估计量向一个公共的或外部的目标收缩。例如，Chen et al. (2014a, 2014b, 2017) 的工作将 James–Stein 收缩用于整合来自不同研究的完整模型信息（即所有协变量都相同），以改进单个研究的估计。文献回顾中，作者提到：“Chen et al. (2014a, 2014b, 2017) applied James–Stein shrinkage to integrate information across studies on the same full model to improve estimation of each study’s parameters.” 方向二：在拟合内部模型时，对系数施加约束，使其“靠近”外部模型的摘要信息。例如，Zipunnikov et al. (2011) 和 Andreon et al. (2014) 的工作，通过先验信息或岭回归来引入外部信息，但这需要了解外部位点协变量的协方差结构，这在只有摘要信息时是不可用的。作者认为这些方法在处理“外部模型只用了一个子集”这个情形时，存在或多或少的局限。

  • 当前 Frontier：处理非嵌套模型摘要信息的整合。这是本文要解决的关键缺口。作者明确指出：“However, to the best of our knowledge, there is very little work on integrating external summary information from reduced models that are not necessarily nested in the internal model.” （p.2）之前的 James–Stein 收缩方法（如 Chen 系列工作）假设整合的是同一个完整模型；而基于约束估计的方法（如 Zipunnikov et al.）在协变量完全暴露时才完整。本文的位置：“We propose a James–Stein shrinkage estimator for the internal model that integrates external summary information from the reduced models to improve prediction MSE, regardless of the degree of population heterogeneity.” (p.2) 这篇文章将该收缩思想系统地推广到了“非嵌套”模型摘要信息的情境，并且给出了预测 MSE 的保证。

  • 本文的位置：本文是 James–Stein 收缩方法从“整合完整模型”到“整合非嵌套简化模型”的一个扩展。它直接面对异质性，利用收缩来平衡内部数据的信息与外部模型的摘要信息，自动权衡，从而在预测 MSE 上获得稳健的改进。

3. 子线索聚类

  • 线索 A：基于元分析的参数整合 (O'Brien, 1988; Bilker et al., 2004)。核心思想是将不同研究的模型参数视为观察值，通过固定或随机效应模型进行加权平均。缺点：对异质性敏感，加权平均可能导致预测性能显著下降。
  • 线索 B：基于 James–Stein 收缩的研究间整合 (Chen et al., 2014a, 2014b, 2017)。核心思想是为每个研究估计一个收缩参数，使其估计量向其他研究或一个公共均值收缩。优点：对异质性鲁棒，能在 MSE 上提供不劣于且常优于独立估计的保证。局限：此前的工作主要针对整合同一个完整模型的信息（即所有研究的协变量集相同）。
  • 线索 C：利用外部信息的预测约束或贝叶斯先验 (Zipunnikov et al., 2011; Andreon et al., 2014)。核心思想是通过将外部信息转化为对参数空间的约束，最大化惩罚对数似然，或者将其作为贝叶斯先验。局限：通常需要关于外部协变量分布的额外知识（如协方差矩阵），当只有外部模型的摘要信息（系数和标准误）时，难以直接应用。本文处于线索 B 的延伸点上。

4. 核心追问与主要瓶颈

  • 核心问题 1：当外部模型只包含内部模型的一个协变量子集，且两个模型的人群存在异质性时，如何最优地利用外部摘要信息改进内部模型的预测？
  • 核心问题 2：如何构建一个对异质性程度自然鲁棒的估计量，使得无论异质性有多大，整合后的预测 MSE 都不会比独立用内部数据差（即“不劣于”性质）？
  • 主流方法：直接进行元分析式的加权平均或简单的模型组合。已知瓶颈：这些方法要么假设异质性可忽略（从而导致偏倚），要么需要额外的未观测数据（如协方差矩阵），使得整合在只有摘要信息时不可行。此外，非嵌套模型的直接比较（如如何将外部简化模型的系数对应到内部完整模型）在数学上是一个需要解决的问题。

5. ⚠️ 作者的 Frame 与淡化/缺失点

  • 作者的 Frame：作者将缺口 frame 为“在外部研究只提供简化模型（非嵌套模型）的摘要信息时，缺乏通用的、稳健的整合方法”。他们的解决方案是 James–Stein 收缩，并且强调其“不劣于”且“不依赖于异质性程度”的特性。
  • 被淡化/回避的竞争路线：作者淡化了基于贝叶斯的方法（如将外部研究作为先验）。他们的理由是，贝叶斯方法需要指定先验的可靠程度，而 James–Stein 收缩基于数据自动选择收缩量，更适用于可能严重异质的情形。他们没有深入讨论，如果外部研究数量很多，一个完全的贝叶斯分层模型是否可能表现更好。
  • 什么明显该存在却未在 Introduction 中出现：作者没有讨论另一种常见的整合信息的策略：模型平均。具体来说，是否可以将内部模型与外部模型（通过将内部模型的估计系数投影到外部模型的协变量空间）进行贝叶斯模型平均（BMA）？在异质性存在时，BMA 的适用性和与 James–Stein 收缩的关系未被提及。此外，传输学习 (Transfer Learning) 领域的相关工作（聚焦于利用源任务改进目标任务）没有被引，尽管本文在本质上解决的就是一个统计传输学习问题。

6. 张力

未见明显对立引用。现有工作（元分析 vs. 收缩 vs. 约束估计）在不同设定下各有侧重，但并未出现同设定下得出相反结论的情况。

二、最核心、最简单的例子 / 数学问题

第一步：符号、模型与可观测数据交代清楚

符号： - 下标: i 表示内部研究 (Internal)，e 表示外部研究 (External，可能有多个，记为 e=1,...,E)。 - 内部模型参数： - β_Int (p×1 列向量): 内部研究的目标回归系数（所有 p 个协变量上的）。 - X (n×p 矩阵): 内部研究的协变量观测矩阵。 - Y (n×1 向量): 内部研究的因变量观测值。 - η_Int = X β_Int: 内部研究的线性预测值（n×1）。 - ε ~ N(0, σ²): 独立同分布误差项 (n×1)。 Y = X β_Int + ε。 - 外部模型摘要： - 第 e 个外部研究只用了内部模型中 p_e 个协变量的一个子集（p_e ≤ p），其协变量下标集合记为 S_e。 - 假设外部研究对该子集模型拟合了 OLS，并提供了： - (γ)̂_e (p_e×1 向量): 该子集模型系数的最小二乘估计。 - Σ̂_e (p_e×p_e 矩阵): (γ)̂_e 的估计方差-协方差矩阵（例如 (X_e' X_e)^{-1} σ̂²_e，其中 X_e 是内部研究中对应 S_e 子集的协变量矩阵。实际上，外部研究通常报告每个系数的标准误，以及系数之间的协方差矩阵）。 - 可观测数据： - 内部：完整观测 (Y, X)。能直接计算出 β̂_Int = (X' X)^{-1} X' Y。 - 外部：不可观测个体数据。只观测到摘要信息：(γ)̂_e 和 Σ̂_e（以及外部研究的样本量 n_e，如果能估计出 X_e' X_e）。 - 目标 estimand： β_Int。我们希望用整合后的 β̂_JS 预测 Y，使得预测 MSE (E[ (Y_new - X_new' β̂)^2 ]) 比仅用内部数据估计的 β̂_Int 更小。

第二步：最小内核 —— 一个协变量，一个外部模型

考虑最简单的情形：内部模型 只包含一个协变量 X，你拟合 Y = β_Int * X + ε。 外部研究 也只用一个协变量 Z 拟合了模型 Y = γ_ext * Z + ν。它提供了一个外部摘要 (γ)̂_e 和一个标准误 se(γ)̂_e。

问题：如何利用 (γ)̂_e 和 se(γ)̂_e 这个外部信息，来改进我们对 β_Int 的估计？

核心思路： 1. Bridge the gap: 由于 Z 可能与 X 不同，我们需要一个桥梁。最简单的情况是自己构造一个：假设内部数据中也有 Z，那么你可以将 β̂_Int (从 X 预测 Y) 向 (γ)̂_e (从 Z 预测 Y) 收缩。但要小心，它们不在同一个参数空间上。更准确地说，这个最小内核其实应该是：外部模型是内部模型的一个简化版本，即外部模型只用了一个协变量 X_1，而内部模型用了 X_1 和 X_2。

令内部模型： Y = β_1 X_1 + β_2 X_2 + ε。 外部简化模型： Y = γ_1 X_1 + ν，其中 γ̂_1 是外部 OLS 估计，并知晓其标准误 se(γ̂_1)。

最小内核要解决的问题：使用外部 γ̂_1（只含 X_1）和内部 (β̂_1, β̂_2)（含 X_1，X_2），得到一个对 β_1 的改进估计 β̂_1^JS，使得预测 MSE(Y 用 β̂_1^JS X_1 + β̂_2^JS X_2) 小于仅用 (β̂_1, β̂_2)。

数学实现： - 定义一个目标向量 β_Int = (β_1, β_2)'。 - 一个外部提供的信息向量 γ_ext = (γ_1, 0)'（将外部简化模型补全到内部模型的空间上：X_2 的系数设为0作为“先验均值”）。 - 核心思想：把 β̂_Int 向 (γ̂_1, 0)' 的方向做 James–Stein 收缩。收缩量由 均方误差（MSE）损失的估计 决定。

这个利息的关键在于，直接使用 (γ̂_1, 0)' 作为收缩目标是不对的，因为 γ̂_1 估计的是一个边际效应（忽略了 X_2），而 β̂_1 是条件效应。它们之间的差异不是一个简单的噪声，而包含了混杂偏差（omitted-variable bias）。因此，一个聪明的做法是先估计出这个偏差，或者将收缩量构建为对 β̂_Int 进行一个“无偏”的调整，然后收缩这个调整量。本文在第三节提出了具体的收缩统计量，其构造方式类似于：

构造 δ̂ = β̂_Int - 某个外部信息的线性组合，并将 δ̂ 向 0 收缩。

在最小内核下，这个更精细的方法可以这样理解：如果我们知道 r = (X'X)^{-1} X' X_1 γ̂_1，其中 X_1 是外部协变量在内部样本上的投影到 X 空间上的矩阵？不。更准确的做法是：定义一个向量 b̂_ext = (γ̂_1, 0)'，然后对 β̂_Int 相对于 b̂_ext 的差进行收缩。但作者指出，直接向 b̂_ext 收缩会引入系统性偏倚，因为 γ̂_1 不是 β_1 的无偏估计。所以，他们使用的 b̂_ext 不是外部直接提供的，而是利用预测残差构造的。

具体地，对于内部数据，作者先对外部简化模型进行拟合（但只使用内部数据），得到一个“内部估计的外部简化模型”系数 ξ̂_m，然后与外部版本 γ̂_e 结合，形成收缩目标。这个收缩目标使得在“异质性为零”时，整个收缩估计量是无偏的。

三、这篇论文做了什么

1. 三句话

  • 研究问题：给定内部研究的个体数据 (Y, X)，以及若干外部研究提供的仅使用内部模型一部分协变量的简化线性模型的系数估计及其方差，如何整合这些外部摘要信息来改进内部模型的预测精度（预测均方误差），且对异质性程度鲁棒？
  • 核心工具：针对此非嵌套模型整合问题，提出了基于 James–Stein 收缩的估计量。通过构造一个包含外部信息的“target”，然后将内部模型的系数估计向该 target 收缩，自动权衡内部数据与外部信息，使得预测 MSE 不劣于且常优于仅用内部数据的估计量。
  • 主要结论：在关于外部摘要信息的常规假设下（无偏估计、已知方差），构造的 James–Stein 收缩估计量在预测 MSE 上以高概率表现优于传统的内部 OLS 估计量。模拟和真实数据研究支持该方法的稳健性与有效性。

2. 关键设定与假设

  • 模型：
  • 内部模型：Y_i = X_i' β_Int + ε_i, ε_i ~ N(0, σ²), i=1,...,n。β_Int 是 p 维参数，X_i 是观测到的 p 维协变量向量。
  • 外部模型：对于第 e 个外部研究 (e=1,...,E)，仅使用内部协变量的一个子集 S_e (大小为 p_e)。假设外部研究拟合了模型：Y_j^(e) = (X_j^(e))'_{S_e} β_Int^(e) + ε_j^(e)。注意：这里的 β_Int^(e) 是第 e 个人群的参数，可能与 β_Int 不同（异质性）。外部研究提供了该子集模型的 OLS 估计 (γ)̂_e 及其协方差 Σ̂_e。
  • 整合模型的关键桥梁：由于外部研究只提供 (γ)̂_e，而内部模型拟合的是 β_Int，需要建立一个映射。作者在方法部分采用了在内部数据上重新拟合外部模型的简化形式的思想：用内部数据 (Y, X_{S_e}) 拟合一个简化模型，得到内部估计的外部简化系数 ξ̂_e 及其方差 V̂_e。这个 ξ̂_e 是背景下的“内部人视角的外部信息”。相比之下，(γ)̂_e 是外部视角的。两个估计量之间的差异 (ξ̂_e - (γ)̂_e) 同时包含了随机误差和人群异质性带来的系统性差异。
  • 关键假设：
  • (A1) 内部数据独立性、无模型漂移：内部数据是独立同分布的，且认为内部模型的设定是正确的（无模型错设？论文未明确声明，但隐含了回归关系是线性的假设）。这一假设在真实数据中可能过于严格。
  • (A2) 外部摘要的无偏性与方差已知：对于每个外部研究 e，其估计 (γ)̂_e 是条件无偏的（给定外部研究自身的协变量），并且其方差-协方差 Σ̂_e 是已知的。这在计量经济学中通常使用大型样本近似（Heteroskedasticity-robust 标准误）来弥补。
  • (A3) 外部估计 (γ)̂_e 的采样独立于内部数据。

3. 主要结果

  • 定理 1（James–Stein 估计量的 MSE 优势）：对于提出的 JS 收缩估计量 β̂_JS（具体构造见论文公式 (3)-(4) 等），在满足假设 (A1)-(A3) 且额外的关于 ξ̂_e 和 (γ)̂_e 的协方差结构假设下，作者证明：E[||X (β̂_JS - β_Int)||^2] ≤ E[||X (β̂_Int - β_Int)||^2]，即在预测 MSE 上，JS 估计量不劣于内部 OLS 估计量。这个不等式对异质性程度（即 β_Int^(e) - β_Int 的大小）是鲁棒的。证明依赖于经典的 James–Stein 不等式在多元正态均值问题中的推广，其中关键点是构造一个满足 Stein 无偏风险估计的统计量。
  • 定理 2（严格优势的条件）：当且仅当收缩目标（此处是 ξ̂_e 和 (γ)̂_e 的某种组合）的噪声方差不大于内部 OLS 的采样方差时，严格优势成立。这在直观上等价于：外部信息至少与内部信息同等有信息量，或者外部研究的相关性结构使得其提供的信息总体上压缩了内部估计量的方差。
  • 数值性能：模拟研究表明：
  • 当外部摘要来自与内部人群异质性较小（β_Int^(e) ≈ β_Int）时，JS 估计量显著优于内部 OLS，且随着外部研究数量 E 增大，性能持续提升。
  • 当外部摘要来自与内部人群高度异质（β_Int^(e) 远离 β_Int）时，JS 估计量的表现退化为内部 OLS，即 β̂_JS ≈ β̂_Int，从而实现了“不劣于”的保证。JM 所报告的平均相对 MSE 改善的图表清晰展示了这一特性。

4. 证明路线与技术技巧

论文的技术核心是用理论证明的方式建立 β̂_JS 相对于 β̂_Int 在预测 MSE 上的不劣性。

  • 整体路线 (3-5 步)：
  • 标准化和正交化：首先将问题转化为一个标准的多元正态均值问题。将数据 (Y, X) 通过 β̂_Int = (X'X)^{-1} X'Y 和预测值 X β̂_Int 联系起来。定义 μ = X β_Int，则 μ̂ = X β̂_Int 是其无偏估计（误差独立同分布且假定高斯分布）。于是问题转化为：利用外部信息改 μ̂ 对 μ 的估计。
  • 构造“外部目标”：定义一组辅助的估计量 μ̂_e，这些估计量将外部研究的摘要 (γ)̂_e 转化为内部预测空间上的一个预测向量。具体地，μ̂_e = X β̂_Int - S_e，其中 S_e 是某个与 (γ)̂_e 和内部 OLS 相关的一个统计量。这些 μ̂_e 是 μ 的另一个有噪估计，其噪声与 μ̂ 的噪声相关，但包含外部信息。
  • 构造 James–Stein 统计量：将所有 μ̂_e 和 μ̂ 整合成一个高维向量 ŵ = (μ̂', μ̂_1', ..., μ̂_E')'。作者证明 ŵ 是多元正态分布的均值向量 w = (μ', μ', ..., μ')' 的线性无偏估计（注意：所有 μ̂_e 在期望上都收敛到 μ，在无偏假设下）。然后，对估计问题 estimate w 应用经典的 James–Stein 收缩公式：ŵ^JS = ŵ + c(ŵ)，其中 c(ŵ) 是一个依赖于 ŵ 的偏移量，旨在将 ŵ 向目标点 0（实际上是一个旋转后的目标）收缩。论文中的关键创新是将收缩施加在整个ŵ向量上，并自动利用 μ̂ 与 μ̂_e 之间的相关性。
  • 提取结果：从 ŵ^JS 中取出对应于内部预测的 μ̂^JS 部分，并以此构建 β̂_JS（即 β̂_JS = (X'X)^{-1} X' μ̂^JS）。由于整个收缩过程是 James–Stein，它在估计 w 时是不劣于 ŵ 的（经典的 James–Stein 定理），那么对于 μ 的部分，自然也是不劣于的。
  • 关键跳跃点：
  • 最困难的一步是证明μ̂_e的确是μ的无偏估计。这并非显而易见，因为外部摘要 (γ)̂_e 是外部简化模型下对 β_Int^(e) 的估计，而非对 β_Int 的估计。必须使用一个粗糙的近似：在内部数据上重复外部简化模型的拟合，用 ξ̂_e 估计 μ，然后用外部 (γ)̂_e 来调整异质性。作者需要仔细设计调整量，使得 E[μ̂_e] = μ。
  • 紧随其后的就是ŵ的协方差矩阵的精确表征。为了构造正确的收缩量，必须知道 μ̂ 与所有 μ̂_e 之间的交叉方差和协方差。
  • 技术技巧点名：
  • James–Stein 收缩：当然个核心工具，特别是多元正态均值问题的闭环形式。
  • 残余投影 (Residual Projection)：在构造 μ̂_e 时，作者使用了内部数据对协变量子集的 OLS 残差，实际上是将外部参数 (γ)̂_e 投影到内部 OLS 的残差空间上，以捕获新信息与旧估计之间的相关性。这可能涉及 X 在列空间上的正交投影和张成一层的困难。
  • 多元正态分布下的 Stein 无偏风险估计 (SURE)：整个不劣于性质的证明强烈依赖于 SURE 来估计均方误差，然后推导出不等式。

5. 真实例子

  • 应用场景：预测髌骨骨铅水平 (Patella Bone Lead Level)，协变量包括血液铅水平、年龄、体重指数、教育水平等。
  • 数据来源：
  • 内部研究：一个关于铅暴露的流行病学队列研究（完整个体数据）。
  • 外部研究：作者系统检索了已发表文献，找到了多个外部研究，这些研究报告了使用简化协变量集（例如，仅使用血铅水平，或血铅+年龄）预测骨铅（包括髌骨或胫骨）的线性回归系数及其标准误。
  • 方法应用：作者将外部文献中的简化模型系数摘要，通过方法整合到内部模型的拟合中，计算 JS 收缩估计量，进行留一法交叉验证评估预测 MSE。
  • 结果：整合外部信息后，JS 估计量的预测 MSE 相比仅用内部数据的 OLS 降低了 10-20%。具体而言，当整合了所有可用的外部摘要（共 3 个外部研究，针对不同协变量子集）时，预测性能提升最大。结果图表显示，JS 估计的预测均方误差的点和区间估计均低于内部 OLS，表明增益统计显著。
  • 案例说明什么：该案例直接展示了方法的实际效用：利用外部文献中常见的“简化模型”的汇总结果（很多流行病学研究只报告了单变量或少数变量的回归结果），可以改进复杂模型（如包含多个协变量但基于一个小群体数据）的预测。这验证了方法的有效性，特别是在外部研究数量不多（E=3）且有实质异质性（不同文献中人群和测量可能有差异）的困难场景下。

6. 🔎 结论是否比证明窄

是的。证明严格给出的是：在假定 (γ)̂_e 对自身简化模型中的 β_Int^(e) 是条件无偏、方差已知且独立于内部数据的假设下，所构造的 JS 估计量在预测 MSE 上不劣于内部 OLS。但论文在结论处（Introduction 和 Discussion）做出的 claim 似乎更宽泛：“我们提出的整合方法无论异质性程度如何，在 MSE 测度下，都不弱于且通常优于基于内部数据的估计量。” 这个“无论异质性程度如何”的结论，完全依赖于理论模型中 μ̂_e 是 μ 的无偏估计这一关键构造。由于 μ̂_e 是依赖于外部摘要 (γ)̂_e 的线性组合，其无偏性只在外部研究也是基于简单随机抽样，且其模型是正确的（即线性、误差独立同分布、忽略测量误差） 时成立。在真实数据（如骨铅研究）中，除了随机误差外，还有模型错误设定（如非线性、交互作用缺失）和测量误差，这些都会破坏无偏性，导致 JS 收缩可能面临失去优势的风险。论文在模拟和真实数据中均表现优秀，但理论上并未完美覆盖这些非理想情况。这使得严格的结论比“无论异质性如何”这个 claim 稍显狭窄。

四、开放问题

  1. 模型错误设定的影响：本文的整个理论框架假设内部模型和外部模型的线性回归形式都是正确设定的。如果内部模型与其他协变量存在非线性关系或交互作用，或者外部研究报告了错误的模型形式，JS 收缩会如何处理？是否可能引入新的偏倚？这是未来工作（Future Work）中作者明确指出的一个局限性。
  2. 外部研究数或外部协变量子集重叠性
  3. 扎根语句：论文提到“Our theoretical development focused on the case where the external information consists of estimates from independent samples with known variances... Extensions to more complex external information structures (e.g., from overlapping studies) are left for future work.”
  4. 开放问题：当外部摘要来自共享部分个体数据的研究，或外部研究之间协变量集有复杂重叠（甚至内部模型的某个子集被多个外部研究重复估计）时，如何进行整合？这可能导致协方差结构的空间复杂，需要更高级的收缩技术（如 group ALS 或 tihany）。
  5. 非线性与高维协变量环境下的推广
  6. 扎根语句：论文结尾的 Discussion 中作者说：“The current work focuses on linear regression models. An extension to other types of models, such as generalized linear models or survival models, is of great interest.” 以及“The high-dimensional setting where p > n is also an important direction.”
  7. 开放问题：当协变量数量超过样本量时，内部 OLS 不可估，此时如何利用外部摘要信息？是否可以利用外部摘要来构建一个“有效”的稀疏估计或进行模型选择？
  8. 统计计算权衡的初步接口
  9. 扎根语：文中虽未涉及，但在真实例子中，如果外部研究非常多（E > 50），计算 μ̂_e（对每个外部模型在内部数据上重新拟合）的复杂度可能非常大（O(E * n³)），这与高计算成本相关。
  10. 开放问题：是否存在一种近似方法，可以在不逐个拟合外部模型的情况下计算 JS 收缩量，或者利用外部摘要的低秩结构来加速，并且维持理论的 MSE 保证？这牵涉到统计计算权衡的核心视角：我们是否愿意为了常数倍的提升速度而牺牲一些理论上严格的不劣于性质？

Maintained by 陈星宇 · Homepage · Source on GitHub

评论