Multi-Source Prediction-Powered Inference¶
讲者: Wenhui Li
会场: Recent Advance of Statistical Theories in Management and Economics
报告题目: Multi-Source Prediction Powered Inference
链接: arXiv
来源: JCSDS 2026 · 返回会议总览
一、领域脉络与小综述¶
这个方向是什么¶
本文研究的子方向是预测驱动推断（Prediction-Powered Inference, PPI）。其根本的统计问题是：当研究者拥有一个小规模、高质量、带真实标签（gold-standard）的目标数据集，以及一个或多个大规模、无标签或仅有伪标签（pseudo-label）的辅助数据集时，如何利用后者来改进对目标参数的统计推断（如缩小置信区间、提高检验功效），同时保证推断的有效性（如渐近覆盖概率）。该方向的核心挑战在于：伪标签可能是有偏的，辅助数据与目标数据的分布可能不同，且不同辅助数据源的信息质量参差不齐。当前该方向正处于从“单源、同分布”设定向“多源、异分布”设定快速扩展的阶段。
发展脉络¶
-
奠基工作：单源、同分布下的PPI
- Angelopoulos et al. (2023) 提出了PPI框架，这是该方向的奠基性工作。它针对一个目标数据集和一个由机器学习模型生成的伪标签数据集，通过构造一个“修正后的经验风险”（modified empirical risk），在无需对机器学习模型做任何假设的前提下，得到了渐近有效的置信区间。其核心思想是利用目标数据来校正伪标签的偏差。
- Angelopoulos et al. (2024) 提出了PPI++，对PPI进行了计算和统计效率上的改进。它引入了一个可自动调节的调优参数（tuning parameter），使得方法能自适应于伪标签的质量，并简化了计算。
- Zrnic & Candès (2024) 提出了Cross-PPI，通过交叉拟合（cross-fitting）的方式，进一步放宽了对数据分割方式的依赖，并提供了更稳健的推断。
-
主要进展：向异分布和多源扩展
- 异分布下的推断：该方向的一个自然延伸是处理源数据与目标数据分布不一致的情况。本文引用了两个主要分支：
- 协变量偏移（Covariate Shift）：Tibshirani et al. (2019) 将加权共形预测（weighted conformal prediction）扩展到协变量偏移场景，为预测区间提供了分布自由的保证。Qin et al. (2025) 和 Jin & Candès (2023) 在此基础上进一步发展了更高效的推断方法。
- 领域偏移（Domain Shift）：Ge et al. (2024) 研究了在无监督领域偏移下，如何最优地聚合多个预测区间。这为处理更一般的分布变化提供了思路。
- 多源聚合：Shan et al. (2026) 提出了SADA方法，在“同分布、有标签-无标签”的设定下，安全且自适应地聚合多个黑箱预测。该方法在均值推断的特例下，可以被视为一种“预测器平均”（predictor-averaging）形式。这是本文最直接的相关工作之一。
- 异分布下的推断：该方向的一个自然延伸是处理源数据与目标数据分布不一致的情况。本文引用了两个主要分支：
-
当前Frontier与本文位置
- 当前的前沿是将PPI从单源、同分布设定，推广到多源、异分布（协变量偏移和领域偏移）设定，并发展出能够自动、最优地聚合多个异质伪标签源的方法。
- 本文的位置：本文（Li, 2026）正是填补这一空白。它提出了一个统一的多源预测驱动推断（MPPI）框架。其核心创新在于：不是对参数或预测器进行平均，而是对多个“修正后的经验风险”函数进行加权平均，并通过最小化最终置信区域的渐近体积来数据驱动地选择权重。本文的理论贡献在于，证明了在三种设定（同分布、协变量偏移、领域偏移）下，MPPI估计量的渐近正态性，以及其置信区域体积与“Oracle最优”体积的渐近等价性。
子线索聚类¶
- PPI方法线：专注于发展基于伪标签的统计推断方法。包括PPI (Angelopoulos et al., 2023)、PPI++ (Angelopoulos et al., 2024)、Cross-PPI (Zrnic & Candès, 2024) 以及本文的MPPI。这条线关注的核心是推断的有效性和效率，而非预测精度。
- 领域自适应与对齐线：专注于处理源域与目标域之间的分布差异。包括协变量偏移下的密度比估计（Sugiyama et al., 2007; Gretton et al., 2009）、最优传输映射估计（Seguy et al., 2018; Makkuva et al., 2020; Divol et al., 2025; Deb et al., 2021; Yuan et al., 2025），以及特征对齐方法如CORAL (Sun et al., 2017) 和ADDA (Tzeng et al., 2017)。这条线为MPPI在异分布下的应用提供了必要的“对齐”工具。
- 模型平均与聚合线：关注如何最优地组合多个模型或估计量。包括参数平均（Wan et al., 2010; Zhang et al., 2016）和预测器平均（Shan et al., 2026）。本文的MPPI属于“准则平均”（criterion averaging），与这两者不同，它是在优化目标函数层面进行加权。
核心问题与瓶颈¶
- 如何有效聚合多个异质伪标签源？ 不同源的质量、偏差、与目标的分布差异各不相同，简单的池化或等权平均效果不佳。瓶颈在于如何设计一个既能保证推断有效性，又能实现最优效率的聚合机制。
- 如何处理源与目标之间的分布偏移？ 协变量偏移和领域偏移是常见挑战。瓶颈在于，对齐（如密度比估计、最优传输）本身会引入估计误差，如何控制这种误差对最终推断的影响，并保证推断的渐近有效性。
- 何时聚合多源能带来效率提升？ 并非所有伪标签源都有用。需要明确的理论条件，说明在什么情况下，聚合多个源能比仅使用目标数据或仅使用单个最佳源更好。瓶颈在于，这些条件需要是可解释的，并能指导实际应用中的源选择。
- 如何实现计算上的可行性？ 权重选择是一个优化问题，特别是当参数维度较高时，最小化置信区域体积可能计算复杂。瓶颈在于需要设计高效的算法。
⚠️ 作者的Framing¶
- 作者如何frame缺口：作者明确指出，现有PPI方法“primarily developed for the single-source setting and are mostly studied under homogeneous distributions”，而“How to combine multiple pseudo-label score sources under potential distributional mismatch... remains largely unexplored.” 作者将本文定位为对PPI框架的自然且必要的扩展，使其能处理现代应用中常见的多源、异分布场景。
- 被淡化或回避的竞争路线：
- 直接池化（Pooling）：作者在引言中明确否定了“直接增广目标数据”的朴素想法，指出其可能因伪标签不准确和分布不匹配而效果不佳。这被用作一个反面教材，以凸显MPPI的必要性。
- 参数平均（Parameter Averaging）：作者在3.1节专门比较了MPPI与参数平均，指出参数平均后的估计量“generally not itself obtained by minimizing a corresponding population risk”，从而缺乏清晰的总体解释。这暗示MPPI的“准则平均”在理论上更优。
- 预测器平均（Predictor Averaging）：作者同样在3.1节比较了MPPI与预测器平均，指出两者不等价，且MPPI在一般情况下更优。这进一步强化了MPPI方法的独特性。
- 什么明显该被引/该存在、却没出现在intro里？
- 本文引用了大量关于最优传输和密度比估计的文献，但并未深入讨论这些“对齐”方法本身的统计性质（如收敛速率、对高维的适应性）如何影响MPPI的最终表现。例如，当使用高维协变量时，密度比估计可能非常困难，这可能会成为MPPI在实际应用中的一个关键瓶颈。作者在Assumption 7和11中假设了这些对齐估计的稳定性，但并未讨论这些假设在何种条件下成立，以及当它们不成立时会发生什么。这是一个值得研究者去查的问题：对齐估计的误差如何传播到MPPI的最终推断中？
张力¶
未见明显对立引用。所有被引工作似乎都在朝着一个共同的目标前进：更有效、更稳健地利用辅助数据。不同方法（如PPI vs. 共形预测）服务于略有不同的目标（参数推断 vs. 预测区间），但不存在根本性的矛盾。
二、最核心、最简单的例子 / 数学问题¶
第一步：符号、模型、可观测数据交代清楚¶
-
符号：
θ*：目标参数（p维向量），是我们要推断的总体量。它是某个总体风险函数的最小值点。D(0)：目标数据集，包含N0个独立同分布的观测(x_i^(0), y_i^(0))。这是唯一带有真实标签y的数据。D(s)：第s个源数据集（s=1,...,S），包含Ns个独立同分布的观测(x_i^(s), y_i^(s))。关键：在实际应用中，y_i^(s)通常是不可观测的（未标记或隐私限制）。f(s)(x)：第s个预训练的机器学习模型，它根据协变量x生成一个伪标签（pseudo-label）。ℓθ(x, y)：损失函数，关于参数θ是凸的。例如，对于均值推断，ℓθ(y) = (y - θ)^2。∇ℓθ(x, y)：损失函数关于θ的梯度（或次梯度）。w = (w0, w1, ..., wS)：权重向量，属于(S+1)维单纯形（非负且和为1）。w0是目标数据的权重，ws是第s个源数据的权重。ˆθ(w)：给定权重w下的加权估计量。ˆR_θ^(0)：目标经验风险，基于D(0)计算。ˆMR_θ^(s)：第s个修正后的经验风险（Modified empirical Risk），基于D(s)的伪标签和D(0)的真实标签计算。Σ(θ, w)：ˆθ(w)的渐近协方差矩阵。C_α^MPPI(w)：基于ˆθ(w)和Σ(θ, w)构建的置信区域。
-
模型：
- 这是一个M-估计（M-estimation）框架。目标参数
θ*被定义为总体风险E[ℓθ(X^(0), Y^(0))]的唯一最小化器。 - 数据生成机制：目标数据
D(0)来自分布P。源数据D(s)来自分布Q(s)。在同分布设定下，Q(s) = P。在异分布设定下，Q(s) ≠ P，但通过协变量偏移或领域偏移与P相关联。
- 这是一个M-估计（M-estimation）框架。目标参数
-
可观测数据：
- 可观测：目标数据
D(0)的(x, y)对；所有源数据D(s)的协变量x；所有预训练模型f(s)。 - 不可观测/潜在：源数据
D(s)的真实标签y。这是PPI方法要克服的核心困难。我们只能通过f(s)(x)来“猜测”这些标签。
- 可观测：目标数据
第二步：讲最小内核——均值推断¶
为了理解MPPI的核心思想，我们剥去所有复杂性，考虑一个最简特例：推断总体均值θ* = E[Y]，使用平方损失ℓθ(y) = (y - θ)^2，且只有一个源数据集（S=1），同分布设定（Q(1) = P）。
-
经典估计量：仅使用目标数据，经典估计量是样本均值
ˆθ^(0) = (1/N0) Σ_i y_i^(0)。其方差为Var(Y)/N0。 -
单源PPI估计量：我们有一个源数据集
D(1)，其协变量x_i^(1)已知，但标签未知。我们有一个预训练模型f(1)(x)来生成伪标签。PPI构造的“修正后的经验风险”为：ˆMR_θ^(1) = (1/N1) Σ_i (f(1)(x_i^(1)) - θ)^2 + (1/N0) Σ_i [(y_i^(0) - θ)^2 - (f(1)(x_i^(0)) - θ)^2]这个式子可以理解为：第一项是源数据上的“伪风险”，第二项是目标数据上的“校正项”，它修正了伪标签与真实标签之间的偏差。 当w0 = 0, w1 = 1时，MPPI退化为单源PPI。最小化ˆMR_θ^(1)得到的估计量ˆθ^(1)可以显式写出：ˆθ^(1) = (1/N1) Σ_i f(1)(x_i^(1)) + (1/N0) Σ_i (y_i^(0) - f(1)(x_i^(0)))核心思路：这个估计量可以看作是用源数据的平均伪标签(1/N1) Σ_i f(1)(x_i^(1))作为起点，然后用目标数据上真实标签与伪标签的平均差异(1/N0) Σ_i (y_i^(0) - f(1)(x_i^(0)))来校正这个起点。如果伪标签是无偏的（即E[f(1)(X)] = E[Y]），那么校正项期望为0，估计量主要依赖大样本的源数据，方差更小。如果伪标签有偏，校正项会修正这个偏差，但会引入目标数据带来的方差。 -
MPPI估计量（多源）：现在我们有S个源，每个源都有一个伪标签模型
f(s)。MPPI不直接平均参数或预测器，而是平均这些“修正后的经验风险”：ˆθ(w) = arg min_θ [ w0 * ˆR_θ^(0) + Σ_s ws * ˆMR_θ^(s) ]对于均值推断，这个优化问题有显式解：ˆθ(w) = w0 * ˆθ^(0) + Σ_s ws * [ (1/Ns) Σ_i f(s)(x_i^(s)) + (1/N0) Σ_i (y_i^(0) - f(s)(x_i^(0))) ]核心思路：MPPI将目标估计量ˆθ^(0)与S个“校正后的源估计量”进行加权平均。权重w决定了每个成分的贡献。这个加权平均是在估计量层面进行的，但权重是通过最小化最终置信区域的体积来选择的，这等价于最小化估计量的渐近方差。
这个最小内核揭示了MPPI的本质：它是在一个由目标估计量和多个“校正后源估计量”张成的线性空间内，寻找一个最优的线性组合，使得组合后的估计量方差最小。权重选择机制（最小化置信区域体积）是MPPI区别于简单平均或参数平均的关键。
三、这篇论文做了什么¶
三句话¶
- 研究了什么问题：本文研究了如何利用多个、可能带有分布偏移的伪标签源数据集，来改进对目标参数的统计推断，提出了一个统一的多源预测驱动推断（MPPI）框架。
- 核心工具/方法：核心方法是加权风险最小化，即对目标经验风险和多个“修正后的源经验风险”进行加权平均，并通过最小化最终置信区域的渐近体积来数据驱动地选择最优权重。
- 主要结论：在同分布、协变量偏移和领域偏移三种设定下，MPPI估计量是渐近正态的，其置信区域的体积与“Oracle最优”权重下的体积渐近等价，并且给出了MPPI优于经典估计量和单源PPI的可解释充分条件。
关键设定与假设¶
- 设定：一个带真实标签的目标数据集
D(0)，S个无标签（或标签不可用）的源数据集D(1),...,D(S)，每个源数据集配有一个预训练的机器学习模型f(s)。目标参数θ*是某个凸损失函数ℓθ的总体风险最小化器。 - 三种场景：
- 同分布：
Q(s) = P，所有数据来自同一分布。 - 协变量偏移：
Q(s)_Y|X = P_Y|X，但Q(s)_X ≠ P_X。需要估计密度比DR(s)(x) = dP_X / dQ(s)_X(x)。 - 领域偏移：存在一个可测的传输映射
T(s)，使得T(s)(X(s))与X(0)同分布，且条件分布Q(s)_Y|X与P_Y|X通过T(s)关联。需要估计传输映射T(s)及其近似逆S(s)。
- 同分布：
- 关键假设：
- Assumption 1-3：标准M-估计正则性条件（参数可识别、损失函数光滑、Hessian矩阵正定）。这些是保证渐近正态性的基础。
- Assumption 4：
N0/Ns → cs，源样本量与目标样本量同阶。这确保了源数据在渐近分析中能贡献非平凡信息。 - Assumption 5, 9, 13：协方差矩阵
Σ(θ, w)在(θ, w)上一致正定且有界。这是保证权重选择问题（最小化log-det）良定义和稳定的关键。 - Assumption 7 (协变量偏移)：密度比估计量
ˆDR(s)是“稳定”的，即其估计误差在梯度层面是op(1)的。这比要求ˆDR(s)本身一致更强，它要求估计误差对最终推断的影响可以忽略。 - Assumption 11 (领域偏移)：传输映射估计量
ˆT(s), ˆS(s)是“稳定”的，条件与Assumption 7类似，但更复杂，因为它影响源伪风险和目标校正项两个部分。 - Assumption 6, 10：分别定义了协变量偏移和领域偏移的结构。Assumption 10还额外要求传输映射的近似可逆性。
主要结果¶
- Theorem 1 (固定权重的渐近正态性)：对于任何固定的权重
w，√N0 (ˆθ(w) - θ*)依分布收敛到均值为0，协方差为Σ(θ*, w)的正态分布。这是后续所有推断的基础。 - Theorem 2 (数据驱动权重的Oracle性质)：如果
w*是总体log-det准则log det(Σ(θ*, w))的唯一最小化器，那么用数据驱动权重ˆw（通过最小化样本log-det准则得到）的MPPI估计量ˆθ(ˆw)，其渐近分布与使用Oracle权重w*的估计量相同，即√N0 (ˆθ(ˆw) - θ*) → N(0, Σ(θ*, w*))。- Corollary 1：基于
ˆθ(ˆw)和ˆΣ(ˆθ(ˆw), ˆw)构建的置信区域具有渐近覆盖概率1-α。 - Corollary 2：
det(ˆΣ(ˆθ(ˆw), ˆw)) = det(Σ(θ*, w*))(1 + op(1))，即样本置信区域的体积与Oracle最优体积渐近等价。
- Corollary 1：基于
- Theorem 3 (MPPI vs. 经典估计)：给出了MPPI优于经典估计量的充分条件。该条件用“方向性得分”（directional score）的投影系数
ρ(u; w)和方差成本c_θ*(u; w)表示。直观上，当加权后的伪标签方向性得分与真实标签方向性得分足够“对齐”，且对齐带来的好处超过了使用源数据引入的额外方差时，MPPI更优。 - Corollary 3 (单源PPI vs. 经典估计)：Theorem 3的特例，给出了单源PPI优于经典估计的条件。
- Corollary 4 (MPPI vs. 单源PPI)：给出了MPPI优于单源PPI的条件。该条件比较了MPPI和单源PPI的“近似误差”（伪标签与真实标签的差异）和“方差成本”之和。当MPPI能通过加权组合显著降低近似误差，同时控制方差成本时，它就更优。
- Theorem 4 & 5 (异分布下的渐近正态性)：在协变量偏移和领域偏移下，经过密度比估计/传输映射对齐和交叉拟合后，MPPI估计量
ˆθ(ˆw)仍然渐近正态，且其渐近协方差矩阵为Σ_DR(θ*, w*_DR)或Σ_T(θ*, w*_T)。对应的Corollary 5-8给出了置信区域覆盖概率和体积的Oracle性质。
证明路线与技术技巧¶
- 整体路线：
- 固定权重下的渐近正态性：首先证明对于任意固定
w，ˆθ(w)是渐近正态的。这通过将ˆθ(w)的估计方程在θ*处进行泰勒展开，然后证明展开后的线性项（由加权后的梯度组成）满足多元中心极限定理（CLT）。关键在于证明ˆθ(w)是√N0-相合的，且其影响函数（influence function）可以显式写出。 - 数据驱动权重的Oracle性质：这是证明的核心。需要证明
ˆw是w*的相合估计，并且ˆθ(ˆw)与ˆθ(w*)的渐近分布相同。这通常分两步：- 第一步：证明权重选择准则
CN(w) = log det(ˆΣ(ˆθ(w), w))在w上一致收敛到其总体版本log det(Σ(θ*, w))。这需要证明ˆΣ(ˆθ(w), w)在(θ, w)上的一致相合性。 - 第二步：利用
w*的唯一性和CN(w)的一致收敛性，证明ˆw → w*。然后，利用ˆθ(w)在w上的随机等度连续性（stochastic equicontinuity），证明√N0(ˆθ(ˆw) - θ*)与√N0(ˆθ(w*) - θ*)的差是op(1)，从而两者渐近分布相同。
- 第一步：证明权重选择准则
- 异分布下的扩展：在协变量偏移和领域偏移下，核心挑战是处理“对齐”估计量（
ˆDR或ˆT, ˆS）带来的额外不确定性。证明路线是：- 首先，证明在“Oracle”对齐（即已知真实
DR或T, S）下，定理成立。 - 然后，利用交叉拟合（cross-fitting）和稳定性假设（Assumption 7, 11），证明使用估计的对齐量
ˆDR或ˆT, ˆS与使用Oracle对齐量在渐近上是等价的。稳定性假设确保了估计误差在梯度层面是op(1)的，从而不影响CLT。
- 首先，证明在“Oracle”对齐（即已知真实
- 固定权重下的渐近正态性：首先证明对于任意固定
- 关键跳跃点：
- 权重选择的渐近等价性：证明
ˆθ(ˆw)与ˆθ(w*)渐近等价是最大的技术难点。这需要处理ˆw的随机性，并证明其不影响ˆθ的一阶渐近性质。作者通过证明CN(w)的一致收敛性和ˆθ(w)的随机等度连续性来绕过这个难点。 - 对齐估计误差的控制：在异分布下，证明估计的对齐量（
ˆDR或ˆT, ˆS）不会破坏渐近正态性。这依赖于精心设计的稳定性假设，这些假设本质上要求对齐估计的误差在“一阶”上是可忽略的。这类似于半参数理论中“Nuisance参数”的估计要求。
- 权重选择的渐近等价性：证明
- 技术技巧点名：
- M-估计理论：用于建立固定权重下
ˆθ(w)的渐近正态性。 - 经验过程理论（Empirical Process）：用于证明
CN(w)的一致收敛性和ˆθ(w)的随机等度连续性。 - 交叉拟合（Cross-fitting）：用于在异分布下分离“对齐”估计与“推断”步骤，使得对齐估计的误差不影响推断的渐近分布。这是处理Nuisance参数的标准技巧。
- Log-det最小化：用于将多维置信区域的体积最小化问题转化为一个可处理的优化问题。这是一个在模型平均和协方差估计中常用的技巧。
- 方向性得分（Directional Score）：用于给出MPPI优于其他方法的可解释条件。这是一种将高维协方差比较问题转化为一维投影问题的分析技巧。
- M-估计理论：用于建立固定权重下
真实例子与应用¶
- 数据：2017-2018年美国国家健康与营养调查（NHANES）的全身双能X线吸收测定法（DXA）数据作为目标数据集。三个源数据集：国家健康访谈调查（NHIS）、行为风险因素监测系统（BRFSS）、健康信息全国趋势调查（HINTS）。目标参数是高体脂率（High Body Fat）的患病率，按性别分层（男性>30%，女性>40%）。
- 方法应用：
- 目标数据：NHANES中40-59岁人群的DXA测量数据（男性529人，女性584人）。
- 源数据：NHIS、BRFSS、HINTS中同年龄段人群，但无DXA数据。它们有年龄和BMI等协变量。
- 伪标签生成：使用三个已发表的、仅依赖年龄和BMI的体脂率估算方程（Deurenberg, CUN-BAE, Gallagher）作为
f(s)，生成“是否高体脂”的伪标签。 - 分布对齐：由于目标与源数据来自不同调查，存在协变量偏移。因此使用协变量偏移版本的MPPI，通过交叉拟合的判别方法估计密度比。
- 结果：
- 男性：经典估计的
˜Vol（方差代理）为0.2402，MPPI将其降至0.1830，降幅约24%。MPPI的置信区间也更窄。 - 女性：经典估计的
˜Vol为0.2468，MPPI降至0.1666，降幅约32%。 - 权重分配：MPPI自动分配了非平凡权重给多个源，且权重分配在不同性别间有差异，说明其能自适应地利用不同源的信息。
- 男性：经典估计的
- 这个例子想说明什么：验证了MPPI在真实世界场景中的有效性。它表明，即使伪标签来自简单的、非完美的方程，且源与目标存在分布偏移，MPPI仍能通过自动加权和分布对齐，显著提高推断效率（缩小置信区间），同时保持点估计的合理性。
🔎 结论是否比证明窄¶
- Theorem 3 和 Corollary 4 的条件是充分的，但可能不是必要的。论文给出了MPPI优于经典估计和单源PPI的充分条件。这些条件（如公式(6)和(7)）依赖于未知的总体量（如
var(G_θ*(u))），在实际中难以验证。论文并未证明这些条件是必要的，即可能存在不满足这些条件但MPPI仍然更优的情况。作者在模拟中展示了MPPI的优越性，但并未系统性地检验这些条件的边界。 - 异分布下的稳定性假设（Assumption 7, 11）很强。这些假设要求对齐估计的误差在梯度层面是
op(1)的。在实际应用中，特别是当协变量维度较高或传输映射很复杂时，这个假设可能不成立。论文的证明严格依赖于这些假设，因此其结论的适用范围受限于这些假设成立的条件。作者在7.1节的Scope讨论中，实际上也承认了PPI方法的局限性，即其效率提升依赖于“协变量可解释的得分成分”，这可以看作是对这些假设的一种具体化。 - 权重选择的唯一性假设。Theorem 2, 4, 5都假设
w*是唯一的。如果log det(Σ(θ*, w))在最优值附近是平坦的，那么ˆw可能不收敛到唯一值，虽然ˆθ(ˆw)可能仍然渐近正态，但其协方差矩阵的估计可能更复杂。论文没有讨论这种非唯一性情况。
四、开放问题¶
-
扩展到生成式模型：论文在7.2节提到“extend the MPPI framework to settings where auxiliary data are generated by modern generative models, potentially including both covariates and responses.” 这是一个明确的开放问题。当辅助数据不仅包含伪标签，还包含生成的协变量时，如何设计有效的推断程序？这需要处理生成模型带来的额外不确定性，可能涉及更复杂的偏差校正和方差分析。
-
扩展到下游决策：论文在7.2节提到“extend MPPI to downstream decision-making objectives, in order to support reliable decision rules.” 这意味着将MPPI从纯粹的统计推断（如置信区间）扩展到决策理论框架。例如，如何利用MPPI来做出更优的、且具有统计保证的决策（如最优治疗分配、资源分配）？这需要将MPPI的推断结果与一个决策损失函数相结合。
-
更一般的领域偏移：论文在4.2节末尾提到，可以扩展到通过“共同表示（common representation）”来刻画的更一般的领域偏移。这比显式的传输映射更灵活，但也更难处理。如何在这种设定下定义和估计“对齐”，并保证MPPI的渐近性质，是一个值得探索的方向。
-
当“对齐”估计很差时的鲁棒性：论文的异分布理论依赖于对齐估计的稳定性假设（Assumption 7, 11）。一个重要的开放问题是：当这些假设不成立时，MPPI的表现如何？ 例如，当密度比估计或传输映射估计误差很大时，MPPI的置信区间是否还能保持名义覆盖？是否存在更鲁棒的MPPI变体，能自动适应对齐估计的质量？这可以联系到Kato et al. (2024)关于“双稳健协变量偏移适应”的工作，该工作被本文引用，但其“双稳健”思想是否可以融入MPPI框架？
Maintained by 陈星宇 · Homepage · Source on GitHub