跳转至

Handling covariate shift by model averaging

作者: Yifan Zhang, Tianfa Xie, Xinyu Zhang
主题: 因果推断
相关性: 6/10
链接: https://arxiv.org/abs/2608.14025

一、领域脉络与小综述

  • 这个方向是什么：本文研究的子方向是协变量偏移（covariate shift）下的预测问题。其根本的统计问题是：当训练数据（源分布）与预测目标（目标分布）的协变量边际分布不同，但给定协变量的响应条件分布保持不变时，如何利用源分布的有标签数据（以及目标分布的无标签协变量数据）来构建一个在目标分布上表现良好的预测规则。该方向当前成熟度较高，已有大量关于重要性加权（importance weighting）的理论与方法，但如何在实际有限样本中平衡加权带来的偏差修正与方差膨胀，仍是一个活跃的研究问题。

  • 发展脉络（history）：作者在引言中梳理了以下脉络：

    • 奠基工作：Shimodaira (2000) 提出了在协变量偏移下，通过目标-源密度比（importance weight）对源观测进行加权，从而修正预测风险。这是重要性加权方法的起点。Sugiyama et al. (2007) 进一步提出了将密度比提升到指数 \(\lambda \in [0,1]\) 的自适应加权方案，并利用重要性加权交叉验证（AIW-CV）来选择 \(\lambda\)，以在偏差修正与方差控制之间取得平衡。作者引用 Sugiyama et al. (2007) 时指出：“Smaller values of \(\lambda\) move the density-ratio values toward one and thereby reduce the variance cost of reweighting, whereas larger values impose a stronger correction for the discrepancy between the source and target covariate distributions.” 这直接点明了 \(\lambda\) 的核心权衡。
    • 主要进展：在密度比估计方面，Huang et al. (2007) 和 Sugiyama et al. (2008) 分别提出了KLIEP等方法。在理论方面，Cortes et al. (2010) 和 Ma et al. (2023) 研究了密度比的尾部与矩性质如何影响重要性加权方法的性能。Gogolashvili et al. (2023) 和 Ge et al. (2024) 则探讨了在模型正确设定与误设定下，仅用源数据（source-only）与重要性加权的相对优劣。作者引用 Ma et al. (2023) 时指出其研究了“how source–target overlap and the tail and moment properties of the density ratio affect the performance of importance-weighted procedures”。此外，Tibshirani et al. (2019) 和 Yang et al. (2024) 将密度比加权应用于协变量偏移下的预测集构建与选择性推断。
    • 当前 frontier：作者将当前前沿定位为模型平均（model averaging）。他们指出，已有的选择单一 \(\lambda\) 的方法（如 AIC 型准则、AIW-CV）虽然有用，但“ultimately select a single correction level. As a result, the final prediction rule does not account for model uncertainty across different degrees of importance-weighting correction.” 这构成了本文的动机。作者引用了大量模型平均的文献，如 Hansen (2007) 的 Mallows 模型平均、Hansen and Racine (2012) 的 Jackknife 模型平均、Zhang and Liu (2023) 的 K 折交叉验证平均等，作为其方法论的基石。
    • 本文的位置：作者声称：“To the best of our knowledge, this is the first frequentist model-averaging framework that treats the strength of importance-weighting correction as model uncertainty for prediction under covariate shift with unlabeled target covariates.” 本文将自己定位为连接“协变量偏移自适应”与“模型平均”的桥梁，通过平均不同 \(\lambda\) 下的候选估计量，而非选择单一 \(\lambda\)，来应对加权强度的不确定性。

  • 子线索聚类：被引文献大致落在以下 3 条子线索上：

    1. 协变量偏移下的重要性加权方法：包括 Shimodaira (2000), Sugiyama et al. (2007), Sugiyama et al. (2012), Feng et al. (2024) 等。这一簇的核心是提出并改进加权估计量，并研究其性质。
    2. 密度比估计：包括 Huang et al. (2007), Sugiyama et al. (2008), Kanamori et al. (2009), Bickel et al. (2009)。这一簇专注于如何从源和目标协变量样本中估计未知的密度比。
    3. 模型平均：包括 Hjort and Claeskens (2003), Hansen (2007), Hansen and Racine (2012), Zhang and Liu (2023) 等。这一簇发展了一套用于组合多个候选估计量的频率学派方法，并提供了渐近最优性等理论保证。

  • 这个方向在追问的核心问题（2-4 个）：

    1. 如何最优地平衡重要性加权的偏差与方差？ 这是协变量偏移下的核心问题。已知 \(\lambda=0\)（OLS）方差小但偏差大，\(\lambda=1\)（IWLS）偏差小但方差大。如何选择或组合中间的 \(\lambda\) 以最小化目标预测风险？
    2. 在模型误设定下，如何保证预测性能？ 当工作模型（如线性模型）是近似而非真实时，重要性加权的最优性如何？模型平均能否提供稳健性？
    3. 在模型正确设定下，如何避免不必要的方差膨胀？ 如果模型正确，理论上 OLS 就足够，重要性加权只会引入额外方差。如何让方法自动识别这种情况并退回到 OLS？
    4. 密度比估计误差如何影响下游的预测性能？ 理论分析通常假设密度比已知，但实际中必须估计。估计误差的传播与影响是重要的开放问题。

  • ⚠️ 作者的 framing（必须明确标注成"这是作者的说法"）：

    • 作者把缺口 frame 成什么：作者将缺口 frame 为“模型不确定性”（model uncertainty）——即最优的加权强度 \(\lambda\) 是未知的，且依赖于数据特征。他们认为，选择单一 \(\lambda\) 的方法（如 AIC、CV）无法捕捉这种不确定性，而模型平均通过组合多个 \(\lambda\) 下的候选估计量，可以自然地处理它。因此，本文是“显然的下一步”：将成熟的模型平均技术应用于协变量偏移下的 \(\lambda\) 选择问题。
    • 哪些竞争路线被他淡化或回避了：作者淡化了贝叶斯模型平均（BMA）路线。他们只引用了 Hjort and Claeskens (2003) 的频率学派模型平均，没有讨论贝叶斯方法。此外，对于直接优化目标风险的端到端方法（如通过对抗训练学习一个对分布偏移鲁棒的表示），本文完全没有涉及。作者将问题严格限定在“线性预测函数 + 重要性加权”的框架内，回避了更复杂的非线性或表示学习方法。
    • 什么明显该被引 / 该存在、却没出现在 intro 里？：本文没有引用任何关于高维协变量偏移的工作。当协变量维度 \(d\) 很大时，密度比估计本身就是一个高维问题，且线性模型可能不再适用。作者明确假设 \(p\) 固定且 \(p < n_s\)，因此回避了高维场景。对于研究者（陈星宇）熟悉的高维统计与随机矩阵理论，这是一个明显的缺失。此外，本文也没有引用关于半参数效率理论（semiparametric efficiency theory）在协变量偏移下的应用，例如通过 efficient influence function 构造双稳健估计量。这与研究者 moderately_familiar 的 HOIF 和 semiparametric theory 领域相关。

  • 张力：未见明显对立引用。被引工作之间在基本结论上是一致的：重要性加权在理论上能修正偏差，但实际中可能因方差膨胀而不稳定。不同工作主要是在如何缓解方差膨胀（如截断、指数化、选择 vs. 平均）上提出不同方案，而非相互矛盾。

二、最核心、最简单的例子 / 数学问题

第一步：把符号、模型、可观测数据交代清楚

  • 符号：

    • \(\mathcal{X} \subseteq \mathbb{R}^d\): 协变量空间，\(d\) 固定。
    • \(\mathcal{Y} = \mathbb{R}\): 响应空间。
    • \(\rho^S_{\mathcal{X} \times \mathcal{Y}}\): 源联合分布。
    • \(\rho^T_{\mathcal{X} \times \mathcal{Y}}\): 目标联合分布。
    • \(\rho^S_{\mathcal{X}}, \rho^T_{\mathcal{X}}\): 源、目标协变量边际分布。
    • \(\rho_{\mathcal{Y}|\mathcal{X}}\): 给定协变量下响应的条件分布（在协变量偏移假设下，源与目标相同）。
    • \(\{(\boldsymbol{x}_i, y_i)\}_{i=1}^{n_s}\): 从源分布观测到的有标签数据。这是可观测的。
    • \(\{\boldsymbol{x}'_j\}_{j=1}^{n_t}\): 从目标分布观测到的无标签协变量数据。这也是可观测的。
    • \(f(\boldsymbol{x}) = \mathbb{E}[y|\boldsymbol{x}]\): 共同的条件均值函数。这是想要但观测不到的潜在量。
    • \(\boldsymbol{h}(\boldsymbol{x}) = (h_1(\boldsymbol{x}), \dots, h_p(\boldsymbol{x}))^\top\): 预设的 \(p\) 维基函数向量。\(p\) 固定且 \(p < n_s\)。
    • \(f_{\boldsymbol{\theta}}(\boldsymbol{x}) = \boldsymbol{h}(\boldsymbol{x})^\top \boldsymbol{\theta}\): 工作线性预测函数。\(\boldsymbol{\theta} \in \mathbb{R}^p\) 是参数（要估的对象）。
    • \(\boldsymbol{\theta}^*\): 最小化目标预测风险 \(\text{PR}^T(\boldsymbol{\theta})\) 的最优系数。这是目标 estimand。
    • \(\delta(\boldsymbol{x}) = \text{d}\rho^T_{\mathcal{X}} / \text{d}\rho^S_{\mathcal{X}}(\boldsymbol{x})\): 目标-源协变量密度比（importance weight）。这是未知的，需要估计。
    • \(\lambda \in [0,1]\): 密度比的指数（correction exponent）。\(\lambda=0\) 对应 OLS，\(\lambda=1\) 对应标准 IWLS。
    • \(\hat{\boldsymbol{\theta}}_{\text{AIWLS}}(\lambda)\): 给定 \(\lambda\) 下的自适应重要性加权最小二乘（AIWLS）估计量。
    • \(\Lambda_n = \{\lambda_1, \dots, \lambda_{M_n}\}\): 候选指数网格，\(M_n\) 可随样本量发散。
    • \(\hat{\boldsymbol{\theta}}_m\): 第 \(m\) 个候选 AIWLS 估计量，对应 \(\lambda_m\)。
    • \(\boldsymbol{w} = (w_1, \dots, w_{M_n})^\top\): 平均权重向量，属于单纯形 \(\mathcal{W}_n\)。
    • \(\hat{\boldsymbol{\theta}}(\boldsymbol{w}) = \sum_{m=1}^{M_n} w_m \hat{\boldsymbol{\theta}}_m\): 自适应重要性加权模型平均（AIWMA）估计量。这是最终要用的预测规则。

  • 模型：

    • 协变量偏移假设：\(\rho^S_{\mathcal{X} \times \mathcal{Y}}(\boldsymbol{x}, y) = \rho^S_{\mathcal{X}}(\boldsymbol{x}) \rho_{\mathcal{Y}|\mathcal{X}}(y|\boldsymbol{x})\)，\(\rho^T_{\mathcal{X} \times \mathcal{Y}}(\boldsymbol{x}, y) = \rho^T_{\mathcal{X}}(\boldsymbol{x}) \rho_{\mathcal{Y}|\mathcal{X}}(y|\boldsymbol{x})\)。即条件分布 \(\rho_{\mathcal{Y}|\mathcal{X}}\) 不变，只有协变量边际分布 \(\rho_{\mathcal{X}}\) 变化。
    • 数据生成机制：\(y = f(\boldsymbol{x}) + \varepsilon\)，其中 \(\mathbb{E}[\varepsilon|\boldsymbol{x}] = 0\)，\(\text{Var}(\varepsilon|\boldsymbol{x}) = \sigma^2\)（常数方差）。
    • 工作模型：\(f_{\boldsymbol{\theta}}(\boldsymbol{x}) = \boldsymbol{h}(\boldsymbol{x})^\top \boldsymbol{\theta}\)。模型可能是正确设定（存在 \(\boldsymbol{\theta}_0\) 使得 \(f(\boldsymbol{x}) = \boldsymbol{h}(\boldsymbol{x})^\top \boldsymbol{\theta}_0\) 几乎处处成立）或误设定的。
    • 已知量：\(\boldsymbol{h}(\cdot)\) 是预设的。\(\sigma^2\) 是未知常数。
    • 要估的对象：\(\boldsymbol{\theta}^*\)（目标分布下的最优线性近似系数），以及用于构造估计量的密度比 \(\delta(\boldsymbol{x})\)。

  • 可观测数据：

    • 可观测：源有标签数据 \(\{(\boldsymbol{x}_i, y_i)\}_{i=1}^{n_s}\)，目标无标签协变量数据 \(\{\boldsymbol{x}'_j\}_{j=1}^{n_t}\)。
    • 潜在 / 不可观测：目标分布下的响应 \(y\)（无标签），条件均值函数 \(f(\boldsymbol{x})\)，密度比 \(\delta(\boldsymbol{x})\)，误差 \(\varepsilon\)，最优系数 \(\boldsymbol{\theta}^*\)。
    • 识别依赖：\(\boldsymbol{\theta}^*\) 的识别依赖于协变量偏移假设和密度比 \(\delta(\boldsymbol{x})\) 的识别（通过可观测的 \(\{\boldsymbol{x}_i\}\) 和 \(\{\boldsymbol{x}'_j\}\) 来估计）。

第二步：讲最小内核

本文的核心思路是通过模型平均来权衡重要性加权的偏差与方差。其最小内核可以退化为一个一维、线性、已知密度比的特例。

最简特例： - 设协变量 \(x \in \mathbb{R}\)，基函数 \(\boldsymbol{h}(x) = (1, x)^\top\)，即 \(p=2\)。 - 真实条件均值函数 \(f(x) = \beta_0 + \beta_1 x + b(x)\)，其中 \(b(x)\) 是线性近似误差（模型误设定）。 - 源分布 \(\rho^S_{\mathcal{X}} \sim N(0, \sigma_S^2)\)，目标分布 \(\rho^T_{\mathcal{X}} \sim N(\mu, \sigma_T^2)\)，且 \(\sigma_S^2 > \sigma_T^2\)（目标分布更集中）。 - 密度比已知：\(\delta(x) = \frac{\phi(x; \mu, \sigma_T^2)}{\phi(x; 0, \sigma_S^2)}\)，其中 \(\phi\) 是高斯密度。 - 候选指数网格 \(\Lambda_n = \{0, 0.5, 1\}\)，即 \(M_n=3\)，对应三个候选估计量：OLS (\(\lambda=0\))，中间加权 (\(\lambda=0.5\))，标准 IWLS (\(\lambda=1\))。

在这个特例下，核心问题退化成： 给定源样本 \(\{(x_i, y_i)\}_{i=1}^{n_s}\)，我们构造三个 AIWLS 估计量：

\[\hat{\boldsymbol{\theta}}_0 = (\boldsymbol{H}^\top \boldsymbol{H})^{-1} \boldsymbol{H}^\top \boldsymbol{y} \quad (\text{OLS})\]
\[\hat{\boldsymbol{\theta}}_{0.5} = (\boldsymbol{H}^\top \boldsymbol{\Delta}_{0.5} \boldsymbol{H})^{-1} \boldsymbol{H}^\top \boldsymbol{\Delta}_{0.5} \boldsymbol{y} \quad (\text{中间})\]
\[\hat{\boldsymbol{\theta}}_1 = (\boldsymbol{H}^\top \boldsymbol{\Delta}_1 \boldsymbol{H})^{-1} \boldsymbol{H}^\top \boldsymbol{\Delta}_1 \boldsymbol{y} \quad (\text{IWLS})\]
其中 \(\boldsymbol{\Delta}_\lambda = \text{diag}\{\delta(x_1)^\lambda, \dots, \delta(x_{n_s})^\lambda\}\)。

核心思路： - OLS (\(\lambda=0\))：偏差大（因为 \(b(x) \neq 0\) 且源、目标分布不同），但方差小（所有点权重相等）。 - IWLS (\(\lambda=1\))：偏差小（理论上能修正到目标分布下的最优线性近似 \(\boldsymbol{\theta}^*\)），但方差大（因为 \(\delta(x)\) 可能很大，导致少数点主导估计）。 - 中间 (\(\lambda=0.5\))：偏差和方差介于两者之间。

本文的关键想法：不选择单一 \(\lambda\)，而是寻找一个凸组合权重 \(\boldsymbol{w} = (w_0, w_{0.5}, w_1)^\top\)，使得组合估计量 \(\hat{\boldsymbol{\theta}}(\boldsymbol{w}) = w_0 \hat{\boldsymbol{\theta}}_0 + w_{0.5} \hat{\boldsymbol{\theta}}_{0.5} + w_1 \hat{\boldsymbol{\theta}}_1\) 的目标预测风险最小。这个最优权重 \(\boldsymbol{w}\) 是数据驱动的，通过最小化一个精心构造的准则 \(C(\boldsymbol{w})\) 得到。该准则 \(C(\boldsymbol{w})\) 在渐近意义下是目标预测风险的无偏估计（减去一个与 \(\boldsymbol{w}\) 无关的项）。

为什么这个特例能体现核心： - 它清晰地展示了三个候选估计量在偏差-方差谱上的不同位置。 - 模型平均提供了一个“自动”的折中方案：如果 OLS 最好（例如模型正确设定或信噪比很低），准则 \(C(\boldsymbol{w})\) 会倾向于将权重集中在 \(\lambda=0\) 上；如果 IWLS 最好（例如模型误设定严重且信噪比高），权重会集中在 \(\lambda=1\) 上；如果中间点最好，权重会分布到多个点上。 - 这个特例中，\(M_n=3\) 很小，使得权重选择的二次规划问题非常直观。论文的一般情形只是将这个网格变密（\(M_n \to \infty\)），并处理密度比未知、需要估计的情况。

三、这篇论文做了什么

  • 三句话：

    1. 研究了什么问题：在协变量偏移下，当源分布有标签、目标分布仅有无标签协变量时，如何通过模型平均来自适应地权衡重要性加权的偏差与方差，以提升目标预测性能。
    2. 核心工具 / 方法：提出自适应重要性加权模型平均（AIWMA）方法。该方法构造一族由密度比指数 \(\lambda \in [0,1]\) 索引的 AIWLS 候选估计量，然后通过最小化一个数据驱动的准则 \(C(\boldsymbol{w})\) 来求解这些候选估计量的最优凸组合权重。
    3. 主要结论：在模型误设定下，AIWMA 估计量是渐近最优的，其目标预测风险与不可实现的最佳凸组合渐近等价。在模型正确设定下，一个发散的惩罚项使得所选权重集中于 OLS 端点（\(\lambda=0\)），从而避免不必要的方差膨胀。

  • 关键设定与假设：

    • 设定：线性预测模型 \(f_{\boldsymbol{\theta}}(\boldsymbol{x}) = \boldsymbol{h}(\boldsymbol{x})^\top \boldsymbol{\theta}\)，\(p\) 固定且 \(p < n_s\)。协变量偏移假设成立。密度比 \(\delta(\boldsymbol{x})\) 未知，需从源和目标协变量样本中估计（本文使用 KLIEP）。
    • 关键假设：
      • Assumption 1：\(\inf_{0 \le \lambda \le 1} \lambda_{\min}\{\boldsymbol{\Sigma}(\lambda)\} \ge c_1 > 0\)。这要求加权后的协变量二阶矩矩阵 \(\boldsymbol{\Sigma}(\lambda) = \mathbb{E}_{\boldsymbol{x} \sim \rho^S_{\mathcal{X}}}[\delta(\boldsymbol{x})^\lambda \boldsymbol{h}(\boldsymbol{x})\boldsymbol{h}(\boldsymbol{x})^\top]\) 对所有 \(\lambda\) 一致非奇异。这是保证 AIWLS 估计量存在且渐近正态的关键。
      • Assumption 4：\(0 \le \delta(\boldsymbol{x}) \le \bar{\delta} < \infty\)。密度比有上界。这是一个较强的条件，作者承认其比绝对连续性更强，但常用于理论分析（如 Cortes et al., 2010）。它保证了加权后的矩有界。
      • Assumption 5 & 6：这些是速率条件，用于渐近最优性证明。核心是要求候选估计量个数 \(M_n\) 的增长速度不能太快（\(M_n^2 / (n \xi_n^2) = o(1)\)），且密度比估计误差 \(\kappa_n\) 相对于最小目标超额预测误差 \(\xi_n\) 可忽略（\(\kappa_n = o_p(\xi_n)\)）。\(\xi_n\) 在模型误设定下非零，这些条件确保了准则 \(C(\boldsymbol{w})\) 的估计误差相对于信号（\(\xi_n\)）是小的。
      • Assumption 8：\(\nu(\lambda_m) \ge \nu(0)\) 且 \(\eta_n > 0\)。这是用于正确设定下权重集中定理的识别条件。\(\nu(\lambda) = \text{tr}\{\boldsymbol{\Sigma}(\lambda)^{-1} \boldsymbol{\Gamma}(\lambda)\}\) 是一个与渐近方差相关的量。该假设要求 OLS 端点的方差优势是严格可识别的。

  • 主要结果：

    • Theorem 1 (AIWLS 的渐近分布)：对于固定的 \(\lambda\)，在已知密度比下，\(\sqrt{n_s}(\hat{\boldsymbol{\theta}}_{\text{AIWLS}}(\lambda) - \boldsymbol{\theta}^*(\lambda)) \xrightarrow{d} N(0, \boldsymbol{\Omega}(\lambda))\)。其中 \(\boldsymbol{\theta}^*(\lambda)\) 是加权后的最优系数，\(\boldsymbol{\Omega}(\lambda)\) 是“三明治”方差。这个定理形式化了偏差-方差权衡：\(\lambda=1\) 时 \(\boldsymbol{\theta}^*(1) = \boldsymbol{\theta}^*\)（无偏差），但方差 \(\boldsymbol{\Omega}(1)\) 可能很大；\(\lambda<1\) 时可能有偏差，但方差更小。
    • Theorem 2 (准则的无偏性)：当 \(\phi_n = 2\) 时，准则 \(C(\boldsymbol{w})\) 减去一个与 \(\boldsymbol{w}\) 无关的项 \(r_n\) 后，是目标超额预测误差 \(\text{TEPE}(\boldsymbol{w})\) 的渐近无偏估计。这是权重选择的理论基础。
    • Theorem 3 (误设定下的渐近最优性)：在 Assumptions 1-4, 6 下，\(\frac{\text{TEPE}(\hat{\boldsymbol{w}})}{\inf_{\boldsymbol{w} \in \mathcal{W}_n} \text{TEPE}(\boldsymbol{w})} \xrightarrow{p} 1\)。这意味着 AIWMA 的预测性能渐近地达到了同一候选类中任何凸组合所能达到的最佳性能。解决的技术难点：需要处理密度比估计误差、候选估计量个数发散、以及准则 \(C(\boldsymbol{w})\) 与真实风险之间的高阶余项。证明通过将 \(C(\boldsymbol{w})\) 分解为 \(\text{TEPE}(\boldsymbol{w})\) 加上若干可忽略的余项（如 \(T_{1n}, T_{2n}, T_{3n}\)）来实现。
    • Theorem 4 (正确设定下的权重集中)：在正确设定下，若 \(\phi_n \to \infty\)，则 \(\sum_{m \notin \mathcal{N}_n(a_n)} \hat{w}_m \xrightarrow{p} 0\)，即权重集中在 OLS 端点 \(\lambda=0\) 附近。如果非零的 \(\lambda\) 一致地远离 0，则 \(\hat{w}_1 \xrightarrow{p} 1\)。解决的技术难点：需要证明 OLS 端点在正确设定下确实最小化 \(\text{TEPE}(\boldsymbol{w})\)（Proposition 1），并证明发散的惩罚项 \(\phi_n\) 足以压倒 OLS 与其他候选者之间微小的方差优势，从而迫使权重集中。

  • 证明路线与技术技巧（理论型必写，要具体）：

    • 整体路线（以 Theorem 3 为例）：
      1. 建立辅助引理：Lemma S3.2 证明了候选估计量 \(\hat{\boldsymbol{\theta}}_m\) 及其相关量（如 \(\boldsymbol{L}_m\)）的随机阶，为后续展开提供基础。
      2. 分解准则：将准则 \(C(\boldsymbol{w})\) 与 \(\text{TEPE}(\boldsymbol{w})\) 的差分解为三个部分 \(T_{1n}(\boldsymbol{w}), T_{2n}(\boldsymbol{w}), T_{3n}(\boldsymbol{w})\)（公式 S3.38）。\(T_{1n}\) 是二次型与条件期望的差，\(T_{2n}\) 是交叉项，\(T_{3n}\) 是惩罚项。
      3. 逐项控制余项：证明这三个余项在 \(\mathcal{W}_n\) 上一致地是 \(o_p(\xi_n)\)。这需要用到 Lemma S3.2 中的阶数估计、Assumption 6 中的速率条件（如 \(M_n^2/(n\xi_n^2) = o(1)\)）、以及矩条件（如 Assumption 2 的 \(\varepsilon\) 四阶矩）。
      4. 建立 \(\text{TEPE}(\boldsymbol{w})\) 与 \(\text{TEPE}^*(\boldsymbol{w})\) 的关系：证明 \(\text{TEPE}(\boldsymbol{w})\) 与不可实现的最优凸组合风险 \(\text{TEPE}^*(\boldsymbol{w})\) 之差也是 \(o_p(\xi_n)\)（公式 S3.33）。
      5. 完成最优性证明：利用 \(\hat{\boldsymbol{w}}\) 最小化 \(C(\boldsymbol{w})\) 这一事实，结合上述余项控制，推导出 \(\text{TEPE}(\hat{\boldsymbol{w}}) \le \inf_{\boldsymbol{w}} \text{TEPE}(\boldsymbol{w}) \{1 + o_p(1)\}\)，从而得到渐近最优性。
    • 关键跳跃点：最吃功夫的引理是 Lemma S3.2，它需要同时控制候选估计量个数 \(M_n\) 发散和密度比估计误差 \(\kappa_n\) 带来的影响。证明中使用了 Chebyshev 不等式和 union bound 来处理 \(M_n\) 的发散，并通过 \(\kappa_n\) 的定义来吸收密度比估计误差。另一个关键点是将 \(C(\boldsymbol{w})\) 与 \(\text{TEPE}(\boldsymbol{w})\) 联系起来，这需要巧妙地构造一个条件无偏估计量（理想情况下是 \(\hat{\boldsymbol{\theta}}_u\)），然后用 IWLS 估计量 \(\hat{\boldsymbol{\theta}}_{M_n}\) 来近似它，并证明近似误差可忽略。
    • 技术技巧点名：
      • Chebyshev 不等式 + Union bound：用于处理 \(M_n\) 发散时的一致收敛性（如 Lemma S3.2 中对 \(\max_m \|\hat{\boldsymbol{S}}_m - \boldsymbol{\Sigma}(\lambda_m)\|\) 的界）。
      • Weyl 不等式：用于从 \(\hat{\boldsymbol{S}}_m\) 的一致收敛性推导出其最小特征值的一致下界（Lemma S3.2 证明中）。
      • 二次型方差界：用于控制 \(T_{1n}(\boldsymbol{w})\) 中 \(\boldsymbol{\varepsilon}^\top \boldsymbol{L}(\boldsymbol{w})^\top \boldsymbol{\Sigma}_T \boldsymbol{L}(\boldsymbol{w})\boldsymbol{\varepsilon}\) 与其条件期望的差（Theorem 3 证明中）。
      • 条件期望的分解与重写：在 Theorem 2 的证明中，通过将 \(\hat{\boldsymbol{\theta}}(\boldsymbol{w}) - \hat{\boldsymbol{\theta}}_{M_n}\) 分解为 \((\hat{\boldsymbol{\theta}}(\boldsymbol{w}) - \boldsymbol{\theta}^*) - (\hat{\boldsymbol{\theta}}_{M_n} - \boldsymbol{\theta}^*)\)，并利用 \(\boldsymbol{L}_m \boldsymbol{H} = \boldsymbol{I}_p\) 这一性质，将复杂的条件期望化简为可处理的形式。

  • 真实例子与应用：

    • 数据：美国国家卫生统计中心的 Natality 公开数据文件。将 2016 年的记录作为源分布，2024 年的记录作为目标分布，构建了一个时间上的源-目标划分。响应变量是婴儿出生体重（千克），协变量包括母亲年龄、BMI、产前检查次数、吸烟情况、妊娠期体重增加、孕周、教育、种族等 20 多个变量，经扩展后参数维度 \(p=28\)。
    • 方法应用：在每次重复中，从 2016 年池中抽取 \(n_s \in \{50, 100, 150, 200\}\) 个有标签源样本，从 2024 年池中抽取 \(n_t=1000\) 个无标签目标协变量样本，以及 \(n_{\text{eval}}=1000\) 个有标签目标评估样本。使用 KLIEP 估计密度比，然后应用 AIWMA 及所有对比方法。
    • 结果：报告了平均 TPE 差距 \(\Delta \text{TPE}\)，即每种方法的 TPE 与每次重复中最佳方法 TPE 的差值平均。结果显示，AIWMA-log\(n\) 在所有 \(n_s\) 和两种候选网格下都取得了最小的 \(\Delta \text{TPE}\)，表明其平均预测性能最接近最佳方法。
    • 这个例子想说明什么：验证 AIWMA 在真实数据上的竞争力，表明其在处理实际协变量偏移（由时间变化引起）时，能比选择单一 \(\lambda\) 的方法（如 AIW-AIC, AIW-CV）和端点方法（OLS, IWLS）表现更好。

  • 🔎 结论是否比证明窄：

    • Theorem 3 (渐近最优性) 的证明依赖于 Assumption 6，其中要求 \(\xi_n \neq 0\)（模型误设定）。因此，该定理的结论严格限制在模型误设定的情形下。作者在定理陈述中明确写了“Under model misspecification”，这是诚实的。
    • Theorem 4 (权重集中) 的证明依赖于 Assumption 9，其中要求 \(\phi_n \eta_n \to \infty\)。由于 \(\eta_n = O(1)\)，这要求 \(\phi_n \to \infty\)。因此，该定理的结论严格限制在惩罚项发散（如 \(\phi_n = \log n\)）的情形下。作者在模拟中同时使用了 \(\phi_n=2\) 和 \(\phi_n=\log n\)，但权重集中定理只适用于后者。作者在定理陈述中明确写了“a diverging penalty”，这也是诚实的。
    • 结论与证明的匹配度：整体匹配度很高。作者没有做出超出证明范围的泛泛 claim。每个主要结论都有明确的假设条件支撑。

四、开放问题（点到为止，扎根具体语句）

  1. 扩展到更一般的损失函数和正则化估计量：作者在“Concluding remarks”中明确指出：“The current analysis is restricted to squared-error loss and fixed-dimensional linear prediction models. Extending the proposed framework to more general loss functions, regularized estimators, and flexible prediction methods would require new risk expansions and corresponding criteria for determining the averaging weights.” 这是一个明确的开放问题。对于研究者（陈星宇）来说，其熟悉的非参数统计和 M-estimation 理论可能在此有用。

  2. 处理部分有标签的目标样本和多源总体：作者提到：“We also focus on a single-source, single-target setting in which no labeled target observations are available. Extensions to partially labeled target samples and multiple source populations with heterogeneous relevance to the target distribution warrant further investigation.” 这直接关联到迁移学习（transfer learning）和领域自适应（domain adaptation）的更广泛设定。研究者（陈星宇）在 causal inference 中的 proximal CI 和 IV 工作可能与此相关。

  3. 将模型平均框架扩展到对基函数复杂度和正则化参数的不确定性：作者指出：“A broader model-averaging framework could additionally account for uncertainty in basis complexity, regularization parameters, and density-ratio estimation.” 这意味着候选集可以不仅包含不同的 \(\lambda\)，还可以包含不同复杂度的模型（如不同阶数的多项式基）或不同的正则化强度。这为构建更全面的模型平均方法提供了方向。

  4. 高维协变量偏移下的理论：本文假设 \(p\) 固定且 \(p < n_s\)。当协变量维度 \(d\) 或基函数维度 \(p\) 随样本量增长时，密度比估计和线性模型拟合都会变得极具挑战。本文的渐近最优性理论（依赖于 \(M_n^2/(n\xi_n^2) = o(1)\)）在高维下很可能不再成立。这是一个未被本文触及但非常自然的开放问题，与研究者（陈星宇）熟悉的高维统计和随机矩阵理论直接相关。

Maintained by 陈星宇 · Homepage · Source on GitHub

评论