Pretraining and the lasso¶
作者: Erin Craig, Mert Pilanci, Thomas Le Menestrel, Balasubramanian Narasimhan, Manuel A Rivas et al.
主题: 高维统计 / 随机矩阵
相关性: 7/10
链接: https://doi.org/10.1093/jrsssb/qkaf050
一、领域脉络与小综述¶
这个方向是什么¶
本文所处的子方向是高维稀疏回归中的支撑恢复(support recovery)理论,具体而言是"迁移学习/预训练"范式下的稀疏回归问题。其根本科学问题是:当我们拥有一个大规模数据集(如泛癌数据)和若干小规模但相关的数据集(如特定癌种)时,如何利用大数据的共享信息来提升小数据上的变量选择(即支撑恢复)精度?该方向处于"理论已基本成熟、但框架仍以单数据集为主"的阶段——经典的lasso支撑恢复理论(如Wainwright 2009的minimax率、Zhao & Yu 2006的不可表示条件)已经非常完备,但多数据集间的信息借用在理论上仍缺乏系统处理。
发展脉络¶
- 奠基工作:Zhao & Yu (2006) 提出了lasso模型选择一致性的强不可表示条件(irrepresentability condition),这是本文理论分析的直接出发点。Wainwright (2009) 给出了高维稀疏回归支撑恢复的样本复杂度下界,证明 O(s log(p−s)) 个观测是必要的。这两篇构成了"单数据集lasso支撑恢复"的理论基石。
- 主要进展:Gross & Tibshirani (2016) 提出的数据共享lasso(Data Shared Lasso, DSL)是本文最直接的竞争方法——它联合拟合一个共同系数向量β和每组修正项Δk,通过调节参数rk在整体与个体模型之间权衡。Tuck & Boyd (2021) 的拉普拉斯正则化分层模型则通过用户定义的组间相似度结构来鼓励组间模型相似。这两者代表了"显式联合建模"路线。
- 当前frontier:在机器学习领域,预训练-微调(pretrain-finetune)已成为事实标准(如ImageNet→下游任务),但在统计建模中,这种"先在大数据上拟合、再在小数据上微调"的两阶段流程缺乏严格的理论保证。本文试图填补这一空白。
- 本文的位置:作者提出一个两阶段框架:第一阶段在所有数据上拟合lasso得到共同系数β̂₀;第二阶段利用β̂₀的支撑信息(通过offset和penalty factor)在各组上微调。与DSL的联合优化不同,本文的两阶段设计更贴近实际ML工作流,且理论上证明了在共享支撑模型下,预训练lasso的支撑恢复所需样本量比单独训练每组lasso少一个因子K(组数)。
子线索聚类¶
- 单数据集lasso支撑恢复理论(Zhao & Yu 2006, Wainwright 2009, Van De Geer & Bühlmann 2009):建立不可表示条件、minimax率、限制特征值等核心工具。这是本文的理论语言。
- 多数据集/分层模型的联合估计(Gross & Tibshirani 2016, Tuck & Boyd 2021):DSL和拉普拉斯正则化分层模型代表"显式联合建模"路线,与本文的两阶段路线形成对比。
- ML预训练-微调范式(本文的动机来源,虽未直接引用但贯穿全文):ImageNet预训练→下游微调的成功实践,本文试图将其"翻译"为统计框架。
- 因果推断中的条件平均处理效应(CATE)估计(Nie & Wager 2021):本文将其作为预训练lasso的一个应用场景,说明框架的通用性。
这个方向在追问的核心问题¶
- 信息借用的理论代价:当多个相关数据集共享部分支撑时,联合估计相比独立估计能节省多少样本?本文给出因子K的答案,但这是否最优(minimax意义下)仍是开放问题。
- 两阶段 vs 联合优化的权衡:两阶段方法(本文)计算简单、模块化,但理论上是否总是优于联合优化(DSL)?在什么条件下联合优化更优?
- 支撑共享程度的鲁棒性:当"共享支撑"假设被违反时(如各组支撑完全不同),预训练是否会损害性能?本文的定理2要求共同系数均值有最小信号强度,但未给出违反该条件时的退化分析。
⚠️ 作者的 framing(这是作者的说法)¶
作者将缺口frame为:"预训练在ML中无处不在,但在统计建模(尤其是lasso)中缺乏系统研究"。他们强调两阶段流程的实用性("researchers with large datasets can train and share overall models that others can use to train an individual model with a smaller dataset"),并声称其理论结果(因子K的样本节省)是主要贡献。被淡化或回避的竞争路线:DSL的联合优化在理论上可能更优(因为它同时利用所有信息),但作者仅以"两阶段更灵活"为由轻描淡写。明显该被引却没出现的工作:迁移学习中的理论成果(如Ben-David et al. 2010的领域适应理论)、以及多任务学习的统计效率结果(如Lounici et al. 2009的group lasso),这些本可为"信息借用"提供更严格的理论框架。
张力¶
未见明显对立引用。但存在一个隐含张力:DSL(联合优化)与本文(两阶段)在"如何共享信息"上路线不同,作者未提供两者在相同条件下的系统比较——这既是弱点也是研究机会。
二、最核心、最简单的例子 / 数学问题¶
第一步:符号、模型、可观测数据¶
符号清单(按类别分组):
| 类别 | 符号 | 含义 |
|---|---|---|
| 数据 | \(X_k \in \mathbb{R}^{(n/K) \times p}\) | 第k组的特征矩阵(可观测) |
| \(y_k \in \mathbb{R}^{n/K}\) | 第k组的响应向量(可观测) | |
| \(X = [X_1^T, \ldots, X_K^T]^T \in \mathbb{R}^{n \times p}\) | 全量特征矩阵 | |
| \(y = [y_1^T, \ldots, y_K^T]^T \in \mathbb{R}^n\) | 全量响应向量 | |
| 参数 | \(\beta_k^* \in \mathbb{R}^p\) | 第k组的真实系数向量(未知,目标) |
| \(\beta_0^* \in \mathbb{R}^p\) | 共享/共同系数向量(未知,第一阶段目标) | |
| \(\beta_k \in \mathbb{R}^p\) | 第k组的个体修正系数(未知,第二阶段目标) | |
| \(S\) | 共同支撑集:\(S = \{j : (\beta_0^*)_j \neq 0\}\),$ | |
| 噪声 | \(\varepsilon_k \in \mathbb{R}^{n/K}\) | 第k组噪声向量(不可观测,假设次高斯) |
| 超参数 | \(\lambda, \lambda'\) | 第一、二阶段的正则化参数 |
| \(\alpha \in [0,1]\) | 预训练强度:控制offset和penalty factor | |
| 估计量 | \(\hat{\beta}_0\) | 第一阶段lasso估计(共同系数) |
| \(\hat{\beta}_k\) | 第二阶段微调估计(第k组) | |
| \(\hat{S}(\hat{\beta}_0)\) | 第一阶段估计的支撑集 |
模型(共享支撑模型,式(10)):
对每个组 \(k = 1, \ldots, K\):
关键假设: - 共享支撑:所有组的系数 \(\beta_k^*\) 共享同一个支撑集 \(S\)(即 \((\beta_k^*)_{S^c} = 0\) 对所有k成立)。 - 共同系数:\(\beta_0^*\) 是各组共有的"基线"系数,\(\beta_k\) 是组特异修正。 - 噪声:\(\varepsilon_k\) 为次高斯,方差参数 \(\sigma^2\)。 - 特征:\(X\) 的行独立次高斯,协方差 \(\Sigma\) 满足限制特征值条件(restricted eigenvalue condition)。
可观测数据:研究者实际能观测到的是 \((X_k, y_k)\) 对,\(k = 1, \ldots, K\)。不可观测的是:各组真实系数 \(\beta_k^*\)、共同系数 \(\beta_0^*\)、个体修正 \(\beta_k\)、支撑集 \(S\)、噪声 \(\varepsilon_k\)。目标是从可观测数据中恢复 \(S\)(支撑恢复)并估计 \(\beta_k^*\)(预测)。
第二步:最小内核¶
最简特例:\(K = 2\) 组,每组 \(n/2\) 个样本,\(p\) 维特征,真实模型为:
其中 \(\beta_0^*\) 支撑为 \(S\)(\(|S| = s\)),\(\beta_1, \beta_2\) 的支撑也是 \(S\)(共享支撑假设),但数值不同。
两阶段流程:
-
第一阶段:将所有数据 \((X, y)\) 合并,拟合标准lasso:
\[\hat{\beta}_0 = \arg\min_\beta \frac{1}{n} \|y - X\beta\|_2^2 + \lambda \|\beta\|_1\]得到共同系数估计 \(\hat{\beta}_0\) 及其支撑 \(\hat{S}(\hat{\beta}_0)\)。 -
第二阶段:对每组 \(k\),用修正后的惩罚拟合个体模型:
\[\hat{\beta}_k = \arg\min_\beta \frac{1}{n/K} \|y_k - (1-\alpha)(\hat{\mu}_0 \mathbf{1} + X_k \hat{\beta}_0) - (\mu \mathbf{1} + X_k \beta)\|_2^2 + \lambda' \sum_{j=1}^p w_j |\beta_j|\]其中权重 \(w_j = I(j \in \hat{S}(\hat{\beta}_0)) + \frac{1}{\alpha} I(j \notin \hat{S}(\hat{\beta}_0))\)。
核心数学命题(定理1的简化版):
在共享支撑模型下,若共同系数满足最小信号条件 \(\min_{j \in S} |(\beta_0^*)_j| \geq C\sigma\sqrt{\frac{\log(p-s)}{n}}\),则预训练lasso以高概率恢复真实支撑 \(S\),所需样本量满足:
\[n \gtrsim \max(1, \gamma^2) \cdot s \log(p - s)\]其中 \(\gamma = \max_k \|\beta_k^*\|_\infty\) 是组特异系数的最大幅度。
为什么这个命题是"最小内核":它精确刻画了预训练带来的样本节省——若单独对每组拟合lasso,每组需要 \(n/K \gtrsim s \log(p-s)\) 个样本;而预训练lasso只需总样本 \(n \gtrsim \max(1,\gamma^2) s \log(p-s)\),即每组平均只需 \(n/K \gtrsim \max(1,\gamma^2) s \log(p-s)/K\),节省了一个因子 \(K\)。这个因子直接来源于第一阶段"借用"了所有组的数据来估计共同支撑。
证明的关键步骤(定理1的证明路线):
-
第一阶段支撑恢复:利用Wainwright (2009)的框架,证明合并数据的lasso以高概率恢复 \(S\)。这里需要不可表示条件的推广版本(引理1),处理混合观测模型带来的额外项 \(\sum_k D_k X \beta_k^*\)。
-
第二阶段微调:给定 \(\hat{S}(\hat{\beta}_0) = S\)(第一阶段成功),第二阶段对每组k的lasso问题中,penalty factor \(w_j\) 在 \(j \in S\) 时为1,在 \(j \notin S\) 时为 \(1/\alpha\)(当 \(\alpha < 1\) 时大于1)。这意味着非支撑变量被更重地惩罚,从而更容易被排除。
-
概率估计:将两个阶段的失败概率用union bound合并,得到总失败概率 \(\leq C_1 e^{-C_2 n/(s\gamma^2)} + C_3 e^{-C_4 n/\sigma^2}\)。
为什么这个证明有技术难度:与标准lasso不同,预训练lasso的观测模型是混合的——\(y = \sum_k D_k X(\beta_0^* + \beta_k^*) + \varepsilon\),其中 \(D_k\) 是组选择矩阵。这意味着第一阶段估计 \(\hat{\beta}_0\) 实际上是在估计 \(\frac{1}{K}\sum_k \beta_k^*\) 的某种加权平均,而非某个单一的 \(\beta_0^*\)。引理1中的条件(12)-(14)正是为了控制这种"混合偏差"。
三、这篇论文做了什么¶
三句话¶
- 研究了什么问题:能否将ML中的预训练-微调范式引入lasso,使得在多个相关数据集上,通过先拟合一个共同模型再微调个体模型,提升支撑恢复的统计效率?
- 核心方法:提出一个两阶段框架——第一阶段在所有数据上拟合lasso得到共同系数 \(\hat{\beta}_0\),第二阶段利用 \(\hat{\beta}_0\) 的支撑信息构造offset和penalty factor,在各组上微调个体模型。
- 主要结论:在共享支撑模型下,预训练lasso的支撑恢复所需总样本量比单独拟合各组lasso少一个因子K(组数),且该结论在多种数据生成机制(高斯、二项、多分类、生存)下均成立。
关键设定与假设¶
模型设定(式(10)):
核心假设:
| 假设 | 内容 | 统计含义 |
|---|---|---|
| 共享支撑 | \(\text{supp}(\beta_k^*) = S\) 对所有k成立 | 各组变量选择一致,只有效应大小不同 |
| 共同系数非零 | $\min_{j \in S} | (\beta_0^*)_j |
| 组特异系数有界 | \(\|\beta_k^*\|_\infty \leq \gamma\) | 控制混合偏差的大小 |
| 次高斯特征与噪声 | \(x_i\) 行独立次高斯,\(\varepsilon_i\) 次高斯 | 保证集中不等式成立 |
| 限制特征值条件 | \(X\) 在 \(S\) 上满足RE条件 | 保证lasso估计的ℓ₂误差可控 |
相比已有工作的变化: - 相比Zhao & Yu (2006):将不可表示条件从单数据集推广到混合观测模型(引理1的条件(12)-(14)),增加了组间协方差项。 - 相比Gross & Tibshirani (2016)的DSL:本文是两阶段而非联合优化,且理论分析关注支撑恢复而非预测误差。 - 相比Wainwright (2009):样本复杂度从 \(O(s \log(p-s))\) 变为 \(O(\max(1,\gamma^2) s \log(p-s))\),多了一个 \(\gamma^2\) 因子,但通过预训练获得了 \(1/K\) 的常数改进。
主要结果¶
定理1(支撑恢复,共享支撑模型): - 条件:\(n \geq C_1 \max(1, \gamma^2) s \log(p-s)\),且不可表示条件(12)-(13)成立。 - 结论:\(\hat{\beta}_0\) 以概率 \(\geq 1 - C_3 e^{-C_4 n/(s\gamma^2)}\) 恢复支撑 \(S\)。 - 关键改进:相比单独拟合每组lasso(需 \(n/K \geq C s \log(p-s)\)),预训练lasso只需总样本 \(n \geq C \max(1,\gamma^2) s \log(p-s)\),节省因子K。
定理2(精确支撑恢复): - 在定理1基础上增加 \(\beta_{\min}\) 条件(19),则 \(\hat{\beta}_0\) 以高概率精确恢复支撑(无漏选、无错选)。 - 条件(19)要求共同系数的均值 \(\frac{1}{K}\sum_k (\beta_k^*)_j\) 足够大,这是不可避免的(否则第一阶段无法区分信号与噪声)。
定理3(共同+个体支撑模型): - 将模型推广到 \(\beta_k^* = \beta_0^* + \beta_k\),其中 \(\beta_0^*\) 支撑为 \(S_0\)(共同),\(\beta_k\) 支撑为 \(S_k\)(个体)。 - 结论:预训练lasso恢复共同支撑 \(S_0\),且当个体系数 \(\beta_k\) 足够小时,也能恢复个体支撑 \(S_k\)。 - 条件:个体系数需满足 \(\|\beta_k\|_\infty \leq \gamma_2 < \lambda/4\),即个体偏离不能太大。
定理4(预测误差界): - 两阶段过程的预测误差界为:
证明路线与技术技巧¶
整体路线(以定理1为例):
-
第一阶段:将合并数据lasso的支撑恢复问题转化为验证不可表示条件(12)-(13)。关键步骤是引理1,它给出了混合观测模型下lasso最优解支撑包含于真实支撑的充分条件。
-
第二阶段:给定第一阶段成功(\(\hat{S}(\hat{\beta}_0) = S\)),第二阶段对每组k的lasso问题中,penalty factor \(w_j\) 在 \(j \in S\) 时为1,在 \(j \notin S\) 时为 \(1/\alpha\)。这改变了lasso的KKT条件,使得非支撑变量被更重地惩罚。
-
概率估计:用union bound合并两个阶段的失败概率。第一阶段失败概率由Wainwright (2009)的框架控制,第二阶段失败概率由标准lasso理论控制。
关键技术技巧:
| 技巧 | 用途 | 出处 |
|---|---|---|
| 不可表示条件的推广(引理1) | 处理混合观测模型 \(y = \sum_k D_k X(\beta_0^* + \beta_k^*) + \varepsilon\) 带来的额外项 | 推广自Zhao & Yu (2006) |
| 子高斯集中不等式 | 控制 \(\|X^T \varepsilon\|_\infty\) 和 \(\|X_{S^c}^T P_S^\perp \sum_k D_k X \beta_k^*\|_\infty\) | Vershynin (2018) |
| 限制特征值条件 | 保证 \(X_S\) 的最小奇异值下界,从而控制 \(\|(\hat{\beta}_0)_S - (\beta_0^*)_S\|_2\) | Bickel et al. (2009) |
| penalty factor技巧 | 通过 \(w_j = I(j \in S) + \frac{1}{\alpha} I(j \notin S)\) 实现"软"支撑约束 | 本文原创 |
| union bound | 合并两阶段失败概率 | 标准技术 |
证明中最吃劲的地方:引理1的条件(13)要求 \(\|X_{S^c}^T P_S^\perp \sum_k D_k X \beta_k^*\|_\infty \leq \lambda/4\)。这个条件本质上是要求组特异系数 \(\beta_k^*\) 在非支撑方向上的投影不能太大。当 \(\gamma = \max_k \|\beta_k^*\|_\infty\) 较大时,这个条件可能被违反,导致预训练失效。作者通过定理3中的 \(\gamma_2 < \lambda/4\) 条件来规避这一点,但这意味着预训练只对"温和异质性"有效。
真实例子与应用¶
例子1:TCGA泛癌数据(第2.3节) - 数据:714名患者,3种癌症(胰腺、前列腺、胃),20,531个基因表达值,结局为无病间期(DFS)。 - 方法:先用全部714名患者拟合Cox lasso得到共同模型,再用每组数据微调。 - 结果:预训练lasso在测试集C-index上优于整体模型和单独模型(图3)。预训练在较小的癌症组(胰腺,n=72)上改进最大(C-index从0.53提升到0.76),而在较大的组(前列腺,n=384)上改进较小。 - 说明:预训练的信息借用优势在小样本组中最为显著。
例子2:质谱成像黑色素瘤数据(第4.4.1节) - 数据:28个训练患者,15个测试患者,每像素2094个质谱峰,二分类(健康vs疾病)。 - 方法:训练集和测试集的患者不同(不同分组),用预训练lasso处理。 - 结果:预训练AUC 0.96 vs 整体模型0.94。
例子3:UK Biobank心肌梗死预测(第4.5.1节) - 数据:64,722名白人个体,299个特征(249个代谢物+50个遗传主成分),结局为心肌梗死。 - 方法:先用CART树根据年龄、性别、多基因风险评分将人群分为3组,再对每组用预训练lasso。 - 结果:预训练lasso的AUC比整体模型高4-5%(图10)。
例子4:质谱流式细胞术慢性髓系白血病数据(第4.3.1节) - 数据:8名患者,9个时间点的基因表达,预测BCR-ABL水平。 - 方法:时间序列预测,用预训练lasso处理时间点间的信息共享。
🔎 结论是否比证明窄¶
是的,存在明显差距:
-
定理1-3只覆盖"共享支撑"模型(式10),但第4节的应用(多响应、CATE、梯度提升)并未在该模型下严格证明。作者在第4.6节讨论CATE时,只是"假设"共享支撑模型成立,未给出验证。
-
定理4的误差界是"预测误差"而非"支撑恢复",且假设 \(\lambda\) 和 \(\lambda'\) 满足特定条件。作者在第5.4.2节末尾承认:"The prediction error is composed of three parts... the third part vanishes as the number of groups K increases",但未讨论 \(K\) 很大时计算成本。
-
第4.7节(梯度提升)完全没有理论保证,只是经验性展示。作者在第6节讨论中承认:"We have not analyzed the theoretical properties of the pretraining procedure when applied to gradient boosting"。
-
交叉验证的偏差问题(附录B.8):作者发现预训练lasso的CV误差低估了测试误差约5-10%,但未提供修正方法。
四、开放问题¶
-
\(\gamma\) 因子的必要性:定理1的样本复杂度包含 \(\max(1, \gamma^2)\) 因子。能否构造反例证明该因子不可去除?或者是否存在更精细的条件(如仅依赖 \(\|\beta_k^*\|_2\) 而非 \(\|\beta_k^*\|_\infty\))可以改进?——扎根于定理1的陈述和证明。
-
共享支撑假设的鲁棒性:当各组支撑不完全重叠时(如 \(S_k \neq S\) 对某些k),预训练lasso的表现如何?是否存在"负迁移"(即预训练损害个体模型)的临界条件?——扎根于第5.3节对共享支撑模型的严格假设。
-
两阶段 vs 联合优化的理论比较:在什么条件下,两阶段预训练(本文)严格优于DSL(Gross & Tibshirani 2016)的联合优化?反之亦然?作者未提供任何理论比较。——扎根于第3.1节对DSL的讨论。
-
自适应α选择:本文通过交叉验证选择α,但附录B.8显示CV误差有5-10%的负偏差。是否存在无偏的α选择准则(如基于信息准则或稳定性选择)?——扎根于附录B.8。
-
CATE估计的推广:第4.6节将预训练lasso应用于CATE估计,但未给出任何理论保证。在什么条件下,预训练R-learner的收敛速度优于标准R-learner?——扎根于第4.6节。
-
高维极限下的行为:当 \(p \gg n\) 且 \(K\) 也很大时,定理1的常数 \(C_1\) 如何依赖于 \(K\)?是否存在 \(K\) 增大导致常数恶化的临界点?——扎根于定理1的常数依赖。
提醒:要确认上述问题是否为真gap,建议去读以下近期文献的introduction,看它们是否已解决或正在解决这些问题:(1) 迁移学习中的lasso变体(如Li et al. 2022, "Transfer Learning for High-Dimensional Linear Regression");(2) 多任务lasso的支撑恢复(如Lounici et al. 2009);(3) 分布式lasso的通信效率(如Lee et al. 2017)。若这些文献已解决上述问题,则本文的开放问题可能已过时。
Maintained by 陈星宇 · Homepage · Source on GitHub