跳转至

Nexus : Same Pretraining Loss , Better Downstream Generalization via Common Minima

作者: Huanran Chen, Huaqing Zhang, Xiao Li, Yinpeng Dong, Ke Shen, Jun Zhu
来源: XAGI 2026 交叉智能大会 · Session 04 预训练算法的新进展 · 返回会议场次
报告: Pretraining Loss相同,模型能力则相同么? · 讲者 陈焕然(清华大学/字节跳动 · 人工智能学院)
论文: arXiv:2604.09258

本页是会议报告的对应论文长篇精读;会议现场的报告摘要见场次页。


一、领域脉络与小综述

这个方向是什么

本文研究的根本问题是:在预训练损失函数值完全相同的前提下,不同的优化算法(或同一算法的不同超参数配置)是否会导致模型在下游任务上产生不同的泛化能力? 这是一个关于"优化算法的隐式偏置(Implicit Bias)"如何影响模型泛化性能的实证与理论问题。该问题的核心在于,预训练损失(如交叉熵)是一个高度非凸、存在大量等价极小值的函数,而优化算法(如 AdamW、MuG)不仅负责找到某个极小值,其内在的几何路径和更新规则还会"选择"特定类型的极小值。本文的核心假设是:不同任务(数据源)的极小值点之间的几何"接近性"(Closeness)是决定下游泛化能力的关键因素,而标准的 AdamW 优化器倾向于收敛到各任务极小值点彼此疏远的区域,从而损害了泛化性能。

发展脉络(history)

本文的贡献可以放在一条由"优化器设计"与"泛化理论"交汇而成的脉络中理解:

  1. 奠基工作:优化器的隐式偏置与泛化。深度学习的泛化理论早已表明,模型的泛化能力不仅取决于训练损失,更取决于优化算法所隐含的归纳偏置。经典工作如 Zhang et al. (2016) 关于"神经网络可以记住随机标签"的发现,以及 Keskar et al. (2016) 关于"大批量训练趋向于尖锐极小值"的观察,都指向了优化算法的几何路径对泛化的重要影响。本文的 framing 直接继承了这一思想,但将关注点从"尖锐/平坦"(sharp/flat)的几何性质,转移到了"任务间极小值的接近性"这一新的几何维度。

  2. 主要进展:损失景观的几何分析与优化器改进。近年来,对损失景观(loss landscape)的几何分析成为理解深度学习的重要工具。相关工作包括对极小值"锐度"(sharpness)的度量(如 Sharpness-Aware Minimization, SAM, Foret et al., 2020),以及对优化轨迹(如"边缘稳定性" Edge of Stability, Cohen et al., 2021)的研究。本文的 Nexus 优化器可以看作是在 SAM 之外,另一种显式修改优化轨迹以寻求更好泛化的尝试。与 SAM 通过扰动参数寻找平坦区域不同,Nexus 通过内循环的"任务间梯度对齐"来寻找任务极小值更接近的区域。

  3. 当前 Frontier:预训练范式的转变与评估。随着大语言模型(LLM)的兴起,预训练-微调范式成为主流。Kaplan et al. (2020) 的 Scaling Laws 确立了预训练损失作为模型能力核心预测指标的范式。然而,本文直接挑战了这一范式,指出预训练损失并非评估模型能力的充分统计量。这与近期关于"数据受限"(data-constrained)和"过度训练"(over-training)的研究(如 Hoffmann et al., 2022)相呼应,都表明在数据规模固定的情况下,单纯追求更低的预训练损失可能不是最优的。本文的 Nexus 优化器正是在这一前沿上,试图在"预训练损失"与"下游泛化"之间找到新的优化维度。

子线索聚类

本文引用的工作大致可以聚类为以下几条子线索:

  • 优化器设计与评估:这一线索关注如何设计更高效的优化器。核心引用包括 AdamW (Loshchilov & Hutter, 2017)、MuG (Jordan et al., 2024)、以及关于优化器公平比较的研究 (Wen et al., 2025)。本文的 Nexus 优化器直接与这些工作对话,它不是一个全新的优化器,而是一个可以"即插即用"的梯度修正器,可以与 AdamW、MuG 等基础优化器结合使用。
  • 损失景观与泛化:这一线索关注损失函数的几何性质如何影响泛化。核心引用包括关于"尖锐/平坦极小值"的经典工作 (Keskar et al., 2016)、SAM (Foret et al., 2020)、以及关于损失景观可视化的研究 (Li et al., 2017)。本文提出的"Closeness"概念,是对这一几何分析工具箱的补充。
  • 元学习与多任务学习:Nexus 的内外循环结构借鉴了元学习(Meta-Learning)的思想,特别是 MAML (Finn et al., 2017) 及其变体。这一线索关注如何学习一个易于适应新任务的初始参数。本文的 Nexus 可以看作是将元学习的"快速适应"目标,应用于预训练阶段,以提升模型对下游任务的泛化能力。
  • 大模型预训练实践:这一线索关注 LLM 预训练的实际工程与数据问题。核心引用包括 Scaling Laws (Kaplan et al., 2020)、LLaMA (Touvron et al., 2023)、Qwen (Yang et al., 2024) 等技术报告。本文的实验设置(模型规模、数据配比、训练 Token 数)均遵循了这一线索的实践标准。

⚠️ 作者的 framing(必须明确标注成"这是作者的说法")

作者将本文的贡献框架为:"我们提出了一个非常有趣的问题:'相同的预训练损失,一定意味着相同的模型能力吗?'" 并进一步假设,"特定任务极小值点之间的几何'接近性'(Closeness)与下游泛化能力有着内在的必然联系"。作者认为,标准优化器(如 AdamW)的隐式偏置不足以找到这种"接近"的极小值,因此他们设计了 Nexus 优化器来显式地最大化任务间的梯度相似度,从而逼近这种"Closeness"。

值得研究者注意的 framing 特点: - 作者将"Closeness"从一个几何观察(图 2)提升为一种可优化的目标(Nexus 优化器),并最终与下游性能挂钩。这是一个从"描述性"到"规范性"的跳跃,其合理性依赖于 Theorem 2.1 和 2.2 中的假设(如二次型、局部强凸)。 - 作者将 Nexus 定位为"梯度近似器"而非"独立优化器",这淡化了其与现有优化器(如 MuG)的竞争关系,而强调了其"即插即用"的模块化特性。 - 作者在结论中强调,Nexus 的增益源于"隐式偏置"而非"更低的预训练损失",这直接回应了 Wen et al. (2025) 关于优化器比较的方法论批评。

张力

  • 理论假设与实验现实的张力:Theorem 2.1 和 2.2 的核心假设是损失函数在极小值附近具有(方向上的)强凸性(quadratic-like)。然而,LLM 的损失景观是高度非凸的,这一假设在多大程度上成立是未知的。作者在文中承认了这一点,但并未提供任何关于该假设在真实 LLM 预训练中有效性的证据。这是一个明显的张力:理论在"局部凸"的世界里成立,而实验在"全局非凸"的世界里进行。
  • "Closeness"与"Flatness"的潜在冲突:本文聚焦于"Closeness",但并未讨论其与已被广泛研究的"Flatness"(如 SAM)之间的关系。一个自然的疑问是:Nexus 带来的泛化增益,是否仅仅是它顺带找到了更平坦的极小值?作者在 Theorem B.3 中提到了"Multi-Task SAM"的类比,暗示 Nexus 也有平坦化效应,但并未在实验中分离这两种效应。这是一个未被充分讨论的张力。
  • 未见明显对立引用:在提供的材料中,没有发现直接与本文核心假设(Closeness 与泛化相关)相矛盾的引用。但 Wen et al. (2025) 的工作对"优化器比较"的方法论提出了严格要求(如公平的超参数调优),这间接对本文的实验结论(Nexus 优于 AdamW)提出了更高的证据标准。

二、最核心、最简单的例子 / 数学问题

第一步:把符号、模型、可观测数据交代清楚

在展开论文的技术细节之前,我们先建立一套清晰的记号。这套记号是理解全文的基础。

  • 参数 / 模型参数:\(\theta \in \mathbb{R}^d\)。这是模型的参数向量,是我们要优化的对象。\(d\) 是参数量(维度)。
  • 数据源 / 任务:\(k \in \{1, \dots, K\}\)。预训练语料被划分为 \(K\) 个不同的数据源(如数学、代码、通用文本等)。
  • 数据:\(\mathcal{D}_k\) 是第 \(k\) 个数据源的样本集合。\(|\mathcal{D}_k|\) 是其样本量。\(\alpha_k\) 是第 \(k\) 个数据源的采样权重(混合比例),满足 \(\sum_k \alpha_k = 1\)。
  • 损失函数:
  • \(L_k(\theta)\):第 \(k\) 个数据源上的损失函数(如交叉熵)。这是可观测的,因为我们可以计算模型在任意数据源上的损失。
  • \(L_{train}(\theta) = \frac{1}{K} \sum_{k=1}^K L_k(\theta)\):预训练总损失,是所有数据源损失的平均。这是可观测的,也是我们日常监控的指标。
  • \(L_T(\theta)\):某个下游任务 \(T\) 的损失函数。这是不可观测的(在预训练阶段),是我们真正关心但无法直接优化的目标。
  • 目标 / 估计量:
  • \(\theta^*_{train} \in \arg\min_\theta L_{train}(\theta)\):预训练损失的最小值点(或收敛点)。这是优化算法实际找到的参数。
  • \(\theta^*_T\):下游任务 \(T\) 的某个局部极小值点。
  • 核心估计量(Closeness):\(\|\theta^*_{train} - \theta^*_T\|_2^2\),即预训练收敛点与下游任务极小值点之间的欧氏距离平方。这是本文定义的"Closeness",是一个不可观测的理论量,但论文试图通过可观测的梯度信息来优化它。
  • 优化算法:
  • 基础优化器(如 AdamW):负责更新参数 \(\theta\)。
  • Nexus:一个"梯度修正器",它接收基础优化器的梯度,输出一个修正后的梯度,使得优化过程倾向于找到"Closeness"更高的点。

模型:本文的模型是一个通用的神经网络(如 Transformer),其参数为 \(\theta\)。数据生成机制是:从 \(K\) 个数据源中按权重 \(\alpha_k\) 采样数据,计算损失 \(L_k(\theta)\),然后通过优化算法更新 \(\theta\)。

可观测数据:研究者实际能观测到的是: 1. 每个数据源的损失 \(L_k(\theta)\) 及其梯度 \(\nabla L_k(\theta)\)。 2. 预训练总损失 \(L_{train}(\theta)\)。 3. 模型在预训练 checkpoint 上的下游任务表现(如 GSM8K 准确率)。

不可观测数据:下游任务的损失函数 \(L_T(\theta)\) 及其极小值点 \(\theta^*_T\),以及"Closeness" \(\|\theta^*_{train} - \theta^*_T\|_2^2\) 本身。

第二步:讲最小内核

本文的核心数学问题可以归结为以下最小内核:

问题:考虑一个由 \(K\) 个二次函数组成的预训练损失 \(L_{train}(\theta) = \frac{1}{K} \sum_{k=1}^K \frac{a}{2} \|\theta - \theta^*_k\|^2\),其中 \(\theta^*_k\) 是第 \(k\) 个任务的极小值点。假设我们通过梯度下降(或 AdamW)优化 \(L_{train}\),最终会收敛到 \(\theta^*_{train} = \frac{1}{K} \sum_{k=1}^K \theta^*_k\)(即各任务极小值点的平均值)。

现在,有一个下游任务 \(T\),其损失函数为 \(L_T(\theta) = \frac{a}{2} \|\theta - \theta^*_T\|^2 + c\),其中 \(\theta^*_T\) 是从与 \(\theta^*_k\) 相同的分布中采样得到的。问:在保证预训练损失 \(L_{train}(\theta^*_{train}) = C_{train}\) 不变的前提下,如何选择 \(\theta^*_{train}\)(即如何选择优化轨迹),使得下游损失 \(L_T(\theta^*_{train})\) 的期望最小?

答案(Theorem 2.1 的核心):在二次函数的假设下,下游损失的期望可以分解为:

\[E_T[L_T(\theta^*_{train})] = C_{train} + \frac{a}{K} \sigma^2_B\]

其中 \(\sigma^2_B\) 是任务极小值点 \(\theta^*_k\) 的方差。这个公式揭示了核心逻辑:

  1. 预训练损失 \(C_{train}\) 是固定的:无论优化算法如何选择 \(\theta^*_{train}\),只要它最小化了 \(L_{train}\),预训练损失就固定为 \(C_{train}\)。
  2. 下游损失由"Closeness"决定:期望的下游损失完全由 \(\sigma^2_B\)(即任务极小值点的离散程度)决定。\(\sigma^2_B\) 越小,意味着各任务的极小值点越"接近",下游损失就越小。
  3. 优化算法的角色:标准优化器(如 AdamW)只关注最小化 \(L_{train}\),它找到的 \(\theta^*_{train}\) 是各任务极小值点的简单平均,其对应的 \(\sigma^2_B\) 是"自然"的。而 Nexus 的目标是显式地最小化 \(\sigma^2_B\),即通过最大化任务间梯度的相似度,引导优化过程找到一个"更接近"所有任务极小值点的区域,从而在不改变预训练损失的前提下,降低期望的下游损失。

这个最小内核的数学困难在于:在真实的 LLM 预训练中,我们无法直接计算 \(\sigma^2_B\)(因为 \(\theta^*_k\) 不可观测),也无法直接计算 \(\nabla_\theta \text{Closeness}\)(因为涉及二阶导数)。Nexus 的巧妙之处在于,它通过一个内循环的序列优化过程(Algorithm 1),用一阶梯度信息来近似这个二阶目标,从而绕开了直接计算 Hessian 的困难。这正是论文标题中"Second-Order Approximation"的含义。


三、这篇论文做了什么

三句话

  1. 研究了什么问题:本文研究了在预训练损失完全相同的情况下,优化算法的隐式偏置(通过最大化任务间梯度相似度)能否系统地提升大语言模型的下游泛化能力。
  2. 核心工具 / 方法:提出了 Nexus 优化器,一种通过内外双循环机制近似计算并优化"任务间梯度相似度"(即"Closeness")的梯度修正器,它可以与 AdamW、MuG 等基础优化器即插即用地结合。
  3. 主要结论:在 130M 到 3B 参数的模型上,Nexus 在保持预训练损失几乎不变(差异 ≤0.004)的前提下,显著降低了 OOD 损失(最高 0.012)并提升了复杂推理任务(如 GSM8K)的准确率(最高 +15.0%),且该增益在多种数据配比、学习率调度器和基础优化器下均稳健存在。

关键设定与假设

  • 数据源划分:假设预训练语料可被清晰地划分为 \(K\) 个不同的数据源(如数学、代码、通用文本),每个数据源对应一个损失函数 \(L_k\)。这是定义"任务间梯度相似度"的前提。
  • 梯度有界与光滑性:假设每个任务的梯度范数有界(\(G_{min} \le \|\nabla L_k\| \le G\)),且损失函数是光滑的(Hessian 范数有界 \(L\))。这是进行 Taylor 展开和误差分析的基础(Assumption A.1, A.2)。
  • Hessian 的 Lipschitz 连续性:假设 Hessian 是 Lipschitz 连续的(Assumption A.3),这保证了二阶 Taylor 展开的余项可以被控制。
  • "Closeness"的可优化性:核心假设是,通过最大化任务间梯度的余弦相似度,可以有效地最小化参数空间中任务极小值点之间的距离(Theorem 3.1)。这个假设将一阶信息(梯度)与二阶几何性质(极小值点位置)联系了起来。
  • 与已有文献的比较:相比 Wen et al. (2025) 对优化器的系统性比较,本文不追求"更快达到更低预训练损失",而是追求"在相同预训练损失下,找到更好的极小值"。相比 SAM (Foret et al., 2020) 关注"平坦性",本文关注"任务间接近性",这是一个不同的几何维度。

主要结果

  • 核心结果(Table 1):在 1B 和 3B 模型上,与 AdamW 基线相比,Nexus 在预训练损失几乎相同(1.826 vs 1.826 和 1.606 vs 1.602)的情况下,将 OOD 损失降低了 0.005 和 0.012,并将平均下游准确率提升了 1.7% 和 3.2%。
  • 任务级增益(Table 1):增益在复杂推理任务上尤为显著。3B 模型上 GSM8K 准确率从 44.0% 提升至 59.0%(+15.0%),MATH 从 32.0% 提升至 40.0%(+8.0%),HumanEval 从 43.0% 提升至 47.0%(+4.0%)。
  • 与 MuG 的对比(Table 10):Nexus 在预训练损失比 MuG 高 0.025 的情况下,取得了与 MuG 相当的平均下游准确率(40.3% vs 39.4%),表明其增益确实源于隐式偏置而非更低的预训练损失。
  • 数据配比鲁棒性(Figure 6):当数学数据比例从 10% 增至 70% 时,Nexus 在数学任务上的增益从 +11.5% 降至 +3.0%,但在通用任务(MMLU)上的增益从 +1.1% 增至 +5.8%,表明 Nexus 能动态地将优化能力分配给"欠拟合"的任务。
  • 学习率调度器鲁棒性(Table 3):在 Cosine 调度器下,Nexus 依然保持了对 AdamW 的增益(平均准确率 +2.4%),证明其效果不依赖于特定的学习率轨迹。
  • SFT 兼容性(Table 11):Nexus 的预训练 checkpoint 在 SFT 后依然优于 AdamW(42.7% vs 40.7%),排除了"预支 SFT 收益"的可能性。

证明路线与技术技巧

整体路线:论文的证明分为三步。

  1. 建立"Closeness"与泛化误差的理论联系(Theorem 2.1 & 2.2):

    • 在二次损失假设下,严格证明了期望下游损失 = 常数 + \(\frac{a}{K} \sigma^2_B\),从而确立了"Closeness"(即 \(\sigma^2_B\))是决定泛化误差的关键二阶量。
    • 将这一结果推广到局部方向强凸的一般损失函数,证明了类似的上界(Theorem 2.2),表明"Closeness"在更一般的设定下也是泛化误差的上界控制项。
  2. 建立"梯度相似度"与"Closeness"的联系(Theorem 3.1):

    • 证明了在收敛点,任务间梯度的余弦相似度之和是参数空间中任务极小值点距离平方的一个上界(公式 7)。
    • 这个定理是 Nexus 算法的理论基石:它说明最大化梯度相似度等价于最小化参数空间中任务极小值点的距离,从而将不可直接优化的"Closeness"转化为可操作的一阶优化目标。
  3. 证明 Nexus 算法的有效性(Theorem 3.2 & B.3):

    • 通过对内循环的 Taylor 展开,证明了 Nexus 的更新方向 \(\hat{g}_t\) 的期望等于"原始损失梯度 + 梯度相似度的梯度"(公式 12),并给出了误差项 \(E_{2nd}\) 的 \(O(\gamma^3)\) 上界。
    • 进一步分析了三阶项,证明 Nexus 隐式地最小化了一个"广义方向锐度"(Generalized Directional Sharpness)项,这解释了其稳定性和泛化增益的来源。

技术技巧: - Taylor 展开与期望分析:核心技巧是对内循环的序列更新进行 Taylor 展开,并利用任务采样的随机性,将复杂的二阶项(Hessian-vector product)转化为可计算的一阶项(梯度内积)的期望。 - 归一化梯度(Normalized SGD):内循环使用 Normalized SGD,这保证了每步更新的范数恒定,使得 Taylor 展开的误差项可以被严格控制,且不依赖于梯度的绝对大小。 - 误差分解:将总误差分解为"对称误差"(\(E_{sym}\),在期望中消失)和"二阶误差"(\(E_{2nd}\),有界),这种分解是证明的核心技巧。 - 与 MuG 的关联:论文指出 Nexus 的更新方向与 MuG 的更新方向在形式上有相似之处,但 Nexus 通过归一化和特定的内循环设计,避免了 MuG 中可能出现的数值不稳定问题。

🔎 结论是否比证明窄

  • "Closeness"的度量:论文在理论上证明了"Closeness"(\(\sigma^2_B\))与泛化误差的联系,但在实验中,并没有直接测量 \(\sigma^2_B\) 或参数空间中的距离,而是通过"梯度余弦相似度"(Theorem 3.1 的代理量)和最终的下游性能来间接验证。结论(Closeness 提升)比证明(梯度相似度提升)更宽。
  • 二次损失假设:Theorem 2.1 的证明严格依赖于二次损失假设。虽然 Theorem 2.2 将其推广到局部强凸,但并未覆盖 LLM 预训练中普遍存在的非凸、鞍点密布的真实景观。因此,理论结论的适用范围比实验结论(在真实 LLM 上有效)更窄。
  • "即插即用"的普适性:论文声称 Nexus 可以与 AdamW、MuG 等结合,但实验主要展示了与 AdamW 结合的结果(Table 1),与 MuG 的结合仅在 Table 10 中作为对比出现,且效果不如 AdamW+Nexus。"即插即用"的普适性结论比实验证据更宽。
  • 计算开销:论文声称 Nexus "几乎不增加额外计算开销",但内循环需要额外的前向-反向传播。虽然论文用 FLOPs 分析(Appendix B.1)支持了这一说法,但这依赖于具体的实现和硬件优化,"几乎不增加开销"的结论可能比在标准深度学习框架下的实际体验更乐观。

四、开放问题

  1. "Closeness"的因果机制:论文展示了"梯度相似度"与"下游性能"的强相关性,但并未严格证明其因果性。一个开放问题是:能否设计一个干预实验,直接操纵 \(\sigma^2_B\)(而非通过梯度相似度间接影响),来验证其对泛化误差的因果效应?(扎根于 Theorem 3.1 的"上界"性质,它只提供了充分条件而非必要条件。)

  2. 理论假设的放松:论文的核心理论(Theorem 2.1 & 2.2)依赖于"局部强凸"和"任务极小值点分布"的假设。一个重要的开放问题是:在完全非凸、存在大量等价极小值的真实 LLM 损失景观中,"Closeness"是否仍然是控制泛化误差的主导项? 或者,是否存在其他几何量(如 Hessian 的谱结构、与数据流形的对齐程度)与"Closeness"相互作用,共同决定泛化性能?(扎根于 Theorem 2.2 的证明,它只给出了一个上界,并未讨论该上界的紧性。)

  3. 与 MuG 不兼容的根源:论文发现 Nexus 与 MuG 结合时效果不佳(Table 10),并推测是数值问题。一个具体的开放问题是:能否从理论上分析 Nexus 的梯度修正项与 MuG 的正交化更新之间的相互作用,从而设计出能同时利用两者优势的算法?(扎根于 Appendix B.4 中关于 MuG 与 Nexus 更新方向形式相似的讨论。)

  4. 动态数据配比:论文展示了 Nexus 在固定数据配比下的"自动平衡"效应(Figure 6)。一个更进一步的开放问题是:Nexus 的梯度相似度最大化机制,能否作为一种动态数据配比策略,在训练过程中自适应地调整各数据源的采样权重,从而替代人工设计的混合比例?(扎根于 Section 4.5 的"动态数据配比"动机。)

  5. 超越预训练:论文聚焦于预训练阶段。一个自然的延伸是:"Closeness"这一几何性质,是否也能解释或改进指令微调(SFT)、人类反馈强化学习(RLHF)等后续对齐阶段的泛化行为?(扎根于 Section 4.6 的 SFT 实验,它只验证了预训练 checkpoint 的兼容性,并未将 Nexus 应用于 SFT 阶段本身。)

给研究者的提示:要确认上述某条是否是真 gap,建议去读近 2-3 年关于"优化器隐式偏置"(如 MuG、Sophia 的后续工作)和"损失景观几何与泛化"(如 SAM 的变体)的顶会论文(ICML/NeurIPS/ICLR)的引言部分。如果多个独立工作都指向"预训练损失不足以评估模型能力"这一共识,那么问题 1 和 2 就属于共识性 gap;如果不同工作对"平坦性"和"接近性"哪个更重要存在争论,那么问题 2 就是一个机会。


Maintained by 陈星宇 · Homepage · Source

评论