跳转至

Session 04 · 预训练算法的新进展

XAGI 2026 交叉智能大会 · 10 月 17 日(周六)下午 14:00-16:00 · 5会(友谊宫二层5号会议室) · 返回会议总览

  • 3 场报告 · 已精读 3 场

主持:谢天(Qwen)

本场导览

自动生成:归纳本场主线,不打分、不排名。

这一场聚焦预训练阶段优化算法与评估范式的底层问题,三场报告共享一条主线:在给定数据与算力约束下,如何通过优化器设计或超参数选择,让模型在相同训练成本下获得更强的下游能力。张华清从工程视角讨论超参数缩放律的推导与外推;胡译文从理论视角修正优化器与参数化框架的错配;陈焕然则直接质疑“预训练损失”作为能力指标的充分性,提出以极小值点几何结构为目标的优化器。

最突出的主线是优化器层面的能力边界突破。胡译文的 Spectral Sphere Optimizer(SSO)针对 μP 与 Muon 的冲突——Muon 只约束更新方向、不约束权重谱半径,导致激活尺度漂移——在谱球切平面内构造满足最速下降与严格 μP 约束的更新,从优化器内部根治不稳定,而非依赖 SandwichNorm 等架构补丁。陈焕然的 Nexus 则从另一角度切入:标准 AdamW 收敛到各任务极小值点彼此疏远的区域,Nexus 通过最大化梯度相似度显式拉近这些极小值点,在相同预训练损失下显著提升 OOD 与推理性能。两者互补:SSO 解决“如何稳定地快速收敛”,Nexus 解决“收敛到何处更有泛化价值”。张华清的工作为这两者提供了超参数选择的量化基础——若优化器改变,原有缩放律是否仍成立,是其报告隐含的衔接点。

若时间有限,建议先看陈焕然(130M-3B 规模、多配比实验,直接挑战主流评估范式,结果可复现性强),再看胡译文(理论框架完整,适合理解优化器与参数化约束的深层关系),最后补张华清(为前两者提供超参数外推的工程工具)。三场按“现象-机制-工具”的顺序阅读,可形成完整闭环。


1. On Optimal Hyperparameter Scaling for LLM Pretraining

讲者:张华清(清华大学 · 交叉信息研究院) · 14:00-14:40

对应论文:Configuration-to-Performance Scaling Law with Neural Ansatz · arXiv:2602.10300 · 📖 长篇精读

摘要(会议官网)

Setting appropriate training hyperparameters is critical for efficient and stable large language model pretraining. Since sweeping hyperparameters at the target training scale is prohibitively expensive, a common approach is to use smaller training runs to fit a hyperparameter scaling law for extrapolation. In this talk, we discuss our approach to deriving hyperparameter scaling laws for the next generation of Qwen models (Qwen3.8-flash-next), which enables accurate extrapolation. Notably, the current hyperparameter scaling law predicts larger learning rates and batch sizes than our previous scaling law and several published results suggest. Through controlled ablation studies, we examine how other training factors (data, architecture, optimizer) influence hyperparameter scaling. We will also discuss several practical guidelines for fitting a hyperparameter scaling law as accurately as possible within a limited compute budget.

(对应论文为自动检索推断,可能有偏差)

问题:大模型预训练中,超参数设置直接决定训练效率与稳定性,但在目标规模上直接扫参成本过高,通行做法是用小规模运行拟合超参数缩放律再外推。报告针对下一代 Qwen 模型(Qwen3.8-flash-next)推导超参数缩放律,发现现有缩放律预测的学习率和批大小偏保守。论文则进一步指出,标准缩放律(如 Chinchilla)隐含“其他超参数已最优”的假设,而实际训练常受硬件约束无法满足该假设,因此需要更完整的配置—性能映射。

核心方法:报告方法是通过受控消融实验,系统考察数据、架构、优化器如何影响超参数缩放律,并给出有限计算预算下拟合缩放律的实用准则。论文提出 Configuration-to-Performance Scaling Law(CPL):用 LLM 作为神经 ansatz,将完整训练配置(模型大小、数据量、层数、头数、优化器、学习率、批大小、权重衰减等)映射到预训练损失,并预测相对 Chinchilla 基线的残差以提升外推能力。模型基于 Qwen3-1.7B 微调,采用两阶段训练(先冻结主干、后全量微调),在 Marin 和 StepLaw 两个开源项目共约五千条预训练日志上训练,最终损失预测误差比 Chinchilla 低 20–40%,并能外推到训练集中最大计算量的 10 倍规模。

与已有工作的关系:该工作直接推进两条路线:一是 Chinchilla 缩放律(仅以 N、D 为输入,忽略其他超参数),二是 StepLaw 等手工设计的超参数幂律(如 \(\eta(N,D)=cN^\alpha D^\beta\))。NCPL 无需预设函数形式,用神经网络自动学习超参数间的非线性交互,且能联合优化多个超参数,而传统方法通常逐个拟合。论文实验也以 Chinchilla 和 StepLaw 为基线,在 ID 与 OOD 设置下比较预测误差和调参效果。

贡献与边界:主要贡献是提出一种数据驱动的神经缩放律范式,能利用异构开源日志、支持联合调参与损失曲线预测,并展示了对计算量外推的可行性。边界也很明显:依赖已有日志覆盖的超参数空间,对全新架构或数据分布的外推能力未验证;论文提到 OOD 时模型倾向推荐更大学习率,可能源于训练集小模型占比高;报告摘要未给出具体缩放指数或消融细节,且检索论文与报告题目不完全对应,现场报告可能包含更多未公开的 Qwen 实际经验。

讲者简介

Huaqing Zhang is a first-year PhD at IIIS, Tsinghua University, advised by Prof. Andrew Yao. His research interests lie in the theory and training of large language models. He has been fortunate to work closely with Prof. Jingzhao Zhang and Prof. Kaifeng Lyu. He is currently interning with the Qwen pretraining team, where he works on scaling laws and optimizers.

2. Controlled LLM Training on Spectral Sphere

讲者:胡译文(中国人民大学 · 高瓴人工智能学院) · 14:40-15:20

对应论文:Controlled LLM Training on Spectral Sphere · arXiv:2601.08393 · 📖 长篇精读

摘要(会议官网)

Scaling large models requires optimization strategies that ensure rapid convergence grounded in stability. Maximal Update Parametrization (μP) provides a theoretical safeguard for width-invariant Θ(1) activation control, whereas emerging optimizers like Muon are only half-aligned with these constraints: they control updates but allow weights to drift. To address this limitation, we introduce the Spectral Sphere Optimizer (SSO), which enforces strict module-wise spectral constraints on both weights and their updates. By deriving the steepest descent direction on the spectral sphere, SSO realizes a fully μP-aligned optimization process. To enable large-scale training, we implement SSO as an efficient parallel algorithm within Megatron. Through extensive pretraining on diverse architectures, including Dense 1.7B, MoE 8B-A1B, and 200-layer DeepNet models, SSO consistently outperforms AdamW and Muon. Furthermore, we observe significant practical stability benefits, including improved MoE router load balancing, suppressed outliers, and strictly bounded activations.

问题:(对应论文为自动检索推断,可能有偏差)大模型预训练需要稳定前提下的快速收敛。μP 理论上保证激活尺度 \(\Theta(1)\),但 Muon 只约束更新、不约束权重,导致权重漂移与激活异常;现有做法靠 SandwichNorm、QK-Norm 等架构补丁强行稳定,牺牲表达力且调参成本高。报告要解决的问题是:能否构造一个同时满足最速下降与严格 μP 约束的优化器,从优化器层面根治不稳定?

核心方法:提出 Spectral Sphere Optimizer (SSO)。对权重 \(W\in\mathbb{R}^{d_{\text{out}}\times d_{\text{in}}}\),令谱半径 \(R=\Theta(\sqrt{d_{\text{out}}/d_{\text{in}}})\),更新 \(\Delta W=\eta R\Phi\),其中 \(\Phi\) 在谱球切平面内最大化 \(\langle G,\Phi\rangle\) 且满足 \(\langle\Theta,\Phi\rangle=0\)(\(\Theta=u_1v_1^\top\))。通过 Lagrange 乘子 \(\lambda\) 搜索,\(\Phi^*(\lambda)=\operatorname{msign}(G+\lambda\Theta)\),用 bracketing+bisection 求 \(h(\lambda)=\langle\Theta,\operatorname{msign}(G+\lambda\Theta)\rangle\) 的根,并加 retraction 投影回谱球。在 Megatron 中实现原子模块分片、ping-pong 负载均衡、自适应 kernel 与多流并行。实验覆盖 Dense 1.7B、MoE 8B-A1B、200 层 DeepNet,均优于 AdamW 和 Muon,且改善 MoE 路由均衡、抑制 outlier、激活严格有界。

与已有工作的关系:SSO 直接推进 μP(Yang et al., 2024)的谱条件,补上 Muon(Jordan et al., 2024)缺失的权重约束。与 Scion(Pethick et al., 2025)及 MuonSphere(\(\lambda=0\) 变体)相比,SSO 通过 \(\lambda\) 搜索实现真正的切空间最速下降,而非简单归一化。实验还显示 SSO 在 μP 宽度扩展下学习率迁移更稳,且可去掉隐藏层权重衰减,减少一个超参数。

贡献与边界:主要贡献是给出一个完全 μP 对齐的优化器,兼具理论推导、分布式实现和跨架构验证。边界:论文为自动检索匹配,细节可能有偏差;SSO 每步比 Muon 慢 11.45%(表 2),CPU 端二分求解器带来同步开销;谱半径常数 \(c\) 需人工调节(\(c=2.0\) 最佳);方法只作用于 2D 权重,embedding 仍用权重衰减。官网摘要未给出完整实验设置,泛化性仍需更多任务验证。

讲者简介

中国人民大学博士研究生,导师为赵鑫老师。主要研究方向为大模型预训练和模型结构。曾获ICML Spotlight、ACL Oral等。

3. Pretraining Loss相同,模型能力则相同么?

讲者:陈焕然(清华大学/字节跳动 · 人工智能学院) · 15:20-16:00

对应论文:Nexus : Same Pretraining Loss , Better Downstream Generalization via Common Minima · arXiv:2604.09258 · 📖 长篇精读

摘要(会议官网)

大语言模型的能力主要源于互联网级别数据上的预训练。在本工作中,我们提出了一个非常有趣的问题:“相同的预训练损失,一定意味着相同的模型能力吗?” 我们猜想,特定任务极小值点之间的几何“接近性”(Closeness)与下游泛化能力有着内在的必然联系。然而,标准的优化器(如 AdamW)往往会收敛到各任务特定极小值点彼此疏远的区域。为了打破这一局限,我们提出了 Nexus 优化器,通过在优化过程中最大化梯度相似度,显式促进这些极小值点的几何接近。在 130M 到 3B 参数规模的模型、多种数据配比和超参数下的广泛实验表明:尽管预训练损失完全相同,Nexus 却大幅度提升了下游任务的性能。 例如,Nexus 将分布外(OOD)损失降低了 0.012,并在复杂推理任务(如 GSM8k)上实现了高达 15.0% 的准确率提升。这一发现挑战了“将预训练损失作为评估模型能力唯一指标”的传统范式,有力证明了隐式偏置(Implicit Biases)在解锁下游泛化能力中的重要性。

(对应论文为自动检索推断,可能有偏差)

问题:大语言模型的能力主要来自互联网规模数据上的预训练,但评估模型时普遍以预训练损失作为唯一指标。报告提出一个反直觉的问题:预训练损失完全相同,模型能力是否必然相同?动机在于,预训练数据由大量异构来源组成,标准做法是平均各数据源的损失,但收敛到的极小值点可能只是“平均型极小值”,与各任务自身极小值在几何上相距甚远,从而损害下游泛化。这个问题在当前从“算力受限”转向“数据受限”的预训练阶段尤为值得研究,因为若损失相同而能力不同,则单纯追求损失下降可能误导模型筛选与训练策略。

核心方法:作者提出“Closeness”概念,即训练收敛参数与各数据源任务极小值之间的几何接近程度,并证明在二次损失假设下,相同训练损失时,Closeness越高的极小值点在下游任务上的期望损失越低(定理2.1)。直接优化Closeness需要知道每个任务的极小值,计算不可行;他们转而证明梯度相似度 \(\mathrm{CosSim}(\nabla L_i,\nabla L_j)\) 是Closeness的上界,因此提出Nexus优化器:在每次外层更新前,用归一化SGD(NSGD)在内部对多个数据源依次做小步更新,用内外参数位移近似梯度-海森向量积,从而隐式最大化梯度相似度。该伪梯度可接入AdamW、Muon等任意基础优化器,且几乎不增加前向-反向计算量。

与已有工作的关系:工作直接挑战了“预训练损失是能力唯一代理”的常规范式,与近期关注优化隐式偏置(如平坦度)的路线互补。作者明确区分了已有工作充分研究的“平坦度”(flatness)与本文提出的“接近性”(closeness),认为二者共同构成二阶泛化信息。基线采用Wen et al. (2025) 的最优超参数设置,并对比AdamW等标准优化器;Nexus作为即插即用的梯度近似器,可与Muon等新优化器结合,而非替代它们。

贡献与边界:主要贡献是理论上给出Closeness与泛化误差的定量关系,并设计出可扩展至3B参数规模、多种数据配比和超参数计划的Nexus优化器。实验显示,在预训练损失几乎相同的情况下,Nexus将OOD损失降低0.012,GSM8k准确率提升最高15%,MATH500提升8%,HumanEval提升4%。边界也很明显:理论分析依赖二次损失和任务同分布假设,实际预训练任务远非二次;实验最大规模为3B参数,更大模型上的有效性未知;且论文使用内部清洗数据集,公开数据集上的结果可能受污染影响,官网摘要未给出跨数据集一致性的详细分析。

讲者简介

I’m a PhD student at Tsinghua SAIL, advised by Prof. Jun Zhu and closely collaborating with Prof. Yinpeng Dong. I also work with Prof. Jingzhao Zhang’s group. I study the physics of deep learning: the optimization dynamics, geometry, and statistical mechanisms that could make neural-network training more explainable, predictable, and controllable.


Maintained by 陈星宇 · Homepage · Source

评论