跳转至

Configuration-to-Performance Scaling Law with Neural Ansatz

作者: Huaqing Zhang, Kaiyue Wen, Tengyu Ma
来源: XAGI 2026 交叉智能大会 · Session 04 预训练算法的新进展 · 返回会议场次
报告: On Optimal Hyperparameter Scaling for LLM Pretraining · 讲者 张华清(清华大学 · 交叉信息研究院)
论文: arXiv:2602.10300

本页是会议报告的对应论文长篇精读;会议现场的报告摘要见场次页。


一、领域脉络与小综述

这个方向是什么:大语言模型预训练的成本极高,研究者需要在投入大规模算力之前预测"给定训练配置(模型大小、数据量、学习率、批大小、优化器等)能达到的最终损失"。经典缩放定律(scaling laws)试图用少数几个变量(模型参数 N、数据量 D)的幂律函数拟合这一映射,其隐含假设是"其他超参数已被最优地调好"。本文提出的"配置到性能缩放定律"(Configuration-to-Performance Law, CPL)则试图把完整的训练配置(包括优化器、学习率、批大小、权重衰减等)作为输入,用神经网络学习一个从配置到损失的通用映射,从而在任意超参数组合下都能预测性能,并支持超参数联合调优。这个子方向目前处于"从经验幂律向数据驱动预测器过渡"的阶段:经典幂律已高度成熟并被工业界广泛使用,但超参数维度的扩展是当前的前沿。

发展脉络: - 奠基工作:Kaplan et al. (2020) [39] 观察到预训练损失随 N 和 D 呈幂律下降,确立了"缩放定律"这一研究范式;Hoffmann et al. (2022) [28] 提出 Chinchilla 定律 ℓ(N,D)=E+A/N^α+B/D^β,并给出计算最优的 N:D 配比。这两篇奠定了"损失 = 幂律函数"的建模框架,但都只考虑 N 和 D 两个变量,且要求其他超参数最优。 - 主要进展:后续工作沿两条线推进。一条是超参数缩放定律,如 Li et al. (2025) [49] 的 Step Law,将学习率 η(N,D)=c·N^α·D^β、批大小 B(D)=d·D^γ 也纳入幂律形式,但仍是人工设计的函数形式,且只覆盖学习率和批大小两个超参数;另一条是损失曲线预测,如 Tissue et al. (2024) [72]、Luo et al. (2025) [59] 用多分量幂律描述完整训练曲线,但仍需手工指定函数形式。 - 当前 frontier:用基础模型作为通用回归器来替代人工设计的幂律。本文引用了 TabPFN [29]、TabTransformer [16] 等工作,说明"用 Transformer 做表格数据回归"已被验证可行,但尚未被用于缩放定律。本文是第一个系统性地把语言模型当作缩放定律的"神经 ansatz"的工作。 - 本文位置:作者明确说"预指定闭式函数形式极其困难"("pre-specifying a closed-form functional relationship for the entire high-dimensional and heterogeneous configuration space is extremely challenging"),因此直接用语言模型学习映射。这是对经典幂律范式的方法论跳跃:从"假设函数形式 + 拟合参数"变为"用神经网络从数据中学习函数形式"。

子线索聚类: 1. 经典缩放定律(Kaplan 2020 [39], Hoffmann 2022 [28], Porian 2024 [65]):只建模 N 和 D,假设其他超参数最优。代表方法:幂律拟合、Chinchilla 最优配比。 2. 超参数缩放定律(Li 2025 [49], DeepSeek 2024 [15], Wang 2025 [75]):把学习率、批大小、权重衰减等纳入幂律形式,但仍是人工设计的函数。代表方法:Step Law、µP [80]。 3. 损失曲线预测(Tissue 2024 [72], Luo 2025 [59], Qiu 2025 [66]):预测完整训练轨迹而非单点损失,用多分量幂律或缩放坍缩(scaling collapse)描述。 4. 基础模型作为通用回归器(TabPFN [29], TabTransformer [16], Garg 2022 [18]):用 Transformer 处理表格数据,本文的方法论基础。

这个方向在追问的核心问题: 1. 外推可靠性:小规模训练(≤430M 参数)拟合的定律能否可靠预测大规模(≥1B 参数)的性能?经典幂律在 log-log 尺度上是直线,外推相对安全;神经网络没有这种归纳偏置,外推是否可靠? 2. 超参数交互:学习率、批大小、权重衰减、优化器选择之间如何交互影响最终损失?幂律假设变量独立可分离,但实际存在交互(如 Lion 需要更大的权重衰减)。 3. 数据效率:拟合一个通用配置-性能映射需要多少训练日志?本文用了约 3,000 条日志,但配置空间远未被覆盖。 4. 可解释性:幂律的参数(α, β)有物理意义(数据效率、模型效率),神经网络的权重没有。这是否重要?

⚠️ 作者的 framing(这是作者的说法):作者把缺口 frame 成"经典缩放定律只覆盖 N 和 D,且假设其他超参数最优;而实际训练中超参数远非最优,且存在复杂交互,因此需要一个能接受完整配置的通用预测器"。他们强调"预指定函数形式不可行",所以用神经网络。被淡化或回避的竞争路线包括:(a) Step Law 等超参数缩放定律——作者承认其有效性,但指出它只覆盖两个超参数;(b) 理论驱动的传输定律(如 µP [80])——作者只在 related work 中一笔带过,没有讨论其预测能力;(c) 贝叶斯优化/多任务学习等经典超参数调优方法——作者没有与这些方法比较。什么明显该被引、却没出现在 intro 里:作者没有引用任何关于"缩放定律外推失败"的负面结果(如 [40] 中提到的"缩放定律在超出训练范围时可能失效"),也没有引用关于"神经网络回归器在表格数据上的外推局限性"的讨论(如 [54] 指出的对数据表示的敏感性)。这两条都是值得研究者去查的线索。

张力:未见明显对立引用。但有一个隐含张力:经典缩放定律(幂律)的成功依赖于其函数形式的正确性(log-log 线性),而本文的神经 ansatz 放弃了这一归纳偏置,换取了灵活性。这两者之间的权衡(bias-variance tradeoff 在缩放定律语境下的体现)是本文没有正面讨论的。


二、最核心、最简单的例子 / 数学问题

第一步:符号、模型、可观测数据

符号(逐个点名):

记号 含义 类型
C 训练配置(configuration),一个向量,包含模型大小 N、数据量 D、学习率、批大小、优化器类型、权重衰减等 可观测输入特征
N 模型参数量(非嵌入参数,以百万计) C 的一个分量
D 训练数据量(token 数,以十亿计) C 的一个分量
P 性能指标(performance),本文指预训练损失(cross-entropy loss) 可观测输出 / 标签
ℓ_chinchilla(N,D) Chinchilla 定律的预测:E + A/N^α + B/D^β 基线模型(参数 E,A,B,α,β 需拟合)
y^(i) 第 i 条日志的残差:P^(i) − ℓ_chinchilla(N^(i), D^(i)) 实际训练目标(residual)
f_θ 神经网络回归器(语言模型),参数为 θ 要训练的模型
D_train 训练集:{(C^(i), P^(i))}_{i=1}^n,n ≈ 3,000 条日志 可观测数据
L(θ) 均方误差损失:Σ(f_θ(C^(i)) − y^(i))² / n 目标函数

模型(数据生成机制):本文没有显式的概率模型。隐含的统计模型是:

P = ℓ_chinchilla(N, D) + g(C) + ε

其中 g(C) 是"配置偏离最优导致的损失增量",ε 是噪声(来自训练随机性、数据采样等)。本文的神经 ansatz f_θ 直接学习 P − ℓ_chinchilla(N,D) = g(C) + ε。这个"残差学习"设计是关键:它把经典幂律作为基线,让神经网络只学习超参数偏离最优的修正项,而不是从头学习整个映射。

可观测数据:研究者能观测到的是历史预训练日志——每条日志记录了一次完整预训练运行的配置 C(模型架构、N、D、优化器、学习率、批大小、权重衰减等)和结果 P(最终损失,或中间步骤的损失曲线)。不可观测的是"同一配置下多次运行的分布"(每条日志只有一次实现),以及"未尝试过的配置"(外推目标)。

第二步:最小内核

把论文的所有技术细节剥掉,支撑整篇论文的最小内核是:

用残差学习替代幂律拟合:给定一组小规模预训练日志 {(C^(i), P^(i))},先拟合一个 Chinchilla 基线 ℓ_chinchilla(N,D),再训练一个神经网络 f_θ 预测残差 P − ℓ_chinchilla(N,D)。预测时,对任意新配置 C,输出 ℓ_chinchilla(N,D) + f_θ(C)。

为什么这个内核"一看就懂"?因为它解决的是一个非常具体的痛点:假设你做了 100 次小规模预训练实验(130M–430M 参数),每次用不同的学习率、批大小、优化器。你想知道"如果我把模型放大到 1B 参数,用 AdamW、学习率 1e-3、批大小 512,最终损失会是多少?"经典做法是:只保留每次实验中损失最低的那个点,用幂律拟合 N 和 D,然后外推。但这样浪费了 99% 的数据(那些"次优"配置的日志),也无法回答"次优配置下损失会高多少"。

本文的做法是:把 100 条日志全部用上。先拟合 Chinchilla 基线(只用最优配置的点),然后让神经网络学习"偏离最优配置 → 损失增加多少"的映射。外推时,基线负责 N 和 D 的幂律趋势(这是经典缩放定律已经验证过的),神经网络负责超参数修正(这是经典定律无法覆盖的)。

在这个最小内核下,要验证的核心命题是:

命题(外推有效性):如果 f_θ 在训练配置范围内(N ≤ 430M)学会了"配置 → 残差"的映射,那么对 N > 430M 的配置,ℓ_chinchilla(N,D) + f_θ(C) 是否仍然准确?

这个命题难在哪?难在外推没有理论保证。幂律外推之所以可行,是因为 log-log 线性是经验验证过的函数形式;神经网络没有这种保证。本文的应对是:用"残差学习"把外推任务拆成两部分——基线负责 N 和 D 的外推(有幂律保证),神经网络只负责超参数修正(假设超参数效应在跨尺度时是可迁移的,即"AdamW 在 130M 模型上的最优学习率是 1e-3,在 1B 模型上仍然接近最优"这类经验规律)。这个假设是否成立,是本文方法有效性的关键,也是研究者可以深挖的问题。


三、这篇论文做了什么

三句话: 1. 研究了什么问题:如何从完整训练配置(而非仅 N 和 D)预测大语言模型的预训练损失,以支持跨尺度的性能预测和超参数联合调优。 2. 核心工具 / 方法:用语言模型(Qwen3-1.7B)作为神经网络回归器,学习"配置 → 相对 Chinchilla 基线的残差"的映射;采用两阶段微调(先冻结主干只训练数值编码器和预测头,再全量微调),并将数值字段用 MLP 嵌入而非 token 化。 3. 主要结论:NCPL 在最终损失预测上比 Chinchilla 定律降低 20–40% 的 MAE(Marin 和 StepLaw 数据集,ID 和 OOD 均如此);在超参数调优上,NCPL 选出的最优学习率/批大小与真实最优的损失差距在 0.1% 以内,与专门设计的 Step Law 相当;NCPL 还能预测完整损失曲线,这是经典缩放定律做不到的。

关键设定与假设:

  • 数据集:两个开源预训练日志集合。
  • Marin 数据集 [24, 76]:2,549 条日志,模型 130M–1.2B,数据量最高 193B tokens,配置多样(多种优化器、学习率、批大小、权重衰减等)。
  • StepLaw 数据集 [49]:2,581 条日志,模型 215M–1B,数据量最高 56B tokens,配置变化限于学习率和批大小(固定 AdamW)。
  • 数据划分:按 (优化器, N, D) 三元组随机分组,8:2 划分训练/ID 验证;OOD 验证集为 N > 430M 的所有日志。这个划分保证 ID 验证集中的每条日志的 (优化器, N, D) 组合在训练集中完全不存在,测试的是"对新配置的泛化"而非"对新日志的拟合"。
  • 预测目标:最终预训练损失(final loss),以及损失曲线(多个中间步骤的损失)。
  • 关键设计:
  • 残差学习:预测目标不是绝对损失 P,而是 P − ℓ_chinchilla(N,D),其中 ℓ_chinchilla 在每个数据集上单独拟合。这相当于把经典缩放定律作为"先验均值",神经网络学习偏离。
  • 数值嵌入:数值字段(N、D、学习率等)不经过 tokenizer,而是用一个两层 MLP 映射到嵌入空间。作者在消融中显示这比标准 token 化更好。
  • 两阶段微调:第一阶段只训练 MLP 编码器和预测头(冻结语言模型主干),第二阶段全量微调。作者称这比直接全量微调更稳定。
  • 来源标识:输入包含一个 source 字段,让模型可以区分不同数据集的分布差异。
  • 基线:Chinchilla 定律(配置无关)、Step Law(覆盖学习率和批大小的幂律)、XGBoost(表格回归基线)。

主要结果:

  1. 最终损失预测(表 1,图 1 左,图 3):
  2. Marin 数据集:NCPL (ft, 1.7B) 的 MAE 为 0.0109(ID)/ 0.0168(OOD),Chinchilla 为 0.0566(ID)/ 0.0240(OOD)。ID 上降低约 81%,OOD 上降低约 30%。注意 OOD 上 Chinchilla 的 MAE 反而比 ID 低,这是因为 OOD 都是大模型,而 Chinchilla 的幂律在大尺度上拟合得更好。
  3. StepLaw 数据集:NCPL 的 MAE 为 0.0097(ID)/ 0.0223(OOD),Chinchilla 为 0.0704(ID)/ 0.0440(OOD)。ID 上降低约 86%,OOD 上降低约 49%。
  4. Spearman 相关系数:NCPL 在 Marin OOD 上为 0.9299,Chinchilla 为 0.7670;StepLaw OOD 上为 0.9837 vs 0.9141。
  5. 解读:NCPL 的优势在 ID 上巨大(因为 Chinchilla 完全无法区分同一 (N,D) 下的不同配置),在 OOD 上仍然显著但缩小。这说明残差学习的外推能力存在但有限。

  6. 超参数调优(图 5):

  7. 在 11 个 held-out (N,D) 对上(5 个 ID,6 个 OOD),用 NCPL 和 Step Law 分别预测最优学习率和批大小,然后计算该配置的真实损失与全局最优的差距。
  8. ID 上:NCPL 的平均相对损失为 -0.03% 到 0.17%,Step Law 为 0.02% 到 0.52%。两者相当,NCPL 略优。
  9. OOD 上:NCPL 在 N=536M 时表现良好(0.03% 到 0.23%),但在 N=1073M 时出现较大偏差(0.82% 到 2.40%),而 Step Law 在 N=1073M 时仍保持 0.01% 到 0.28%。这是本文最值得注意的负面结果:NCPL 在最大外推尺度上不如专门设计的幂律。
  10. 解读:Step Law 的幂律形式(η ∝ N^α D^β)在跨尺度外推时更稳健,而 NCPL 的神经网络在训练分布边缘(N=1073M 远超训练集中的最大 N=430M)容易产生偏差。

  11. 损失曲线预测(图 7,图 15):

  12. NCPL 可以预测任意中间步骤的损失,只需在输入中加入"当前步数占总步数的比例"字段。
  13. 定性上,NCPL 能捕捉不同优化器的曲线形状差异(如 Lion 与 AdamW 的收敛速度差异),这是经典缩放定律完全无法做到的。

  14. 消融(表 1,表 3):

  15. 残差预测 vs 直接预测:去掉残差学习(直接预测绝对损失)在 Marin OOD 上 MAE 从 0.0168 恶化到 0.1503(约 9 倍),在 StepLaw OOD 上从 0.0223 恶化到 0.0988(约 4.4 倍)。残差学习是 NCPL 外推能力的核心。
  16. 数值嵌入 vs token 化:用标准 tokenizer 处理数值字段在 Marin ID 上 MAE 从 0.0109 恶化到 0.0123,OOD 上从 0.0168 恶化到 0.0217。
  17. 微调 vs 冻结:全量微调优于只训练头部(ID 上 0.0109 vs 0.0119,OOD 上 0.0168 vs 0.0207)。
  18. 模型大小:1.7B 优于 135M(ID 上 0.0109 vs 0.0140,OOD 上 0.0168 vs 0.0207),但差距不大。

证明路线:本文是纯实证论文,没有定理。其"证明"方式是:(a) 在多个 held-out 配置上比较 NCPL 与基线的预测误差;(b) 通过消融验证每个设计选择(残差学习、数值嵌入、微调)的必要性;(c) 通过可视化(图 4、图 6)展示 NCPL 学到了有意义的超参数-损失关系(如 U 型学习率曲线、Lion 与 AdamW 的权重衰减偏好差异)。统计上,报告的是 MAE、RMSE、Spearman ρ,没有置信区间或显著性检验。

技术技巧点名: - 残差学习 / 基线化(residual learning):预测 P − ℓ_chinchilla(N,D) 而非 P。这是本文最重要的技巧,它把"外推"任务分解为"幂律外推"(由基线负责)+"配置修正"(由神经网络负责),大幅降低了神经网络的外推负担。 - 数值字段的 MLP 嵌入:数值不 token 化,而是用两层 MLP 映射到嵌入空间。这避免了 tokenizer 对数值的粒度损失(例如 0.001 和 0.0001 可能被 token 化成相同的片段)。 - 两阶段微调(类似 LP-FT [45]):先冻结主干训练头部,再全量微调。作者称这比直接全量微调更稳定,可能是因为数值编码器需要先适应新任务。 - 按 (优化器, N, D) 分组划分数据:避免同一配置的不同日志同时出现在训练和验证集中,使 ID 验证真正测试"新配置泛化"。

🔎 结论是否比证明窄: - 是。论文在摘要和引言中声称 NCPL "generalizes to runs using up to 10× more compute than any run in the training set",但图 5b 显示在最大外推尺度(N=1073M)上,NCPL 的最优超参数选择比 Step Law 差(相对损失 0.82%–2.40% vs 0.01%–0.28%)。作者在正文中承认了这一点("NCPL tends to suggest larger learning rates... especially for model-data pairs that are farther from the training distribution"),但摘要中的表述仍然过于乐观。 - 论文声称 NCPL "qualitatively learns nuanced interactions between hyperparameters",但只展示了一个例子(优化器 × 权重衰减)。没有系统验证其他交互(如学习率 × 批大小、学习率 × 权重衰减)是否被正确学习。 - 论文没有报告任何不确定性量化(如预测区间),而预训练损失预测的噪声可能很大(同一配置多次运行的损失差异)。 - 论文没有与更简单的基线比较,如"对每个优化器分别拟合一个幂律"或"高斯过程回归"。XGBoost 是唯一的非神经基线,但 XGBoost 在表格数据上通常很强,NCPL 在 Marin 数据集上仅略优于 XGBoost(ID MAE 0.0109 vs 0.0188,OOD 0.0168 vs 0.0325)。


四、开放问题

  1. 外推的理论保证:本文的残差学习假设"超参数效应跨尺度可迁移",但没有理论依据。什么条件下这个假设成立?能否用传输学习(transfer learning)或因果推断的框架(如"配置 → 损失"的结构方程模型)给出可检验的条件?扎根于:图 5b 中 N=1073M 的外推失败。

  2. 数据效率与主动学习:NCPL 需要约 3,000 条日志。能否用主动学习(active learning)设计实验,用最少的预训练运行获得最准确的 NCPL?扎根于:论文结论部分"we expect NCPL-style predictors to improve with the community's collective efforts to open-source pretraining experiments"——但没说需要多少数据、什么分布的数据最有效。

  3. 配置空间的覆盖:现有数据只覆盖了少数优化器(AdamW、Lion、Muon、Sophia、Kron 等)和有限的学习率/批大小范围。NCPL 对未见过的优化器(如新的自适应优化器)能否泛化?扎根于:论文承认"the diversity of the configurations in the pretraining logs are limited"。

  4. 从损失到下游任务性能:NCPL 预测的是预训练损失,但实际关心的是下游任务性能。损失与下游性能之间存在已知的"缩放定律不可靠"问题(如 [40])。能否把 NCPL 扩展到下游任务?扎根于:论文只讨论了预训练损失,没有涉及下游评估。

  5. 与超参数调优理论的联系:NCPL 本质上是一个代理模型(surrogate model)。它与贝叶斯优化中的高斯过程代理有何异同?能否用 NCPL 的梯度做端到端的超参数优化?扎根于:论文只做了网格搜索式的"预测最优",没有利用 NCPL 的可微性做梯度优化。

  6. 统计效率与偏差:NCPL 的训练数据来自不同来源(Marin、StepLaw),配置分布差异很大。这种"非独立同分布"数据对回归估计的影响是什么?能否用重要性加权或领域自适应改进?扎根于:论文用 source 字段作为输入特征,但没有讨论其统计含义。

提醒:要确认以上哪条是真正的 gap,建议去读近 2-3 年关于"缩放定律外推"的论文(如 [40, 66])以及"学习曲线预测"的论文(如 [59, 72])的引言部分——如果多个独立工作都指向同一个未解决问题,那大概率是真 gap;如果各说各话,则需要自己判断哪条线更值得投入。


Maintained by 陈星宇 · Homepage · Source

评论