跳转至

ReLU Neural Networks with Linear Layers Are Biased towards Single- and Multi-index Models

作者: Suzanna Parkinson, Greg Ongie, Rebecca Willett
来源: SIAM Journal on Mathematics of Data Science
主题: 统计计算 / 算法
相关性: 5/10
机构绿灯: University of Chicago(US News 前 50,免分进入精读)
链接: https://doi.org/10.1137/24m1672158


一、领域脉络与小综述

  • 这个方向是什么:本文属于"深度学习的归纳偏置(inductive bias)"这一子方向。其根本问题是:当神经网络处于过参数化(overparameterized)区间、能够完美拟合训练数据时,优化算法(如带权重衰减的梯度下降)会选择哪一个插值函数?这个选择由网络架构和正则化隐式决定,被称为"表示代价"(representation cost)。该方向试图用函数空间的语言(而非参数空间)来刻画这种隐式正则化,从而解释不同架构的泛化行为。当前成熟度:对两层(浅层)ReLU 网络的表示代价已有较完整的刻画(如变差范数、Barron 空间),但对深度大于两层、尤其是含线性层的网络,其函数空间偏置的显式刻画仍是开放问题。

  • 发展脉络(history):

    • 奠基工作:Bartlett (1997) [6] 提出"权重的大小比网络的规模更重要",奠定了用权重范数而非参数数量来度量网络复杂度的思路。这直接启发了后续用最小权重范数定义表示代价的做法。
    • 浅层网络的表示代价:Bach (2017) [5] 系统研究了无限宽两层网络的变差范数(variation norm),证明了其与函数空间的正则化性质。Savarese et al. (2020) [64] 和 Ongie et al. (2020) [53] 进一步给出了两层 ReLU 网络表示代价的显式函数空间刻画(分别处理单变量和多变量情形)。这些工作确立了"表示代价 = 最小权重平方和"这一分析框架。
    • 深度线性网络的隐式正则:Gunasekar et al. (2018) [30] 证明深度线性网络(所有层都是线性的)的表示代价等价于对虚拟单隐层权重矩阵施加 Schatten-q 拟范数惩罚,其中 q = 2/L(L 为层数)。Wang et al. (2022) [76] 将这一结论推广到更一般的深度线性网络结构。这条线索直接启发了本文对"线性层 + ReLU"混合架构的分析。
    • 当前 frontier:将深度线性网络的 Schatten 范数结论推广到含非线性激活的网络。Parhi & Nowak (2022) [56] 研究了含一个额外线性层的 ReLU 网络,但未给出显式的函数空间刻画。Jacot (2023, 2024) [35, 36] 从非线性秩(nonlinear rank)的角度研究了深度 ReLU 网络的表示代价,但结论在无限深度极限下成立。本文的位置:填补了"有限深度、线性层 + ReLU"这一具体架构的空白,给出了表示代价的显式上下界,并将其与单/多指标模型的函数类联系起来。
  • 子线索聚类:

    1. 表示代价的显式刻画:Bach [5], Savarese [64], Ongie [53], Parhi & Nowak [56], Unser [72]。这条线关注"给定架构,最小权重范数对应的函数空间范数是什么"。
    2. 深度线性网络的隐式正则:Gunasekar [30], Wang [76], Dai [16]。这条线关注"深度如何改变隐式正则的几何性质",核心工具是 Schatten 拟范数与矩阵分解。
    3. 单/多指标模型的学习理论:Bach [5], Bietti [9], Mousavi-Hosseini [46], Ardeshir [1], Xia [81], Li [41]。这条线关注"如何利用低维结构降低样本复杂度",其 minimax 率(如 n^{-2s/(2s+r)})为评估网络偏置的"好坏"提供了基准。
    4. EGOP 与特征学习:Radhakrishnan [59], Constantine [14, 15], Wu [80]。这条线用期望梯度外积刻画网络学到的特征方向,本文将其作为衡量"低维偏置"的实证工具。
  • 这个方向在追问的核心问题:

    1. 架构如何决定函数空间偏置? 即:给定网络深度、宽度、激活函数和正则化方式,表示代价对应的函数空间范数是什么?
    2. 偏置如何随深度变化? 本文的核心结论之一是:随着线性层数 L 增加,表示代价越来越"偏向"低秩结构(Schatten 拟范数的 q 指数趋近于 0)。
    3. 偏置与泛化的关系:低秩偏置是否意味着更好的泛化?本文的实证部分显示,在数据确实由低维模型生成时,线性层能提升泛化;但理论上并未给出泛化界的证明。
    4. 已知瓶颈:对深度非线性网络(多个 ReLU 层)的表示代价,目前没有显式刻画。本文的框架仅适用于"线性层 + 最后一层 ReLU"的结构。
  • ⚠️ 作者的 framing(这是作者的说法):作者将缺口 frame 成"深度线性层 + ReLU 的表示代价缺乏显式刻画,且这种刻画能解释线性层带来的泛化提升"。他们强调"添加线性层不改变网络容量,但改变表示代价",从而将深度的影响从容量中隔离出来。被淡化或回避的竞争路线:(a) 他们没有与"路径正则化"(path-norm)或"谱范数正则化"等其他隐式正则框架做系统对比;(b) 他们回避了优化动力学(如梯度下降的隐式偏置),只关注全局最小化问题;(c) 对深度 ReLU 网络(多个非线性层),他们明确承认框架不适用,仅引用 Jacot 的工作作为远景。值得去查的问题:为什么没有引用最近关于"神经切线核(NTK)"或"特征学习"的文献?这些工作也试图刻画过参数化网络的偏置,但视角完全不同——NTK 关注初始化附近的线性化动力学,而本文关注全局最小化下的函数空间范数。这两条路线的关系是什么?

  • 张力:未见明显对立引用。但存在一个微妙的张力:Bach [5] 和 Ardeshir [1] 表明,两层 ReLU 网络的表示代价(变差范数)在拟合某些单指标模型(如 parity 函数)时效率很低,而本文声称线性层能缓解这一问题。这暗示"表示代价偏置"与"特定函数类的可学习性"之间并非简单对应——低秩偏置并不自动意味着对所有低维函数都友好。

二、最核心、最简单的例子 / 数学问题

第一步:符号、模型、可观测数据

  • 符号:
  • \( x \in \mathbb{R}^d \):输入向量(随机变量,服从分布 \(\rho\))。
  • \( f: \mathbb{R}^d \to \mathbb{R} \):目标函数(真实数据生成函数)。
  • \( \hat{f} \):网络学习到的函数。
  • \( L \):网络总层数(含线性层和最后的 ReLU 层)。
  • \( W_1, \dots, W_{L-1} \):线性层的权重矩阵(参数,要估计的对象)。
  • \( a, b, c \):最后一层 ReLU 层的外层权重、偏置、全局偏置(参数)。
  • \( \theta = (W_1, \dots, W_{L-1}, a, b, c) \):全部参数。
  • \( C_L(\theta) \):权重衰减正则化项,定义为 \( \frac{1}{L}(\|a\|_2^2 + \sum_{\ell=1}^{L-1} \|W_\ell\|_F^2) \)。
  • \( R_L(f) \):函数 \( f \) 的 L 层表示代价,即 \( \inf_{\theta: f = h_\theta^{(L)}} C_L(\theta) \)。
  • \( C_f = \mathbb{E}_X[\nabla f(X)\nabla f(X)^\top] \):期望梯度外积(EGOP)矩阵,\( d \times d \) 半正定矩阵。
  • \( \sigma_k(f) = \sigma_k(C_f^{1/2}) \):函数 \( f \) 的第 \( k \) 个奇异值。
  • \( \text{rank}_I(f) \):函数 \( f \) 的指标秩(index rank),即 \( C_f \) 的秩。
  • \( \text{MV}(f, q) = \|C_f^{1/2}\|_{S_q} \):函数 \( f \) 的 q 阶混合变差(mixed variation),即 EGOP 平方根的 Schatten-q 拟范数。
  • \( I_s(D) \):数据 \( D \) 的 s 阶插值代价,即用指标秩至多 \( s \) 的函数插值数据所需的最小 \( R_2 \) 代价。

  • 模型:考虑如下架构族:\( h_\theta^{(L)}(x) = a^\top [W_{L-1} \cdots W_1 x + b]_+ + c \)。即:\( L-1 \) 个线性层(无偏置,或偏置可并入下一层),最后接一个单隐层 ReLU 网络(宽度可无限)。关键点:这个架构的容量(可表示的函数集合)与两层 ReLU 网络 \( h_\theta^{(2)}(x) = a^\top [W x + b]_+ + c \) 完全一致(因为线性层的复合仍是线性变换),但表示代价不同。数据生成机制:\( y_i = f^*(x_i) + \varepsilon_i \),其中 \( f^* \) 是未知的指标秩为 \( r \) 的函数,\( \varepsilon_i \) 是噪声。可观测数据:\(\{(x_i, y_i)\}_{i=1}^n\)。

  • 可观测 vs 不可观测:研究者可以观测到输入 \( x_i \) 和带噪输出 \( y_i \),但无法观测到真实函数 \( f^* \) 的指标秩 \( r \)、其低维子空间 \( V \),以及噪声的分布。EGOP 矩阵 \( C_f \) 是定义在函数 \( f \) 上的理论量,只能通过样本梯度外积(AGOP)来估计。关键识别假设:本文的理论结果(定理 4.1, 4.6)是关于表示代价 \( R_L(f) \) 的,它不依赖于数据生成过程,只依赖于函数 \( f \) 本身。因此,理论部分不需要 ignorability 或 SUTVA 之类的因果假设;但实证部分隐含假设数据确实由低指标秩函数生成,且优化器能找到全局最小化解。

第二步:最小内核

剥掉所有技术细节后,本文的核心数学命题可以归结为以下最小内核:

命题(最小内核):考虑一个函数 \( f: \mathbb{R}^d \to \mathbb{R} \),它可以被一个两层 ReLU 网络表示。设 \( R_L(f) \) 为用 \( L-1 \) 个线性层 + 1 个 ReLU 层表示 \( f \) 的最小权重平方和。那么,当 \( L \) 增大时,\( R_L(f) \) 越来越"像"一个只依赖于 \( f \) 的低秩结构的量,而不是依赖于 \( f \) 的整体复杂度的量。

为什么这个命题是核心? 因为它揭示了"深度"(线性层数)的作用:线性层不改变网络能表示的函数集合,但改变了"哪个函数更便宜"(即表示代价更低)。当 \( L \) 很大时,表示代价 \( R_L(f) \) 近似等于 \( \text{rank}_I(f) \)(指标秩),即 EGOP 矩阵的秩。这意味着: - 如果 \( f \) 是单指标模型(\( f(x) = g(v^\top x) \)),则 \( \text{rank}_I(f) = 1 \),\( R_L(f) \) 很小。 - 如果 \( f \) 是 \( r \) 指标模型,则 \( \text{rank}_I(f) = r \),\( R_L(f) \) 随 \( r \) 增长但远小于其 \( R_2 \) 代价(变差范数)。

最简例子(d=2, L=3): - 设 \( f(x_1, x_2) = [x_1 + x_2]_+ \)。这是一个秩-1 函数(单指标模型,指标方向 \( v = (1,1)/\sqrt{2} \))。 - 两层表示(L=2):\( f(x) = [w^\top x + b]_+ \),其中 \( w = (1,1), b=0 \)。此时 \( R_2(f) = \|a\|_2 \|w\|_2 = 1 \times \sqrt{2} = \sqrt{2} \)(归一化后)。 - 三层表示(L=3):\( f(x) = [w_2^\top [w_1 x + b_1]_+ + b_2]_+ \)。可以取 \( w_1 = (1,1)^\top, b_1 = 0, w_2 = 1, b_2 = 0 \)。此时 \( C_3(\theta) = \frac{1}{3}(\|a\|_2^2 + \|w_1\|_F^2 + \|w_2\|_F^2) = \frac{1}{3}(1 + 2 + 1) = 4/3 \)。 - 比较:\( R_3(f) \le 4/3 < R_2(f) = \sqrt{2} \approx 1.414 \)。结论:添加一个线性层,使得表示同一个函数的代价降低了。 - 更一般地,如果 \( f \) 是秩-\( r \) 函数,则 \( R_L(f) \le r^{(L-2)/L} R_2(f)^{2/L} \),当 \( L \to \infty \) 时,\( R_L(f) \to r \)。这就是定理 4.1 的核心内容。

这个例子的意义:它展示了"线性层 + ReLU"的架构偏置——在权重衰减下,优化器更倾向于选择低指标秩的函数,即使训练数据可以被更高秩的函数完美插值。这正是本文标题中"biased towards single- and multi-index models"的含义。

三、这篇论文做了什么

三句话: 1. 研究了什么问题:深度大于 2 的 ReLU 网络(含 \( L-1 \) 个线性层)在权重衰减正则化下的表示代价 \( R_L(f) \) 如何刻画,以及这种刻画如何解释线性层带来的低维偏置和泛化提升。 2. 核心工具/方法:将 \( R_L(f) \) 转化为对虚拟权重矩阵 \( M = D_a W \) 的 Schatten 拟范数极小化问题,并利用 Schatten 拟范数的变分刻画和矩阵不等式建立 \( R_L(f) \) 与指标秩、混合变差之间的上下界。 3. 主要结论:\( R_L(f) \) 被 \( R_2(f) \)(两层代价)和指标秩 \( \text{rank}_I(f) \) 夹住;当 \( L \to \infty \) 时,\( R_L(f) \to \text{rank}_I(f) \)。因此,最小化 \( R_L \) 代价的插值函数必然具有低有效指标秩,且该秩随 \( L \) 增大而减小(定理 4.6)。

关键设定与假设: - 架构:\( h_\theta^{(L)}(x) = a^\top [W_{L-1} \cdots W_1 x + b]_+ + c \),宽度无限,允许任意大的 \( K \)。 - 正则化:权重衰减 \( C_L(\theta) = \frac{1}{L}(\|a\|_2^2 + \sum_{\ell=1}^{L-1} \|W_\ell\|_F^2) \)。关键假设:偏置项不参与正则化(简化分析,且与常见实现一致)。 - 定义:指标秩 \( \text{rank}_I(f) = \text{rank}(C_f) \),混合变差 \( \text{MV}(f, q) = \|C_f^{1/2}\|_{S_q} \)。假设:\( \rho \) 在 \( X \) 上严格正,保证 EGOP 良定义。 - 相比已有工作的变化:相比 Gunasekar et al. [30] 的纯线性网络,本文引入了非线性(ReLU),但限制非线性只出现在最后一层。相比 Parhi & Nowak [56],本文给出了更紧的界,并明确将指标秩与插值代价联系起来。

主要结果: - 定理 4.1:对任意 \( f \in N_2(X) \),有

\[\max\left\{ \text{MV}\left(f, \frac{2}{L}\right)^{2/L}, R_2(f)^{2/L} \right\} \le R_L(f) \le \text{rank}_I(f)^{(L-2)/L} R_2(f)^{2/L}.\]
直觉:下界说 \( R_L \) 至少和两层代价的 \( 2/L \) 次方一样大;上界说 \( R_L \) 被指标秩的 \( (L-2)/L \) 次方放大。当 \( L \to \infty \),上下界都趋于 \( \text{rank}_I(f) \)。 - 定理 4.6:对任意 \( \varepsilon > 0 \),最小 \( R_L \) 代价插值函数的 \( \varepsilon \)-有效指标秩 \( \le \min_s \lfloor s (I_s(D)/(\varepsilon s))^{L/2} \rfloor \)。直觉:随着 \( L \) 增大,插值函数的有效秩被压缩到接近数据的最小插值秩 \( s \)。 - 推论 4.7:若数据由秩 \( r \) 函数生成,则对足够大的 \( L \),最小 \( R_L \) 代价插值函数的有效秩 \( \le r \)。

证明路线与技术技巧: 1. 第一步(引理 2.1):利用 Schatten 拟范数的变分刻画(等式 12),将 \( R_L(f) \) 转化为对 \( M = D_a W \) 的 Schatten-\( 2/(L-1) \) 拟范数极小化。技巧:矩阵分解 \( W = W_1 \cdots W_{L-1} \) 的 Frobenius 范数极小化等价于 Schatten 拟范数。 2. 第二步(引理 B.2):证明可以限制在满足 \( \text{rank}(D_a W) = \text{rank}_I(f) \) 的参数化上。技巧:利用引理 B.1(若梯度在某方向为零,则函数在该方向恒定)和投影矩阵的性质。 3. 第三步(定理 4.1 证明):下界通过 \( \|C_f^{1/2}\|_{S_q} \le \|D_a W\|_{S_q} \)(因为 \( C_f = (D_a W)^\top \mathbb{E}[H] D_a W \) 且 \( \mathbb{E}[H] \preceq I \));上界通过构造一个具体的参数化(取 \( W \) 为 \( C_f \) 的特征向量矩阵)并计算其代价。 4. 第四步(定理 4.6 证明):利用引理 B.4(奇异值衰减界),将 \( R_L \) 代价与插值代价 \( I_s(D) \) 联系起来。技巧:对奇异值进行阈值截断,并利用 Schatten 拟范数的单调性。

真实例子与应用: - 合成数据实验:数据由 \( f(x) = a^\top [U \Sigma V^\top x + b]_+ \) 生成,其中 \( U, V \) 是随机正交矩阵,\( \Sigma \) 是秩 \( r \) 对角矩阵。训练网络(L=2,3,5,9)并测量:(1) 测试 MSE;(2) 学习函数的 EGOP 奇异值谱;(3) 与真实子空间 \( V \) 的对齐角度。结果(图 5-8)显示:L 越大,EGOP 奇异值衰减越快,有效秩越接近真实 \( r \),且与真实子空间的对齐越好。关键对比:L=2 的网络(无线性层)在样本量小时过拟合严重,而 L=9 的网络泛化更好。 - 实验想说明什么:验证理论预测——线性层确实诱导低秩偏置,且这种偏置在数据具有低维结构时转化为泛化优势。注意:实验仅覆盖了 \( d=20, r \in \{1,2,5\} \) 的简单设置,且没有与真实数据集对比。

🔎 结论是否比证明窄: - 是。定理 4.1 和 4.6 的证明依赖于两个关键假设:(i) 网络宽度无限(允许任意大的 \( K \));(ii) 优化器能找到全局最优(即 \( R_L(f) \) 定义中的 infimum 可达)。但作者在摘要和引言中声称"线性层提升泛化"(第 2 页),这并未被定理直接证明——定理只说明了表示代价的偏置,没有给出泛化误差界。作者在讨论部分(第 6 节)承认"我们不提供泛化保证",但这一限制在摘要中未被明确提及。 - 另一个窄化:定理 4.6 的界依赖于 \( I_s(D) \),即数据的最小插值代价,但作者没有给出 \( I_s(D) \) 的可计算上界。因此,该定理是存在性的,而非构造性的。 - 值得注意:作者在附录 H.2 中报告,深度 ReLU 网络(多个非线性层)不表现出低秩偏置,这与本文的线性层结果形成对比。这一负面结果在正文中被一笔带过,但实际上是重要的边界条件——本文的结论不能推广到一般深度网络。

四、开放问题

  1. 泛化界的缺失:本文只刻画了表示代价的偏置,没有证明这种偏置转化为泛化误差的界。具体而言,能否证明最小化 \( R_L \) 代价的插值函数在指标秩为 \( r \) 的假设下达到 \( O(n^{-2s/(2s+r)}) \) 的 minimax 率(对比 Bach [5] 对两层网络的结果)?扎根于第 6 节:"We do not provide generalization bounds"。
  2. 有限宽度的刻画:定理 4.1 假设宽度无限。对有限宽度 \( K \),表示代价的刻画会如何变化?是否存在宽度-深度权衡?扎根于第 2 节定义 \( N_2(X) \) 时允许 \( K \) 无界。
  3. 优化动力学的隐式偏置:本文分析的是全局最小化问题(表示代价),但实际训练中 SGD/Adam 的隐式偏置可能与权重衰减不同。能否证明梯度下降路径收敛到低秩解(对比 Pesme et al. [57] 对线性网络的结果)?扎根于第 6 节:"We do not analyze the dynamics of specific optimization algorithms"。
  4. 多非线性层的推广:附录 H.2 显示深度 ReLU 网络不偏好低秩,这与本文的线性层结果形成张力。能否刻画"线性层 + 非线性层"交替架构的表示代价?扎根于第 6 节:"Our analysis framework does not extend easily to deep networks with multiple nonlinear layers"。
  5. 与因果推断的连接:单指标/多指标模型在因果推断中对应"充分降维"(sufficient dimension reduction)假设。本文的表示代价刻画是否能为高维因果推断中的模型选择提供新工具(例如,在存在未观测混杂时选择低维充分统计量)?这是研究者可以探索的交叉方向,但本文未提及。

提示:要确认第 1 条是否是真 gap,建议去读 Bach (2017) [5] 和 Ardeshir et al. (2023) [1] 的近期引用——如果 2024-2025 年的工作已经给出了线性层网络的泛化界,则该 gap 已部分填补;如果这些工作仍只处理两层网络,则第 1 条是值得投入的问题。


Maintained by 陈星宇 · Homepage · Source on GitHub

评论