跳转至

Convergence Rates for Softmax Gating Mixture of Experts

作者: Huy Nguyen, Nhat Ho, Alessandro Rinaldo
主题: 非参数 / 半参数
相关性: 6/10
链接: https://doi.org/10.1109/tit.2025.3647061


一、领域脉络与小综述

这个方向是什么

本文属于非参数/半参数混合回归模型的可辨识性与估计速率理论。其根本的统计问题是:当我们用一个"门控加权"的多个专家模型(Mixture of Experts, MoE)去拟合回归函数时,参数估计(尤其是专家函数的参数)能以多快的速率收敛到真值?这个速率取决于什么结构条件?这个问题之所以重要,是因为 MoE 模型(尤其是 softmax 门控版本)是现代大规模 Transformer 架构(如 Mixture-of-Experts LLM)的核心组件,理解其统计可辨识性直接关系到"需要多少数据才能学到某个专家"这一基本问题。该子方向目前处于活跃发展阶段:基础的可辨识性结果已建立,但针对不同门控结构(softmax、稀疏、层级)和不同专家结构(线性、神经网络)的精细速率刻画仍在快速推进。

发展脉络

  • 奠基工作:混合模型的经典可辨识性。该方向根植于混合模型(mixture models)的经典理论,如 Lindsay [25] 的专著系统建立了有限混合模型的可辨识性与几何结构。这些工作确立了"混合模型参数可辨识性依赖于分量密度函数的线性无关性"这一核心思想,为后续 MoE 分析提供了几何框架。
  • 主要进展:从高斯混合到 softmax 门控 MoE。Ho et al. [16] 率先在高斯混合专家(Gaussian MoE)框架下揭示了门控参数与专家参数之间的内在交互——这种交互以偏微分方程(PDE)的语言刻画,导致参数估计速率显著下降。这是本文的直接理论前驱。随后,Nguyen et al. [35] 将这一分析推广到确定性 softmax 门控 MoE 的回归框架,提出了"强可辨识性"(strong identifiability)条件,并证明满足该条件的专家(如带 GELU/sigmoid 激活的两层前馈网络)可获得多项式速率的参数估计。这一工作为本文提供了核心概念工具(强可辨识性)和基准结果。
  • 当前 frontier:门控变体与结构-速率关系。当前的前沿问题是:不同的门控结构(softmax、dense-to-sparse、hierarchical)如何影响专家估计的样本复杂度?是否存在"通用"的速率刻画框架?本文正是这一前沿的推进者——它系统比较了三种门控结构下的速率,并首次揭示了 dense-to-sparse 门控中温度参数与门控参数的 PDE 交互(方程 15)是导致速率退化的普适机制,与专家结构无关。
  • 本文的位置:本文是上述脉络的系统性扩展。它统一处理了三种门控结构(标准 softmax、dense-to-sparse、hierarchical),并给出了一个清晰的结论:强可辨识专家(如两层 FFN)在标准 softmax 和 hierarchical 门控下只需多项式样本,但在 dense-to-sparse 门控(线性 router)下需要指数样本;而线性专家在所有门控下都需要指数样本。这一结论将 [34] 的强可辨识性框架从单一门控推广到多种门控,并揭示了门控结构本身对速率的决定性影响。

子线索聚类

  1. 可辨识性理论:以 [25] 为代表,研究混合模型参数可辨识的充分条件。核心工具是线性无关性、Wronskian 分析等。本文的强可辨识性条件(定义 1)和代数无关性条件(定义 2)属于这一线索的现代发展。
  2. MoE 参数估计速率:以 [16, 35] 为代表,直接研究 softmax 门控 MoE 下参数估计的收敛速率。核心发现是门控-专家参数交互(PDE)导致速率退化。本文是这一线索的直接继承者。
  3. MoE 逼近论与架构设计:以 [18, 42, 9] 等应用/架构工作为代表,关注 MoE 的逼近能力、稀疏激活的计算效率等。这一线索与本文的理论分析相对独立,但本文的结论(如线性专家需要指数样本)对架构设计有潜在的反向启示。

这个方向在追问的核心问题

  1. 可辨识性如何决定速率? 强可辨识性(定义 1)如何具体地转化为参数估计的多项式速率?其背后的机制(消除 PDE 交互)是什么?
  2. 门控结构如何影响速率? 不同的门控(softmax vs. dense-to-sparse vs. hierarchical)对专家估计的样本复杂度有何本质影响?是否存在"最优"门控结构?
  3. 速率下界的普适性:指数下界(线性专家)是否对所有门控结构都成立?能否找到比线性专家更"差"或更"好"的专家结构?

⚠️ 作者的 framing

这是作者的说法:作者将本文的核心贡献 frame 为"首次系统刻画了 softmax 门控及其变体(dense-to-sparse、hierarchical)下专家估计的收敛速率,并揭示了门控结构对样本复杂度的决定性影响"。具体而言,作者声称: 1. 强可辨识性条件(定义 1)是获得多项式速率的充分且几乎必要的条件; 2. dense-to-sparse 门控中温度参数与门控参数的 PDE 交互(方程 15)是普适的速率杀手,无论专家结构如何; 3. 通过将线性 router 推广为一般 router 并施加代数无关性条件(定义 2),可以恢复多项式速率。

作者淡化的竞争路线:作者将 [16, 35] 的 PDE 交互分析作为自己的基础,但没有讨论以下可能性:(a) 是否存在非 PDE 机制导致速率退化?(b) 分层门控(hierarchical)是否可以通过更精细的结构设计(如共享参数)来规避指数下界?(c) 本文的下界是否依赖于高斯噪声假设,对重尾噪声是否依然成立?这些是值得研究者去查证的问题。

张力

未见明显对立引用。本文引用的理论工作([16, 35, 34])在结论上是一致的:PDE 交互导致速率退化,强可辨识性可以消除这种退化。本文是这一共识的扩展而非挑战。不过,一个潜在的张力在于:本文的"强可辨识性"条件(定义 1)与 [35] 中的定义是否完全等价? 如果不等价,那么本文的"扩展"可能实际上是一个不同的条件,其适用范围需要重新审视。这需要对照两篇论文的定义细节。


二、最核心、最简单的例子 / 数学问题

第一步:符号、模型、可观测数据

在展开技术细节之前,先把记号立清楚。本文的核心是回归框架下的 softmax 门控 MoE。

  • 可观测数据:独立同分布样本 \((X_i, Y_i)_{i=1}^n\),其中 \(X_i \in \mathcal{X} \subseteq \mathbb{R}^d\) 是输入(协变量),\(Y_i \in \mathbb{R}\) 是输出(响应)。输入 \(X_i\) 服从某个概率分布 \(\mu\)(通常假设有界支撑)。噪声 \(\varepsilon_i = Y_i - f_{G^*}(X_i)\) 是均值为零、方差为 \(\nu\) 的高斯噪声(条件于 \(X_i\))。
  • 模型(回归函数):真实回归函数 \(f_{G^*}(x)\) 是一个 \(k^*\) 个专家的 softmax 门控 MoE:
    \[f_{G^*}(x) = \sum_{i=1}^{k^*} \text{Softmax}((\omega_i^*)^\top x + \beta_i^*) \cdot E(x, \eta_i^*),\]
    其中:
  • 门控参数:\((\omega_i^*, \beta_i^*) \in \mathbb{R}^d \times \mathbb{R}\),控制第 \(i\) 个专家在输入 \(x\) 处的权重。Softmax 函数定义为 \(\text{Softmax}(z_i) = e^{z_i} / \sum_j e^{z_j}\)。
  • 专家参数:\(\eta_i^* \in \mathbb{R}^q\),控制第 \(i\) 个专家的"形状"。
  • 专家函数:\(E(x, \eta)\) 是已知形式的基函数,例如线性函数 \(E(x, (a,b)) = a^\top x + b\),或两层神经网络 \(E(x, (a,b,c)) = c \cdot \sigma(a^\top x + b)\)(\(\sigma\) 为 GELU/sigmoid 等激活函数)。
  • 参数 / 估计目标:
  • 混合测度(mixing measure):\(G := \sum_{i=1}^{k'} \exp(\beta_i) \delta_{(\omega_i, \eta_i)}\),其中 \(k' \le k\) 是估计中使用的专家数(允许过指定,即 \(k' > k^*\))。\(\delta\) 是狄拉克测度。\(G\) 是本文的核心估计对象。
  • 参数空间:\(G_k(\Theta)\) 表示所有不超过 \(k\) 个原子的混合测度集合,每个原子 \((\omega, \eta)\) 属于紧集 \(\Theta \subseteq \mathbb{R}^d \times \mathbb{R}^q\)。
  • 估计量:\(\widehat{G}_n\) 是最小二乘估计量(least squares estimator),即
    \[\widehat{G}_n := \arg\min_{G \in G_k(\Theta)} \sum_{i=1}^n \left( Y_i - f_G(X_i) \right)^2.\]
  • 损失函数(用于度量估计误差):本文使用混合测度之间的 Wasserstein 距离(记为 \(\mathcal{W}_2\))来度量 \(\widehat{G}_n\) 与 \(G^*\) 的差距。直观上,\(\mathcal{W}_2\) 衡量的是"把估计的原子搬到真实原子位置所需的最小代价"。
  • 关键概念:强可辨识性(Strong Identifiability)(定义 1):
  • 直观地说,一个专家函数 \(E(x, \eta)\) 是强可辨识的,如果它本身以及它关于 \(\eta\) 的一阶、二阶偏导数(作为 \(x\) 的函数)是"足够独立"的,不会产生非平凡的线性关系。
  • 数学上,它要求一组特定的函数集合(包括 \(E\)、\(\partial E/\partial \eta\)、\(x \cdot E\)、\(x \cdot \partial E/\partial \eta\)、\(\partial^2 E/\partial \eta^2\) 等)是线性无关的。
  • 作用:这个条件保证了在泰勒展开回归函数差异时,不同参数方向的误差项可以被区分开,从而不会出现"多个参数组合产生相同函数"的病态情况。

第二步:最小内核

现在,剥掉所有技术外壳,看本文的核心数学问题。最小内核可以概括为:

对于一个 softmax 门控 MoE 回归模型,参数估计的收敛速率由"门控参数与专家参数之间的 PDE 交互"决定。如果这种交互存在(如线性专家),速率会慢于任何多项式;如果不存在(如强可辨识专家),速率是多项式的。

最简例子:\(d=1\),\(k^*=1\),线性专家。

考虑最简单的情形:输入 \(x \in \mathbb{R}\),只有一个专家(\(k^*=1\)),专家函数是线性的 \(E(x, (a,b)) = ax + b\)。此时 softmax 门控退化为常数 1(因为只有一个专家),模型简化为:

\[f_{G^*}(x) = a^* x + b^*.\]
这是一个标准的线性回归。此时,参数 \((a^*, b^*)\) 的估计速率是 \(O_p(n^{-1/2})\),这是参数估计的经典最优速率。这里没有门控,所以没有门控-专家交互,速率是多项式的。

加入门控:\(d=1\),\(k^*=2\),线性专家。

现在考虑两个专家(\(k^*=2\)),专家函数仍是线性的 \(E(x, (a_i, b_i)) = a_i x + b_i\)。模型为:

\[f_{G^*}(x) = \text{Softmax}(\omega_1^* x + \beta_1^*) \cdot (a_1^* x + b_1^*) + \text{Softmax}(\omega_2^* x + \beta_2^*) \cdot (a_2^* x + b_2^*).\]
这里,门控参数 \((\omega_i^*, \beta_i^*)\) 和专家参数 \((a_i^*, b_i^*)\) 同时出现。关键问题来了:是否存在两组不同的参数 \((G \neq G^*)\),使得 \(f_G(x) = f_{G^*}(x)\) 对所有 \(x\) 都成立?如果存在,那么这两组参数在函数层面是不可区分的,估计问题就是病态的。

PDE 交互的直观来源:考虑对 \(f_G(x)\) 在 \(G^*\) 处做泰勒展开。由于 softmax 门控和线性专家的乘积结构,展开式中会出现形如 \(\partial^2 F / \partial \omega \partial b\) 的交叉项(其中 \(F(x; \omega, \eta) = e^{\omega x} E(x, \eta)\))。对于线性专家,可以验证:

\[\frac{\partial^2 F}{\partial \omega \partial b}(x; \omega^*, a^*, b^*) = x e^{\omega^* x} \quad \text{与} \quad \frac{\partial F}{\partial a}(x; \omega^*, a^*, b^*) = e^{\omega^* x}\]
之间存在线性关系(乘以 \(x\))。这意味着在泰勒展开中,某些参数方向的误差项会"混叠"在一起,无法被 \(L_2\) 范数区分。这种混叠就是 PDE 交互,它导致参数估计速率从 \(n^{-1/2}\) 退化到 \(n^{-1/(2r)}\)(对任意 \(r \geq 1\)),即慢于任何多项式速率。

强可辨识性如何起作用:如果专家函数是两层 FFN(如 \(E(x, (a,b,c)) = c \cdot \sigma(ax + b)\),\(\sigma\) 为 GELU),那么上述 PDE 交互不再存在——因为 \(\partial^2 F / \partial \omega \partial b\) 与 \(\partial F / \partial a\) 等函数是线性无关的。此时,泰勒展开的各项可以被干净地分离,参数估计速率恢复到多项式 \(n^{-1/2}\)(精确指定时)或 \(n^{-1/4}\)(过指定时)。

这个最小内核揭示了本文的核心机制:门控与专家的参数交互(以 PDE 语言刻画)是速率退化的根源,而强可辨识性(或代数无关性)是消除这种交互、恢复多项式速率的充分条件。 本文的所有定理(Theorem 1-6)都是这个内核在不同门控结构(标准、dense-to-sparse、hierarchical)和不同专家结构(强可辨识、线性)下的具体展开。


三、这篇论文做了什么

三句话

  1. 研究了什么问题:在 softmax 门控 MoE 及其变体(dense-to-sparse、hierarchical)下,参数估计和专家函数估计的收敛速率如何依赖于专家结构和门控结构。
  2. 核心工具/方法:利用强可辨识性条件(定义 1)和代数无关性条件(定义 2)来刻画专家结构;利用Voronoi 损失函数(方程 6、10、16、18、25)来度量参数估计误差;通过泰勒展开 + 线性无关性分析建立 \(L_2\) 范数下界与参数误差下界之间的联系;最后通过最小二乘估计量的标准上界技术(经验过程理论、 bracketing entropy)得到速率。
  3. 主要结论:强可辨识专家(如两层 FFN)在标准 softmax 门控和 hierarchical 门控下达到 \(O_p(n^{-1/2})\)(精确指定)或 \(O_p(n^{-1/4})\)(过指定)的速率;线性专家在所有门控下速率慢于任何多项式(\(O_p(n^{-1/(2r)})\) 对任意 \(r \geq 1\));dense-to-sparse 门控(线性 router)中温度参数与门控参数的 PDE 交互(方程 15)导致速率退化,但通过推广为一般 router 并施加代数无关性条件可以恢复多项式速率。

关键设定与假设

  • 设定:回归框架 \(Y_i = f_{G^*}(X_i) + \varepsilon_i\),\(\varepsilon_i | X_i \sim N(0, \nu)\)。输入 \(X_i\) 独立同分布自某个概率分布 \(\mu\)(有界支撑)。真实回归函数 \(f_{G^*}\) 是 \(k^*\) 个专家的 softmax 门控 MoE。
  • 假设 (A.1)-(A.4):
  • (A.1) 参数空间 \(\Theta\) 是紧集,维度固定。
  • (A.2) 真实专家参数 \(\eta_1^*, \ldots, \eta_{k^*}^*\) 互不相同;专家函数 \(E(x, \eta)\) 关于 \(\eta\) 有界且 Lipschitz 连续。
  • (A.3) 最后一个门控参数为零:\(\beta_{k^*}^* = 0\),\(\omega_{k^*}^* = 0_d\)(消除 softmax 的平移不变性)。
  • (A.4) 至少一个门控参数非零(保证门控是输入依赖的)。
  • 相比已有工作的变化:
  • 放宽:本文的强可辨识性条件(定义 1)比 [35] 中的条件更一般,允许更广泛的专家函数类(如两层 FFN)。
  • 强化:本文首次将分析扩展到 dense-to-sparse 门控和 hierarchical 门控,这是 [16, 35] 未涉及的。
  • 新增:本文引入了代数无关性条件(定义 2)来刻画一般 router 与专家函数的交互,这是全新的概念工具。

主要结果

  • Theorem 1(标准 softmax 门控,强可辨识专家):若专家函数满足强可辨识性条件,则最小二乘估计量 \(\widehat{G}_n\) 满足
    \[\mathcal{W}_2(\widehat{G}_n, G^*) = O_p\left(\left(\frac{\log n}{n}\right)^{1/4}\right).\]
    这对应于参数估计速率:精确指定参数(\(k' = k^*\))时,参数误差为 \(O_p(n^{-1/2})\);过指定参数(\(k' > k^*\))时,过指定参数误差为 \(O_p(n^{-1/4})\)。
  • Theorem 2(标准 softmax 门控,线性专家):若专家函数为线性 \(E(x, (a,b)) = a^\top x + b\),则对任意 \(r \geq 1\),
    \[\inf_{\widehat{G}_n} \sup_{G \in G_k(\Theta) \setminus G_{k^*-1}(\Theta)} \mathbb{E}_{f_G}[\mathcal{W}_{2,r}(\widehat{G}_n, G)] \gtrsim n^{-1/2}.\]
    这意味着线性专家的参数估计速率慢于任何多项式速率(即 \(O_p(n^{-1/(2r)})\) 对任意 \(r \geq 1\)),需要指数级样本才能达到固定精度。
  • Theorem 3(dense-to-sparse 门控,线性 router):对于 dense-to-sparse 门控(方程 12),无论专家结构如何,温度参数 \(\tau\) 与门控参数 \(\omega\) 之间存在 PDE 交互(方程 15),导致参数估计速率慢于任何多项式速率。
  • Theorem 4(dense-to-sparse 门控,一般 router):若将线性 router 推广为一般 router \(\pi(x, \omega)\),并施加代数无关性条件(定义 2),则强可辨识专家的参数估计速率恢复到 \(O_p(n^{-1/2})\)(精确指定)或 \(O_p(n^{-1/4})\)(过指定)。
  • Theorem 5(hierarchical 门控,强可辨识专家):对于两层 hierarchical softmax 门控(方程 20),强可辨识专家的参数估计速率仍为 \(O_p(n^{-1/2})\)(精确指定)或 \(O_p(n^{-1/4})\)(过指定)。
  • Theorem 6(hierarchical 门控,线性专家):线性专家在 hierarchical 门控下速率仍慢于任何多项式速率。

证明路线与技术技巧

整体路线(以 Theorem 1 为例):

  1. 建立 \(L_2\) 范数下界与参数误差的联系:通过泰勒展开将 \(\|f_G - f_{G^*}\|_{L_2(\mu)}\) 分解为参数误差的线性组合。强可辨识性条件保证这些线性组合的系数矩阵是"良态"的,从而 \(\|f_G - f_{G^*}\|_{L_2(\mu)} \gtrsim \mathcal{W}_2(G, G^*)\)。
  2. 利用最小二乘估计量的基本不等式:由 \(\widehat{G}_n\) 的定义,有 \(\|f_{\widehat{G}_n} - f_{G^*}\|_{L_2(\mu)}^2 \lesssim \sup_{G \in G_k(\Theta)} |\mathbb{P}_n(f_G - f_{G^*})^2 - P(f_G - f_{G^*})^2|\),其中 \(\mathbb{P}_n\) 是经验测度,\(P\) 是真实分布。
  3. 控制经验过程:利用 bracketing entropy 的界(方程 81)和 van der Vaart-Wellner 的极大不等式,得到
    \[\sup_{G \in G_k(\Theta)} |\mathbb{P}_n(f_G - f_{G^*})^2 - P(f_G - f_{G^*})^2| = O_p\left(\sqrt{\frac{\log n}{n}}\right).\]
  4. 结合上下界:将步骤 1 和步骤 3 结合,得到 \(\mathcal{W}_2(\widehat{G}_n, G^*) = O_p((\log n/n)^{1/4})\)。

关键跳跃点:

  • 强可辨识性条件的构造(定义 1):这是整个证明的基石。它要求一组特定的函数集合线性无关,这保证了泰勒展开中不同参数方向的误差项可以被区分。这个条件的验证(例如对两层 FFN)是技术性最强的部分,需要仔细分析激活函数的性质。
  • PDE 交互的识别(方程 9、15、28):这是本文的核心洞察。通过计算 \(F(x; \omega, \eta) = e^{\omega^\top x} E(x, \eta)\) 的偏导数,发现线性专家会导致 \(\partial^2 F / \partial \omega \partial b = \partial F / \partial a\) 这样的恒等式,从而产生参数混叠。这个 PDE 是速率退化的直接原因。
  • Voronoi 损失函数的设计(方程 6、10、16、18、25):不同于传统的参数范数损失,Voronoi 损失能够自适应地处理"过指定"(\(k' > k^*\))的情况,将多余的原子分配到最近的 Voronoi 单元中,从而避免了对"哪些参数是多余的"的显式判断。

技术技巧点名:

  • 泰勒展开 + 线性无关性分析:用于建立 \(L_2\) 范数与参数误差的联系。
  • 经验过程理论(bracketing entropy):用于控制最小二乘估计量的随机波动,参考 van der Vaart & Wellner [44]。
  • Fatou 引理:用于从逐点收敛推导 \(L_1\) 范数下的极限,是证明局部下界的关键步骤。
  • Le Cam 引理:用于将 \(L_2\) 范数下界转化为 minimax 下界(Theorem 2、3、6)。
  • 构造性反例:通过构造特定的参数序列 \((G_n)\) 证明速率下界(方程 48、77)。

真实例子与应用

本文为纯理论论文,无真实数据实验。但作者在 Section 5(Discussion)中给出了两个重要的实际启示: 1. 专家设计:使用两层 FFN(GELU/sigmoid 激活)作为专家比线性专家更"样本高效",因为前者满足强可辨识性条件,后者不满足。 2. 门控设计:在 dense-to-sparse 门控中,应避免使用线性 router,而应使用与专家函数代数无关的一般 router(如多层感知机),以消除 PDE 交互、恢复多项式速率。

🔎 结论是否比证明窄

是的,存在结论比证明宽的情况,具体如下:

  1. Theorem 1 的"强可辨识性"条件:作者在定义 1 中给出了强可辨识性的数学定义,但在正文中仅验证了两层 FFN(GELU/sigmoid)满足该条件。作者在 Section 5 中声称"强可辨识性条件涵盖了实践中使用的绝大多数专家结构",但没有给出一个通用的验证方法,也没有讨论哪些常见的激活函数(如 ReLU)是否满足该条件。这是一个值得研究者去查证的点。

  2. Theorem 3 的"普适性"声明:作者在 Section 3.1 中声称 dense-to-sparse 门控中温度参数与门控参数的 PDE 交互(方程 15)"无论专家结构如何"都会导致速率退化。但证明中实际上假设了专家函数是线性的(方程 12 附近)。虽然作者在 Section 5 中声称这一结论可以推广到一般专家,但没有给出严格的证明。这是一个潜在的 gap。

  3. Theorem 4 的"代数无关性"条件:作者在定义 2 中给出了代数无关性的定义,并声称它是"恢复多项式速率的充分条件"。但没有讨论这个条件是否是必要的,也没有给出不满足该条件时的速率下界。这是一个开放问题。

  4. hierarchical 门控的"已知 \(k_1^*\)"假设:在 Theorem 5 和 6 中,作者假设第一层门控的专家组数 \(k_1^*\) 是已知的。但在实际应用中,\(k_1^*\) 通常是未知的。作者在 Section 5 中承认了这一限制,但没有讨论 \(k_1^*\) 未知时的估计策略。

四、开放问题

以下开放问题均扎根于本文的具体语句:

  1. 强可辨识性条件的验证:定义 1 给出了强可辨识性的数学条件,但如何系统地验证一个给定的专家函数(如 ReLU FFN、Transformer 块)是否满足该条件?是否存在一个"可操作的"判别准则?(扎根于定义 1 和 Section 5 的"covers most practical expert structures"声明)

  2. dense-to-sparse 门控的普适下界:Theorem 3 的证明依赖于线性专家假设,但作者声称 PDE 交互(方程 15)对任意专家结构都导致速率退化。能否给出一个不依赖于专家结构的下界证明?(扎根于 Theorem 3 的证明和 Section 5 的推广声明)

  3. 代数无关性的必要性:定义 2 的代数无关性条件是恢复多项式速率的充分条件,但它是否是必要的?是否存在不满足代数无关性但仍能获得多项式速率的 router-expert 组合?(扎根于 Theorem 4 的陈述)

  4. \(k_1^*\) 未知时的估计:Theorem 5 和 6 假设 hierarchical 门控的第一层组数 \(k_1^*\) 已知。当 \(k_1^*\) 未知时,如何估计它?估计 \(k_1^*\) 的误差会如何影响专家估计的速率?(扎根于 Section 5 的 limitation 讨论)

  5. 过指定(\(k' > k^*\))时的速率刻画:Theorem 1 给出了过指定时参数估计的 \(O_p(n^{-1/4})\) 速率,但这是否是最优的?能否通过更精细的损失函数(如考虑原子权重的差异)获得更快的速率?(扎根于 Theorem 1 的 remark (i))

提示:要确认上述问题是否是真 gap,建议去读同一子领域近期约 5 篇论文(例如 Nguyen et al. 2023-2025 关于 MoE 可辨识性的系列工作,以及 Ho et al. 关于高斯混合专家的工作)的引言和未来工作部分。如果多篇论文都指向同一个问题,那很可能是共识性的 gap;如果互相矛盾,那可能是一个值得切入的机会点。


Maintained by 陈星宇 · Homepage · Source on GitHub

评论