Strong identifiability and parameter learning in regression with heterogeneous response¶

作者: Dat Do, Linh Do, XuanLong Nguyen
来源: Electronic Journal of Statistics
主题: 非参数 / 半参数
相关性: 6/10
链接: 期刊页 · arXiv

一、领域脉络与小综述¶

这个方向是什么¶

本方向研究有限混合回归模型（finit mixture of regression models），即给定协变量 \(X\) 后，响应变量 \(Y\) 的条件分布被建模为 \(k\) 个潜在子群体的混合：

\[f(y|x) = \sum_{j=1}^{k} \pi_j \, f(y | x, \theta_j),\]

其中 \(\pi_j\) 是混合比例，\(\theta_j\) 是第 \(j\) 个组件的回归参数。核心统计问题是：在什么条件下，混合比例 \(\pi_j\) 和组件参数 \(\theta_j\) 可以被一致地估计？收敛速度是多少？ 这里的挑战是：模型是“过参数化”的（比如组件数 \(k\) 可以大于真值 \(k_0\)），且 Fisher 信息矩阵可能退化，所以标准 MLE 的 \(\sqrt{n}\) 速率不一定成立。本论文的重点是：在回归设定下（即条件密度 \(f(y|x,\theta)\) 依赖于协变量 \(x\)），研究强可识别性（strong identifiability）如何导出参数估计的收敛率，以及贝叶斯后验收缩行为。

发展脉络¶

奠基工作：混合模型的可识别性理论最初是针对无条件分布（即 \(f(y)\) 的混合）发展的。X. Nguyen（2011，论文引用[44]）引入 Wasserstein 距离来刻画混合度量的收敛，并建立了 Wasserstein 距离与 Hellinger/KL 散度之间的桥梁（文献称之为"inverse bounds"）。Ho & Nguyen（2016，论文引用[24]）将这推广到矩阵变量混合，正式定义了强可识别性（strong identifiability）概念，并建立了参数估计的 minimax 最优收敛率。这些工作奠定了本领域的分析框架。

主要进展：Guha, Ho & Nguyen（2019，论文引用[19]）研究了贝叶斯混合模型的后验收缩，发现核密度函数的选择对后验收缩率有决定性影响。Ho, Yang & Jordan（2019，论文引用[26]）首次将分析扩展到混合回归设定（即条件分布），针对高斯混合专家模型（无协变量的门控网络）建立了参数估计收敛率和 minimax 下界。他们的关键概念是“专家函数的代数独立性”。Wei & Nguyen（2020，论文引用[58]）针对混合乘积分布（可观测序列可交换）发展了逆界理论，通过调和分析处理弱可识别核。

当前 frontier 与本文位置：当前 frontier 是从特定类（如高斯）的混合回归向通用类（任意常见的条件分布族和链接函数）推广。Do, Ho & Nguyen（2022，论文引用[8]）已经处理了“偏离混合模型”的设定，但只涉及未知混合比例和一个已知密度 \(h_0\)。本文（Do, Do & Nguyen, 2023）是这条线的自然下一步：它声称自己是首个在混合回归框架下，对通用条件分布族（高斯、二项（logistic）、泊松、负二项）建立强可识别性条件，并据此导出参数估计收敛率（精确拟合和过拟合）和贝叶斯后验收缩率的统一理论。

子线索聚类¶

可识别性理论：（奠基）Nguyen (2011)、Ho & Nguyen (2016) 发展了无条件混合模型的可识别性，定义了强可识别性原型。Ho, Yang & Jordan (2019) 在混合回归（高斯）中引入代数独立性。本文将这些概念系统推广到回归设定，并精确化。
收敛率与后验收缩：（进展）Ho & Nguyen (2016) 建立了 MLE 的 minimax 率。Guha, Ho & Nguyen (2019) 分析了贝叶斯后验收缩，区分了正确设定和错误设定。Wei & Nguyen (2020) 处理了混合乘积分布。本文在这些工作的基础上，首次统一给出了回归混合模型的收敛率和后验收缩率，并覆盖了过拟合设定。
应用驱动的发展：（侧翼）大量应用论文（如 Bermúdez 等 2020 的车险索赔、Jaki 等 2019 的样本量效应、Li 等 2019 的药物敏感性预测）推动了方法的发展，但这些论文主要是模拟或实证，没有深入的理论可识别性分析。本文正是要填补这个“理论缺位”。

这个方向在追问的核心问题¶

强可识别性的精确条件是什么？ 对于给定的条件分布族 \(f(y|x,\theta)\)，需要什么假设才能保证参数空间中的“点”是可区分的？这通常涉及 \(f\) 对 \(\theta\) 的导数性质（如线性独立性）。
参数估计能达到 \(\sqrt{n}\) 速率吗？ 当模型正确指定时，如果可以完全识别，MLE 通常是 \(\sqrt{n}\) 速率的。但混合模型由于标签置换和潜在冗余参数，常常退化。强可识别性可以“拯救”回来吗？能到多快？
过拟合（overfitted）设定下的行为是什么？ 当拟合的组件数 \(k\) 大于真实组件数 \(k_0\) 时，多余的组件会如何被估计？收敛速度会退化多少？贝叶斯方法如何处理后验收缩？
贝叶斯后验收缩是否受模型设定影响？ 核密度函数的选择（如使用 Gaussian vs. Laplace vs. Logistic）如何影响后验关于参数的收缩率？

已知瓶颈：“The major obstacle preventing us from a unified theory of parameter estimation for mixture of regression…” — 即已有的理论要么只针对无条件混合，要么只针对特定的回归模型（如高斯）。缺乏统一的分析框架。

⚠️ 作者的 framing（必须明确标注成"这是作者的说法"）¶

作者把缺口 frame 成什么：作者在第 1 节声称：“In this paper, we provide a systematic and unified theory for strong identifiability, parameter convergence rates, and Bayesian posterior contraction for finite mixture of regression models... This theory is applicable to most common choices of link functions and families of conditional distributions.” 他们把之前的工作（如 Ho, Yang & Jordan 2019）刻画为只针对“高斯混合专家模型”，而他们的工作是回到更根本的混合回归设定，覆盖泊松、负二项、Logistic 等，并处理精确拟合和过拟合。

哪些竞争路线被他淡化或回避了： - 非参数混合（如 Dirichlet 过程混合）：本文只处理有限混合（\(k\) 有限），并明确说“我们假设组件数是有限的，但未知”。他们回避了无限混合模型的挑战。 - 门控网络（gating network）：本文只考虑无协变量的门控（即 \(\pi_j\) 是常数，不依赖于 \(x\)），明确提到“mixture-of-experts 模型的门控网络可以有协变量，但我们只考虑最简情况”。 - 可识别性条件的具体可验证性：他们定义的“强可识别性”是抽象的条件（假设 2(c)）。虽然他们验证了常见族满足该条件，但并没有给出一个简单的图形或代数准则，让使用者能快速检查一个新提出的条件分布族是否满足。

什么明显该被引 / 该存在、却没出现在 intro 里？ - 没有引用关于“代数独立性”更早的文献（比如 Ho, Yang & Jordan 2019 引用的相关代数几何文献），这可能是因为本文的强可识别性定义与 Ho, Yang & Jordan 2019 的“代数独立性”定义不同（本文更接近 Ho & Nguyen 2016 的矩阵强识别性）。 - 没有讨论高维协变量（\(p > n\)）的场景。所有结果都假设协变量维数 \(d\) 固定且 \(n \to \infty\)。这是一个明显的缺口——高维混合回归的理论目前几乎是空白。

张力¶

未见明显对立引用。所有被引工作基本沿着一条自洽的线发展：可识别性 → 逆界 → 收敛率 → 后验收缩。但没有工作明确挑战“强可识别性是必要的”这个前提。（对研究者：这很可能是个值得探究的地方：是否存在一个弱可识别但参数估计仍然很快的模型？）

二、最核心、最简单的例子 / 数学问题¶

第一步：把符号、模型、可观测数据交代清楚¶

符号： - \(X \in \mathbb{R}^d\)：协变量向量（随机）。本文考虑 \(d\) 固定，\(n \to \infty\)。 - \(Y \in \mathbb{R}\) 或 \(\mathbb{N}_0\) 或 \(\{0,1\}\)：响应变量（连续、计数、二值）。 - \((X_i, Y_i)_{i=1}^n\)：独立同分布的可观测样本。 - \(k_0\)：真实的子群体数（潜在类数，未知）。 - \(k\)：模型假定的子群体数（可以是 \(k = k_0\) 精确拟合，或 \(k > k_0\) 过拟合）。 - \(\pi = (\pi_1, \dots, \pi_k)^\top\)：混合比例，\(\pi_j > 0\)，\(\sum_{j=1}^k \pi_j = 1\)。注意：比例中不含 \(x\)，即门控网络是“无协变量”的。 - \(\theta_j \in \Theta \subseteq \mathbb{R}^q\)：第 \(j\) 个组件的回归参数（比如线性系数 \(\beta_j\)、可能的尺度参数 \(\sigma_j\)）。 - \(G = \sum_{j=1}^k \pi_j \delta_{\theta_j}\)：混合度量（mixing measure），是参数空间上的离散概率测度。 - \(f(y|x, \theta)\)：条件密度 / 概率质量函数，属于某个参数族（如 \(\mathcal{N}(\beta^\top x, \sigma^2)\)、\(\text{Poisson}(\exp(\beta^\top x))\)、\(\text{Bernoulli}(\text{logit}^{-1}(\beta^\top x))\) 等）。 - \(p_G(y|x) = \sum_{j=1}^k \pi_j f(y|x, \theta_j)\)：模型指定的条件密度（基于混合度量 \(G\)）。可观测数据的真实条件密度记为 \(p_{G_0}(y|x)\)，\(G_0\) 是真实混合度量。 - Wasserstein 距离 \(W_r(G, G')\)：用于度量两个混合度量之间的距离。定义是将 \(\theta\) 支撑点视为可运输的质量，\(r\) 是阶数（通常 \(r=1\) 或 \(2\)）。本文工作使用的主要距离。 - Hellinger 距离 \(h(p, q)\)：用于度量两个条件密度函数之间的差异（积分后对 \(x\) 和 \(y\)）。

模型：数据生成机制是： 1. 先抽样一个混合成分 \(Z \in \{1,\dots,k_0\}\)，其概率为 \(\pi_{0j}\)（真实混合比例）。 2. 给定 \(Z=j\) 和协变量 \(X\)，从条件分布 \(f(y | x, \theta_{0j})\) 中抽样 \(Y\)。 3. \(X\) 的边际分布 \(P_X\) 是完全任意的（非参数部分），不需要建模。关键在于条件分布 \(Y|X\)！

可观测数据：研究者只观测到 \((X_i, Y_i)_{i=1}^n\)。潜在变量 \(Z_i\)（每个观测属于哪个子群体）是不可观测的。这是混合模型的核心：我们必须仅通过观测到的 \((X,Y)\) 对的边际分布（混合后）来推断 \((\pi_j, \theta_j)\)。

第二步：讲最小内核——一个最简的“两组件高斯回归”例子¶

为了把核心数学困难讲清楚，我们考虑最简单、最不混乱的设定：

真实模型：\(k_0 = 2\)，\(X \in \mathbb{R}\)（单变量），\(Y|X, Z=j \sim \mathcal{N}(\beta_j X, \sigma^2)\)。即两个线性的回归线，共享相同的方差 \(\sigma^2\)（假设已知，或标准化 \(\sigma^2=1\)）。真实参数：\(\beta_{01} = 1\)，\(\beta_{02} = -1\)，\(\pi_{01} = 0.5\)。
可观测数据：\(\{(X_i, Y_i)\}_{i=1}^n\)，其真实条件密度为：
\[p_{G_0}(y|x) = 0.5 \cdot \phi(y - 1\cdot x) + 0.5 \cdot \phi(y + 1\cdot x),\]
其中 \(\phi\) 是标准正态密度。

要问的问题：如果我们用 MLE 拟合一个 \(k=2\) 的模型（即假设 \(k=k_0\)），我们能以多快的速率估计 \((\pi, \beta_1, \beta_2)\)？这看起来像一个标准的 MLE 问题，但为什么通常的 \(\sqrt{n}\) 速率可能不成立？

核心困难（即为什么需要“强可识别性”）：考虑一个“坏的”参数点，其中两个混合成分几乎合并：比如 \(\beta_1 \approx \beta_2 \approx 0\)，\(\pi_1 \approx 0.5\)。这时混合模型退化成一个单高斯回归：\(Y|X \sim \mathcal{N}(0, 1)\)。在这个退化点附近，Fisher 信息矩阵是奇异的（注：这是论文[23]专门研究的“奇异性结构”）。因此，MLE 的收敛速度会比 \(\sqrt{n}\) 慢。

本文的关键想法：引入强可识别性条件来避免这种退化。对高斯回归模型，\(f(y|x, \beta) = \phi(y - \beta x)\)。对其求导，得到：

\[\frac{\partial}{\partial \beta} \log f(y|x, \beta) = x (y - \beta x) = x \cdot \text{residual}.\]

更一般地，考虑混合密度之差：

\[p_{G}(y|x) - p_{G'}(y|x) = \sum \text{weight} \times (\text{difference of kernels}).\]

要保证两个不同的混合度量 \(G \neq G'\) 能导致不同的 \(p_G \neq p_{G'}\)，需要函数族 \(\{f(\cdot|x,\theta)\}_{\theta}\) 在参数上足够“丰富”。强可识别性（假设 2(c)）是说：对于任意有限个不同的 \(\theta_j\)，函数集 \(\{f(\cdot|x, \theta_j), \partial^m f(\cdot|x, \theta_j) / \partial \theta^m \}\) 是线性独立的（在 \(x\) 和 \(y\) 上）。这保证了当 \(G\) 和 \(G'\) 不同时，它们的密度差不能消失为零。

在最小内核里的表现：对于简单高斯回归，强可识别性等价于要求 \(x\) 的支撑集足够大（如包含开区间），使得线性函数 \(\{\beta_j x\}\) 是唯一可辨识的。本文的逆界（定理 1）就退化为：存在常数 \(C > 0\)，使得

\[h^2(p_G, p_{G'}) \ge C \cdot W_1(G, G')^2,\]

其中 \(h\) 是 Hellinger 距离。这意味着两个混合密度只要在 Hellinger 距离上差一点，就能反推出混合度量在 Wasserstein 距离上差很多。有了这个不等式，再结合 MLE 在密度上的已知收敛率（如通过 empirical process），就能推出 Wasserstein 距离上参数估计的收敛率。

结论：在这个 \(k=2\) 的高斯回归例子中，逆界成立，因此参数估计（\(\hat{\pi}, \hat{\beta}_1, \hat{\beta}_2\)）可以达到以 \(n^{-1/2}\) 的速率在 Wasserstein 度量下收敛到真值 \(G_0\)。如果模型是过拟合的（\(k=3\)），逆界仍然成立，但收敛率会退化为 \(n^{-1/4}\)。

三、这篇论文做了什么¶

三句话¶

① 研究了什么问题：在有限混合回归模型中，当组件数未知（可能被过设定）时，建立了强可识别性的条件，并推导了条件密度估计和参数估计（混合度量 \(G\)）的收敛速度，以及贝叶斯后验收缩行为。
② 核心工具 / 方法：利用 Wasserstein 距离和 Hellinger 距离之间的“逆界”（inverse bounds），结合经验过程理论和后验收缩的通用方法。
③ 主要结论：在强可识别性条件下，MLE（精确拟合）可以实现 \(n^{-1/2}\) 的 Wasserstein 收敛率；过拟合时率退化到 \(n^{-1/4}\)（或更慢，取决于核函数）。贝叶斯后验收缩率与之匹配。结果覆盖高斯、二项、泊松、负二项等常见条件分布族。

关键设定与假设¶

在第二节的记号基础上，论文细化设定： - 模型：\(Y\) 的条件分布属于指数族或其变形，且包含一个回归链接函数。例如，泊松回归：\(f(y|x,\beta) = e^{-\exp(\beta^\top x)} (\exp(\beta^\top x))^y / y!\)。 - 假设 1（基本设定）：协变量 \(X\) 的支撑 \(\mathbb{X}\) 是 \(\mathbb{R}^d\) 的紧子集；参数空间 \(\Theta\) 是 \(\mathbb{R}^q\) 的紧子集；真实混合度量 \(G_0 = \sum_{j=1}^{k_0} \pi_{0j} \delta_{\theta_{0j}}\)，组件数 \(k_0 \in \mathbb{N}\)，\(\pi_{0j} > 0\)，且各 \(\theta_{0j}\) 互异。 - 假设 2（——核心——强可识别性）：这是本文最关键的假设。它要求条件密度族 \(\{f(y|x,\theta)\}_{\theta \in \Theta}\) 具有以下性质： - (a) 正性：\(f(y|x,\theta) > 0\) 对所有 \(x,y,\theta\)。 - (b) 对称性/解析性：\(f\) 对 \(\theta\) 是光滑的（比如无穷可微），且在 \(x\) 和 \(y\) 上有某种一致连续性，以保证微分和积分的交换。 - (c) 强可识别性（Strong Identifiability）：这是实质条件。对于任意有限个不同的 \(\theta_1, \dots, \theta_k \in \Theta\)，以及任意非零的多项式系数 \(\{a_{j, m}\}\)（其中 \(m\) 是导数的阶数），函数

\[\sum_{j=1}^k \sum_{l=0}^L a_{j,l} \, \partial^{(l)}_θ f(y|x,\theta_j)\]

不恒等于零（作为 \(x,y\) 的函数）。这里 \(\partial^{(l)}\) 是 \(l\) 阶张量导数（即把 \(\theta\) 视为向量，对偏导数的完整泰勒展开）。更正式地说，线性张成的函数空间 \(\text{span}\{ f(\cdot|x,\theta), \partial_\theta f(\cdot|x,\theta), \dots \}\) 是无限维的，且不同 \(\theta\) 对应的这些线性空间是线性独立的。 - 相比已有文献：这个条件比 Ho, Yang & Jordan 2019 对于高斯专家模型使用的“代数独立性”更抽象，但论文验证了对常见模型（高斯、Poisson、Logistic、NB）它成立。相比 Ho & Nguyen 2016 在无条件混合中的定义，这里是直接对条件密度定义的，是自然的推广。

假设 3（协变量质量）：\(X\) 的分布 \(P_X\) 有界密度，且能够区分协变量空间中的点。比之前的假设更严格：需要协变量支撑集足够“丰富”，以保证混合回归参数的可识别性（类似于回归中设计矩阵满秩的条件）。

主要结果¶

定理 1（逆界，最重要）：在假设 1-3（强可识别性）下，存在常数 \(C > 0\)，使得对于任意两个混合度量 \(G, G' \in \mathcal{G}_k\)（支撑点数 \(\le k\)），有

\[h^2(p_G, p_{G'}) \ge C \cdot W_2(G, G')^{2 \max(1, L-1)}.\]

其中 \(L\) 是强可识别性的“阶数”（取决于 \(f\) 的导数展开结果）。直觉：这条不等式把 Hellinger 距离（密度层面的度量）与 Wasserstein 距离（参数层面的度量）联系起来。它是后面一切收敛率推导的基础。

定理 2（MLE 收敛率）：在精确拟合（\(k = k_0\)）下，MLE \(\hat{G}_n\) 以概率趋近于 1 满足：
\[W_2(\hat{G}_n, G_0) = O_p(n^{-1/2}).\]
在过拟合（\(k > k_0\)）下，率退化到 \(O_p(n^{-1/4})\)。（可能在不同的对称条件下有不同，但本文给出了统一上界。）
定理 3（贝叶斯后验收缩）：使用“有限混合的混合”（MFM）先验，后验分布满足：
\[\Pi_n \left( W_2(G, G_0) \ge M_n^{-\delta} \;\big|\; \text{data} \right) \to 0,\]
其中 \(\delta\) 与 \(k, k_0\) 有关。精确拟合下 \(\delta = 1/2\)，过拟合下 \(\delta = 1/4\)。这一点与经典的后验收缩理论（如 Ghosal & van der Vaart 2017）一致：只要检验问题和先验质量满足，MLE 的率就是后验收缩的率。

证明路线与技术技巧¶

整体路线：

建立逆界（Step 1: Inverse bounds）：这是证明的核心。从两个混合度量的密度差 \(p_G - p_{G'}\) 出发。利用强可识别性条件，对密度差进行泰勒展开（在 \(G\) 和 \(G'\) 的支撑点上）。由于不同 \(\theta\) 对应的函数是线性独立的，展开后的各阶项不能抵消，从而函数的 \(L^2\) 范数（即 Hellinger 距离平方）可以下界为 Wasserstein 距离的某个多项式函数。这就是引理 1 和引理 2 做的事情。
正界（Step 2: Upper bounds）：利用已知的密度估计收敛率（MLE 在 Hellinger 距离上的收敛速度，如 Wong & Shen 1995 的经典结果），得到 \(h(p_{\hat{G}_n}, p_{G_0})\) 的上界（\(n^{-1/2}\)）。
结合（Step 3: Combine）：将逆界（反向不等式）和正界（正向收敛率）结合起来，就得到参数 \(W_2\) 度量的收敛率。例如，\(h \ge C \cdot W_2 \Rightarrow W_2 \le C^{-1} h = O_p(n^{-1/2})\)。

关键跳跃点： - 逆界的证明：这里最困难。要从 \(p_G - p_{G'}\) 的积分形式反推 \(G - G'\) 的支撑点差异。论文通过引入一个辅助的“多项式函数”（由条件密度的导数构成），将其转化为一个关于支撑点距离的代数方程。然后，利用强可识别性条件确保该多项式非零，从而利用 Cauchy-Schwarz 不等式和 Jensen 不等式挤出 Wasserstein 距离的幂次下界。 - 过拟合情况：当 \(k > k_0\)，多余的组件会被“吃掉”。证明中需要处理这种情况下的冗余参数。关键引理 3 证明，在过拟合设定下，仍然存在一个逆界，但常数退化，导致率从 \(n^{-1/2}\) 降到 \(n^{-1/4}\)。技术上，这涉及对“多余组件可以被吸收到真组件中”进行精细的概率估计。

技术技巧点名： - Wasserstein 距离：主要度量参数估计质量，提供了对标签置换的鲁棒性。 - f-散度（Hellinger）：标准密度估计度量。 - 泰勒展开 / 多项式逼近：用于分析密度差。 - 经验过程理论（Empirical process theory）：获得 MLE 的密度收敛率。 - 后验收缩的通用框架（如 Ghosal & van der Vaart 2017 中的定理 8.3）：通过构造检验和计算先验质量来绑定后验分布。

真实例子与应用¶

论文有模拟和真实数据例子。

模拟：使用高斯回归、Logistic 回归和泊松回归的混合模型，验证了精确拟合（\(k=2\) 拟合 \(k=2\)）和过拟合（\(k=2\) 拟合 \(k=3\)）下的参数估计行为。展示了：① 精确拟合时，\(\hat{\beta}_j\) 收敛到真值；② 过拟合时，多余的组件要么被“吸收”（形成退化分量 \(\pi_j \approx 0\)），要么估计率明显变差。符合理论预测的 \(n^{-1/4}\) 率。
真实数据：使用了 GitHub 数据——预测每个用户的星标数（response）与用户的“活跃度”协变量之间的关系。作者拟合了一个负二项混合回归模型，发现两组件模型比单组件模型更好地拟合了数据（高活跃用户和低活跃用户有两个不同的回归线）。这展示了模型在实际异质性分析中的价值。

🔎 结论是否比证明窄¶

需要仔细检查。论文的证明是针对指数族中的特定参数化链接函数（如 \(\log(\mu) = X\beta\)）进行的，并且强可识别性条件（假设 2(c)）非常严格。论文的结论（统一理论）是声称覆盖常见的链接函数和条件分布族。但： - 注意：证明在 Section 4 中详细展开时，确实通过引理逐一验证了高斯、Poisson、Binomial（logistic）、NB 满足强可识别性。所以结论是有验证、而非概泛的。 - 潜在窄点：作者在 Section 2.2 明确写道：“We propose the condition of strong identifiability for regression mixture models (Assumption 2(c)), which is a sufficient condition.” 这句话是诚实的——它没有声称这是必要的。但整个论文的结论都在构造在“如果满足强可识别性，则……”的框架下。如果一个对某些应用重要的回归族不满足强可识别性（例如某些非标准的链接函数，或者包含高阶交互的模式），那么本文的结论就不适用。 这里论文没有明确说“所有常见情况都满足”，而是说“我们可以验证它适用于常见情况”，因此结论界是紧的。

四、开放问题（点到为止，扎根具体语句）¶

改进过拟合设定下的后验收缩率：论文定理 3 给出的过拟合后验收缩率与 MLE 率一致（\(n^{-1/4}\)）。但是，这是否最优？ 作者在 Section 5.2 的讨论中提到：“Whether these rates are optimal for overfitted mixtures remains an open question.” 这句话直接指出了这一点。扎根于论文第 5.2 节。
扩展到更复杂的回归模型：论文只处理了无协变量门控网络的混合回归。一个明显的扩展是“混合专家模型（Mixture-of-Experts）”，其中混合比例 \(\pi_j\) 也依赖于 \(x\)（即门控网络）。作者在 Section 5.2 中写道：“Extending our results to mixtures of experts models with covariate-dependent mixing weights is an interesting future direction.” 扎根于论文第 5.2 节。
建立弱可识别性下的 minimax 下界：论文证明了对强可识别性下收敛率的结果（\(n^{-1/2}\)和\(n^{-1/4}\)）。但是，当强可识别性不满足时，最小最大收敛率会是多少？ 这是一个更难的开放性理论问题。可能需要对不同退化程度进行分类，并给出相应对数率的完整刻画。这扎根于论文对“强可识别性”这个前提的依赖。
处理超出广义线性模型的链接函数：本文的理论主要验证了指数族的链接。对于更一般的条件分布（如 Cox 比例风险模型、位置-尺度族外的分布），强可识别性条件如何验证？ 作者在 Section 5.2 中提到了“future work could investigate applications to survival analysis and non-Gaussian measurement error models”，但并未深入。扎根于论文末节的未来工作方向。

Maintained by 陈星宇 · Homepage · Source on GitHub