跳转至

In-Context Learning as Nonparametric Conditional Probability Estimation: Risk Bounds and Optimality

讲者: Falong Tan
会场: Some Aspects Related to Feature Learning
报告题目: In-Context Learning as Nonparametric Conditional Probability Estimation: Risk Bounds and Optimality
链接: arXiv
来源: JCSDS 2026 · 返回会议总览

一、领域脉络与小综述

这个方向是什么

本文研究的核心问题是：如何从统计学习理论的角度，量化预训练大语言模型（LLM）在“上下文学习”（In-Context Learning, ICL）中的泛化性能。具体来说，给定一个由少量标注样本（prompt）和一个查询输入组成的序列，一个预训练模型（如Transformer）在不更新参数的情况下，需要预测查询的标签。本文将该问题形式化为一个非参数条件概率估计问题，并分析在“任务缩放”（task-scaling）机制下（即预训练任务数 \(T\) 远大于上下文长度 \(N\)），模型估计的条件概率与真实条件概率之间的期望超额风险（expected excess risk）的收敛速率。该方向当前处于快速发展但理论尚不成熟的阶段，尤其是对于多类分类和深度Transformer架构的理论分析仍非常有限。

发展脉络（history）

  1. 奠基工作：Transformer与ICL现象的发现

    • Vaswani et al. (2017)：提出Transformer架构，成为后续所有工作的基础。
    • Brown et al. (2020)：观察到当LLM规模足够大时，展现出惊人的ICL能力，即仅凭prompt中的少量示例即可执行新任务，无需参数更新。这开启了ICL研究的新范式。

  2. 主要进展：量化ICL与算法机制

    • Garg et al. (2022)：开创性地通过实验证明，Transformer可以在线性回归等简单函数类上进行ICL，并激发了后续的理论分析。作者引用其“demonstrated that transformer models can in-context learn a variety of fundamental function classes”。
    • Akyürek et al. (2023); Von Oswald et al. (2023); Bai et al. (2023)：揭示Transformer的前向传播与多步梯度下降算法之间的密切联系，提出Transformer可能通过隐式模拟梯度下降来实现ICL。作者引用其“revealed a close connection between the forward pass of multi-layer transformer models and multi-step gradient descent algorithms”。
    • Wu et al. (2024)：首次在理论上量化了预训练任务数量 \(T\) 对ICL在线性回归中预测误差的影响，并考虑了固定上下文长度 \(N\) 的“任务缩放”场景。作者引用其“provide the first theoretical analysis of the effect of task-scaling on the prediction risk of ICL under a fixed context length”。

  3. 当前Frontier：非参数最优性与架构普适性

    • Kim et al. (2024)：分析了由深度神经网络和单层线性Transformer组成的模型，从非参数回归的角度建立了ICL的minimax最优性。作者引用其“established the minimax optimality of the in-context learner from the perspective of nonparametric regression”。
    • Tong and Pehlevan (2025); Kratsios and Furuya (2025)：通过实验和理论表明，多层感知机（MLP）也能展现出ICL能力，挑战了Transformer是ICL唯一架构的观点。作者引用其“empirically demonstrated that multilayer perceptrons (MLPs) can match the ICL performance of transformers”和“showed that MLPs are universal approximators in an ICL setting”。

  4. 本文的位置：本文在上述工作的基础上，试图填补几个关键空白：将理论分析从线性回归/二分类扩展到多类分类；从简化Transformer架构（如线性注意力）扩展到深度多头注意力Transformer；在任务缩放机制下，为ICL的期望超额风险建立非渐近的、minimax最优的（至多对数因子） 上界和下界。同时，本文还证明MLP也能达到相同的minimax最优速率，为“Transformer并非ICL唯一架构”提供了理论支持。

子线索聚类

  1. ICL的统计学习理论：该线索关注ICL的泛化误差、收敛速率和最优性。代表工作包括：Garg et al. (2022)（实验奠基）、Wu et al. (2024)（任务缩放下的线性回归）、Kim et al. (2024)（非参数回归的minimax最优性）、以及本文（多类分类的minimax最优性）。这些工作通常假设一个任务分布，并分析随着预训练任务数 \(T\) 增加，模型性能如何提升。
  2. Transformer的算法机制：该线索试图解释Transformer如何实现ICL，即其前向传播等价于什么算法。代表工作包括：Akyürek et al. (2023); Von Oswald et al. (2023); Bai et al. (2023)（等价于梯度下降）、Xie et al. (2022)（等价于贝叶斯推断）。这些工作通常关注模型内部的优化动力学或表征能力。
  3. 超越Transformer的ICL：该线索质疑ICL是否是Transformer的独有能力。代表工作包括：Tong and Pehlevan (2025)（MLP的实验证据）、Kratsios and Furuya (2025)（MLP的普适逼近定理）、以及本文（MLP的minimax最优速率证明）。

这个方向在追问的核心问题

  1. ICL的泛化误差如何分解？ 其核心组成部分（近似误差、优化误差、泛化误差）分别受什么因素控制？
  2. 任务缩放 vs. 上下文缩放：增加预训练任务数 \(T\) 和增加上下文长度 \(N\)，对ICL性能的影响有何不同？在什么机制下哪个更关键？
  3. 多类分类的理论分析：如何将线性回归或二分类的理论结果推广到更实际的多类分类场景？其收敛速率与类别数 \(K\) 的关系如何？
  4. Transformer是否是ICL的必要架构？ 其他架构（如MLP）能否达到与Transformer相当的统计效率？其理论依据是什么？

⚠️ 作者的 framing

  • 作者把缺口 frame 成什么：作者将现有理论工作的主要缺口概括为两点：(1) 理论假设（如 \(N\) 很大）与实际应用（少样本场景，\(N\) 很小）脱节；(2) 分析局限于简化任务（线性回归/二分类）和简化架构（线性/单头注意力）。作者将自己的工作定位为“填补这些空白”，通过建立多类分类、深度Transformer、任务缩放机制下的非渐近风险界，来弥合理论与实践之间的差距。
  • 哪些竞争路线被他淡化或回避了：作者明确将分析限定在“任务缩放”机制（\(T \to \infty, N\) 固定），而淡化了“上下文缩放”机制（\(N \to \infty, T\) 固定）或两者同时增长的情况。作者在引言中承认“Most existing studies focus on the combined regime”，但选择聚焦于任务缩放，因为其更符合少样本场景。此外，作者回避了对优化误差 \(\Delta_T\) 的深入分析，将其作为一个假设条件（\(\Delta_T\) 足够小），而非推导其具体上界。
  • 什么明显该被引 / 该存在、却没出现在 intro 里？ 作者在讨论“维度诅咒”时（Section 7），提到了利用低维流形结构来缓解维度灾难的可能性，并引用了Havrilla and Liao (2024) 在Transformer上的相关工作。然而，在引言中，作者并未提及任何关于统计-计算权衡（statistical-computational tradeoff） 的文献。对于ICL这种大规模预训练模型，其计算成本（如训练时间、模型参数）与统计效率之间的权衡是一个自然且重要的问题，但本文完全未涉及。这是一个值得研究者去查的潜在缺口。

张力

未见明显对立引用。被引工作之间在结论上基本一致，例如都承认任务多样性的重要性（Raventós et al., 2023），以及Transformer与梯度下降的关联。关于MLP是否能做ICL，Tong and Pehlevan (2025) 和 Kratsios and Furuya (2025) 的结论与本文的理论结果相互支持，形成共识而非对立。

二、最核心、最简单的例子 / 数学问题

第一步：把符号、模型、可观测数据交代清楚

  • 符号：

    • \(T\): 预训练任务的数量（样本量）。
    • \(N\): 上下文长度，即每个prompt中包含的标注样本数（固定且较小）。
    • \(K\): 类别数。
    • \(p\): 输入特征 \(x\) 的维度。
    • \(d = (p+K)(N+1)\): 整个prompt矩阵（包括查询）被展平后的总维度。
    • \(Z \in \mathbb{R}^d\): 一个随机变量，代表一个完整的prompt（包含 \(N\) 个标注样本和一个查询输入）。
    • \(y_{N+1} \in \{0,1\}^K\): 查询输入的真实标签，是一个one-hot向量。
    • \(p_0(Z) = (p_0^1(Z), ..., p_0^K(Z))^\top \in \mathcal{S}^K\): 真实的条件概率向量，即 \(p_0^k(Z) = \mathbb{P}(y_{N+1,k}=1 | Z)\)。这是想要估计但观测不到的目标量。
    • \(\hat{p}(Z)\): 模型估计的条件概率向量。这是可观测的（模型输出）。
    • \(\mathcal{F}\): 模型假设空间，即所有可能的 \(\hat{p}\) 构成的函数类。
    • \(\mathcal{D}_T = \{(Z^{(t)}, y_{N+1}^{(t)})\}_{t=1}^T\): 由 \(T\) 个独立任务组成的数据集。这是可观测的训练数据。
    • \(\ell(p, \mathcal{D}_T) = -\frac{1}{T} \sum_{t=1}^T y_{N+1}^{(t)\top} \log p(Z^{(t)})\): 经验交叉熵损失。
    • \(R(p_0, \hat{p}) = \mathbb{E}_{\mathcal{D}_T, Z} [\text{KL}(p_0(Z) \| \hat{p}(Z))]\): 期望超额风险（未截断），即期望KL散度。
    • \(R_B(p_0, \hat{p}) = \mathbb{E}_{\mathcal{D}_T, Z} [\text{KL}_B(p_0(Z) \| \hat{p}(Z))]\): 截断的期望超额风险，其中 \(\text{KL}_B(p \| q) = p^\top [B \land \log(p/q)]\)。这是本文主要分析的风险度量。
    • \(\Delta_T(p_0, \hat{p})\): 期望经验风险差距，衡量优化器找到的 \(\hat{p}\) 与类 \(\mathcal{F}\) 内全局最优解之间的差距。

  • 模型：

    • 每个任务 \(t\) 由一个未知的联合分布 \(P^{(t)}\) 在 \((x, y)\) 上定义。所有任务共享一个函数类 \(\mathcal{P}\)。
    • 对于给定任务，模型观察到 \(N\) 个i.i.d.样本 \((x_1, y_1), ..., (x_N, y_N) \sim P\)，以及一个查询输入 \(x_{N+1}\)。查询的真实标签 \(y_{N+1}\) 与之前的样本独立同分布。
    • 模型的目标是，基于prompt \(Z\)，估计条件概率 \(p_0(Z) = \mathbb{P}(y_{N+1} | Z)\)。
    • 真实条件概率 \(p_0\) 被假设属于一个 \(\beta\)-Hölder光滑函数类 \(\mathcal{G}(\beta, Q)\)，并且满足 \(\alpha\)-小值有界（\(\alpha\)-SVB）条件。

  • 可观测数据：

    • 研究者能观测到的是：一个由 \(T\) 个任务组成的数据集 \(\mathcal{D}_T = \{(Z^{(t)}, y_{N+1}^{(t)})\}_{t=1}^T\)。每个任务中，prompt \(Z^{(t)}\) 和查询标签 \(y_{N+1}^{(t)}\) 都是已知的。
    • 研究者想要但观测不到的是：真实的条件概率函数 \(p_0(\cdot)\)。模型只能通过 \(\mathcal{D}_T\) 来学习一个估计 \(\hat{p}\)，使得 \(\hat{p}(Z)\) 尽可能接近 \(p_0(Z)\)。

第二步：讲最小内核

本文的核心数学问题是：在任务缩放机制下（\(T \to \infty, N\) 固定），对于一个多类分类的ICL问题，由深度Transformer（或MLP）估计出的条件概率 \(\hat{p}\)，其期望超额风险 \(R_B(p_0, \hat{p})\) 能以多快的速率收敛到0？

最简特例：假设我们只考虑二分类（\(K=2\)），且真实条件概率 \(p_0\) 是一维（\(d=1\)）的 \(\beta\)-Hölder光滑函数（\(\beta > 0\)），并且有界远离0和1（即 \(\alpha=1\)，意味着 \(p_0(Z) \in [c, 1-c]\) 对某个 \(c>0\) 成立）。在这个特例下，本文的核心结论（Theorem 15）退化为：

\[R_B(p_0, \hat{p}) \lesssim B^2 T^{-\frac{2\beta}{2\beta + 1}} \log^7(T)\]

这个速率 \(T^{-2\beta/(2\beta+1)}\) 正是一维非参数密度/回归估计的经典minimax最优速率（至多对数因子）。

为什么这个特例能体现核心思路？ 1. 问题简化：当 \(K=2\) 且 \(p_0\) 有界远离0/1时，KL散度与平方误差等价的，截断KL散度 \(KL_B\) 与普通KL散度无异，且 \(\alpha=1\) 使得小概率区域的边界效应消失。此时，问题退化为一个标准的非参数条件概率估计问题。 2. 核心困难：即使在这个简化问题中，挑战依然存在：如何控制一个深度、高维、非凸的Transformer模型在有限样本下的泛化误差？ 3. 关键想法：作者通过一个新的Oracle不等式（Theorem 7）将风险分解为三部分： * 近似误差 \(\inf_{p \in \mathcal{F}} R(p_0, p)\)：衡量函数类 \(\mathcal{F}\) 逼近真实函数 \(p_0\) 的能力。作者通过构造一个特定的Transformer网络（Lemma 8, Theorem 9）证明，当网络复杂度（深度、宽度、稀疏度）随精度 \(\varepsilon\) 适当增长时，近似误差可以做到 \(\varepsilon^{1+\alpha}\) 量级。 * 优化误差 \(\Delta_T(p_0, \hat{p})\)：假设它足够小（被优化器保证）。 * 泛化误差 \(\frac{B^2 \log(N_T) \log^2 T}{T}\)：这是核心。\(N_T\) 是函数类 \(\log(\mathcal{F})\) 的均匀经验覆盖数。作者通过一系列引理（Lemma 12, 13, 14）证明，对于精心设计的Transformer和MLP类，\(\log(N_T)\) 可以被网络参数（深度 \(M, L\)，宽度 \(H, W\)，稀疏度 \(S_1, S\)）控制。 4. 平衡：最后，作者通过选择精度参数 \(\varepsilon\)（它决定了网络复杂度），来平衡近似误差（随 \(\varepsilon\) 减小而减小）和泛化误差（随网络复杂度增加而增加）。最优的 \(\varepsilon\) 选择恰好使得两项达到平衡，从而得到minimax最优速率。

因此，即使不读复杂的证明，这个一维、二分类、有界概率的特例清晰地展示了本文的核心贡献：将ICL的泛化分析归结为一个非参数估计问题，并通过一个Oracle不等式和函数类复杂度控制，证明了其收敛速率可以达到经典非参数估计的minimax最优速率。

三、这篇论文做了什么

三句话

  1. 研究了什么问题：本文研究了多类分类场景下，上下文学习（ICL）的期望超额风险（基于截断KL散度）在任务缩放机制下的非渐近上界和下界。
  2. 核心工具/方法：核心工具是一个新的基于KL散度和均匀经验熵的Oracle不等式，它将风险分解为近似、优化和泛化误差。作者利用该不等式，结合深度Transformer和MLP网络的逼近能力与复杂度控制，推导出风险上界。
  3. 主要结论：对于Hölder光滑的真实条件概率，深度Transformer和MLP的ICL风险都能达到minimax最优速率 \(T^{-2\beta/(2\beta+d)}\)（至多对数因子），表明Transformer并非ICL的必要架构。

关键设定与假设

  • 设定：任务缩放机制，即预训练任务数 \(T \to \infty\)，上下文长度 \(N\) 固定。每个任务是一个多类分类问题，类别数为 \(K\)。输入特征 \(x \in [0,1]^p\)。
  • 假设：
    • Hölder光滑性 (Definition 2, 3)：真实条件概率 \(p_0\) 的每个分量属于 \(\beta\)-Hölder光滑函数类 \(\mathcal{C}^\beta([0,1]^d, Q)\)。这是非参数估计的标准假设，控制函数的平滑程度。相比已有文献，本文将其应用于高维prompt空间 \(d = (p+K)(N+1)\)。
    • \(\alpha\)-小值有界 (\(\alpha\)-SVB, Definition 1)：真实条件概率 \(p_0^k(Z)\) 接近0的概率被一个幂律控制：\(\mathbb{P}(p_0^k(Z) \le t) \le C t^\alpha\)。这比“概率有界远离0”更弱，允许概率趋近于0。\(\alpha=1\) 时退化为有界情形。本文将此概念从Bos and Schmidt-Hieber (2022) 引入到ICL分析中。
    • Assumption 2 (概率下界)：所有估计的概率 \(\hat{p}_k(Z)\) 被一个随 \(T\) 缓慢衰减的下界 \(C_1/T^{C_2}\) 约束。这是为了确保KL散度在有限样本下不奇异，是技术性假设，可通过修改网络结构实现（Remark 11）。
    • Assumption 1 (MLP Lipschitz)：MLP类 \(\mathcal{F}_{id}\) 是 \(L_1\)-Lipschitz的。这是一个简化分析的技术假设，其精确值难以计算，但可被有界。

主要结果

  • Theorem 7 (Oracle Inequality)：这是全文的理论基石。它给出了一个通用的风险上界：
    \[R_B(p_0, \hat{p}) \lesssim \inf_{p \in \mathcal{F}} R(p_0, p) + \Delta_T(p_0, \hat{p}) + \frac{B^2 \log(N_T) \log^2 T}{T}\]
    其中 \(N_T\) 是 \(\log(\mathcal{F})\) 的均匀经验覆盖数。该不等式将风险分解为近似、优化和泛化三部分，且泛化误差由均匀经验熵而非全局 \(L_\infty\) 熵控制，这是本文的一个技术贡献。
  • Theorem 10 (近似误差上界)：对于 \(\alpha\)-SVB的Hölder光滑函数，存在一个Transformer-MLP混合网络 \(\tilde{p} \in \mathcal{F}\)，使得其KL散度近似误差为：
    \[\inf_{p \in \mathcal{F}} R(p_0, p) \lesssim K^{4+\alpha} T^{-\frac{(1+\alpha)\beta}{(1+\alpha)\beta + d}} \log(KT)\]
    当 \(\alpha=1\) 时，速率为 \(K^5 T^{-2\beta/(2\beta+d)} \log(KT)\)。
  • Theorem 15 (Transformer风险上界)：结合Oracle不等式和近似误差界，在优化误差足够小的条件下，Transformer的ICL风险上界为：
    \[R_B(p_0, \hat{p}) \lesssim B^2 K^{4+\alpha} T^{-\frac{(1+\alpha)\beta}{(1+\alpha)\beta + d}} \log^7(KT)\]
    当 \(\alpha=1\) 时，速率为 \(B^2 K^5 T^{-2\beta/(2\beta+d)} \log^7(KT)\)。
  • Theorem 17 (Minimax下界)：当 \(\alpha=1\) 时，ICL风险的minimax下界为 \(T^{-2\beta/(2\beta+d)}\)。结合Theorem 15，证明了Transformer的ICL风险达到了minimax最优速率（至多对数因子）。
  • Theorem 22 (MLP风险上界)：在类似条件下，MLP的ICL风险上界为：
    \[R_B(p_0, \hat{p}_{mlp}) \lesssim B^2 K^{5+\alpha} T^{-\frac{(1+\alpha)\beta}{(1+\alpha)\beta + d}} \log^6(KT)\]
    当 \(\alpha=1\) 时，速率为 \(B^2 K^6 T^{-2\beta/(2\beta+d)} \log^6(KT)\)。这表明MLP也能达到与Transformer相同的minimax最优速率（仅常数和对数因子不同）。

证明路线与技术技巧（理论型）

  • 整体路线：
    1. 建立Oracle不等式 (Theorem 7)：这是证明的起点。通过对称化、截断、经验过程理论（特别是Lemma 26，一个针对截断损失的泛化界引理），将期望风险与经验风险联系起来，并分解出泛化误差项。关键技巧是使用均匀经验熵 \(V_\infty(\delta, \log(\mathcal{F}), T)\) 来控制函数类的复杂度，而非全局度量熵。
    2. 控制近似误差 (Theorem 10)：首先证明Transformer网络可以逼近Hölder光滑函数（Lemma 8，基于Gurevych et al. (2022) 的观察，即Transformer可以表示乘法）。然后，通过组合Transformer和MLP（用于实现log和softmax），构造一个能逼近条件概率且概率有下界的网络（Theorem 9）。最后，利用KL散度与 \(\chi^2\) 散度的关系（Lemma 32）和 \(\alpha\)-SVB条件（Lemma 31），将 \(L_\infty\) 逼近误差转化为KL散度近似误差。
    3. 控制泛化误差 (Lemmas 12, 13, 14)：核心是上界 \(\log(N_T) = V_\infty(1/T, \log(\mathcal{F}), T)\)。
      • Lemma 12：利用 \(\log \circ \Phi\)（log-softmax）的Lipschitz性质（Lemma 33），将 \(\log(\mathcal{F})\) 的覆盖数分解为Transformer类 \(\mathcal{T}\) 和MLP类 \(\mathcal{F}_{id}\) 的覆盖数的乘积。
      • Lemma 13：通过伪维数（Pseudo-dimension） 来上界Transformer类 \(\mathcal{T}\) 的均匀经验熵。证明思路是固定非零参数的位置，将网络输出视为参数的分段多项式，然后利用多项式符号模式数量的经典引理（Lemma 37）来界定额外的划分数量，最终得到伪维数的上界。
      • Lemma 14：通过参数网格化和Lipschitz性质，直接上界MLP类 \(\mathcal{F}_{id}\) 的度量熵。
    4. 平衡与最终速率 (Theorem 15)：将近似误差上界（与 \(\varepsilon\) 有关）和泛化误差上界（与网络复杂度有关，而复杂度由 \(\varepsilon\) 决定）代入Oracle不等式。选择最优的 \(\varepsilon\) 来平衡这两项，得到最终的收敛速率。
  • 关键跳跃点：最吃功夫的引理是Lemma 13，即上界Transformer的均匀经验熵。Transformer的架构（多头注意力、残差连接、FFN）使得其输出作为参数的函数是高度非线性的分段多项式。证明需要逐层分析，并反复应用多项式符号模式引理来追踪参数空间的划分数量，最终得到伪维数的上界。这个引理的证明细节在Appendix E中，是技术难度最高的部分。
  • 技术技巧点名：
    • 均匀经验熵 (Uniform Empirical Entropy)：用于控制函数类复杂度，避免了全局 \(L_\infty\) 熵的保守性。
    • 伪维数 (Pseudo-dimension)：用于上界神经网络类的覆盖数，是处理复杂参数化模型的标准工具。
    • 分段多项式分析 (Piecewise Polynomial Analysis)：用于分析ReLU网络和Transformer的输出，通过追踪参数空间的符号模式划分来界定额外划分数量。
    • \(f\)-散度不等式 (Lemma 32)：利用KL散度与 \(\chi^2\) 散度的关系，将KL散度的上界问题转化为更易处理的 \(L_2\) 型误差上界问题。
    • 截断KL散度 (Truncated KL Divergence)：处理概率估计中可能出现的奇异值问题，保证风险有界。

真实例子与应用

本文为纯理论论文，无任何真实数据例子、模拟实验或实际应用。所有结论均为数学定理和证明。

🔎 结论是否比证明窄

  • 是的。Theorem 15和22给出的上界速率 \(T^{-(1+\alpha)\beta/((1+\alpha)\beta+d)}\) 在 \(\alpha=1\) 时被证明是minimax最优的（Theorem 17）。但对于 \(\alpha < 1\) 的情况，作者在Theorem 17后明确写道：“For general \(\alpha \in (0, 1)\), the minimax optimal rate of the expected excess risk under the truncated KL divergence remains unknown. We conjecture that the optimal rate is given by \(T^{-(1+\alpha)\beta/((1+\alpha)\beta+d)}\)”。这意味着对于 \(\alpha < 1\) 的情况，上界是否紧（即是否达到minimax最优）未被证明，只是一个猜想。这是一个重要的窄化点。
  • 此外，所有上界都依赖于优化误差 \(\Delta_T(p_0, \hat{p})\) 足够小的假设。论文没有证明对于非凸的Transformer/MLP类，随机梯度下降等算法能保证这个误差达到所需的小量级。这是一个关键的假设，其成立性未被证明。

四、开放问题（点到为止，扎根具体语句）

  1. \(\alpha < 1\) 时的Minimax最优速率：本文仅证明了 \(\alpha=1\) 时的minimax下界。对于更一般的 \(\alpha \in (0,1)\)，Theorem 15给出的上界速率 \(T^{-(1+\alpha)\beta/((1+\alpha)\beta+d)}\) 是否是最优的？这需要建立匹配的下界。扎根点：Theorem 17后的Conjecture语句：“We conjecture that the optimal rate is given by \(T^{-(1+\alpha)\beta/((1+\alpha)\beta+d)}\)”。

  2. 优化误差 \(\Delta_T\) 的显式控制：本文的所有风险上界都依赖于“期望经验风险差距 \(\Delta_T(p_0, \hat{p})\) 足够小”的假设。对于非凸的深度神经网络，能否证明SGD等优化算法在ICL设定下能达到这个量级的 \(\Delta_T\)？扎根点：Theorem 15的假设条件：“If \(\Delta_T(p_0, \hat{p}) \lesssim T^{-(1+\alpha)\beta/((1+\alpha)\beta+d)} K^{4+\alpha}\)”。

  3. 克服维度诅咒：本文的收敛速率 \(T^{-2\beta/(2\beta+d)}\) 受限于prompt的维度 \(d = (p+K)(N+1)\)，这在实际中可能很大。作者在Section 7中讨论了利用低维流形结构来缓解维度灾难的可能性，并引用了Havrilla and Liao (2024) 的工作。能否将Lemma 8（Transformer的逼近定理）推广到函数定义在低维流形上的情形，从而得到与内在维度而非环境维度 \(d\) 相关的风险界？扎根点：Section 7的讨论：“Extending Lemma 8 to manifold-supported functions warrants further study, as this would allow risk bounds to scale with the intrinsic dimension rather than the ambient dimension”。

  4. MLP与Transformer的实证比较：本文从理论上证明了MLP和Transformer都能达到相同的minimax最优速率。但常数项和对数因子不同（Transformer是 \(K^{4+\alpha}\)，MLP是 \(K^{5+\alpha}\)）。在实际应用中，这些理论上的细微差别是否会导致显著的性能差异？是否存在某些任务或数据分布，使得Transformer的注意力机制带来超越minimax速率的实质性优势？扎根点：Theorem 15 vs. Theorem 22的速率对比，以及Remark 23的讨论：“the convergence rate of MLPs matches that of transformer-based models”。

Maintained by 陈星宇 · Homepage · Source on GitHub

评论