Changepoint Detection in Complex Models: Cross-Fitting Is Needed¶

讲者: Chengde Qian
会场: Complex Data Analysis
报告题目: Changepoint Detection in Complex Models: Cross-Fitting Is Needed
链接: arXiv
来源: JCSDS 2026 · 返回会议总览

一、领域脉络与小综述¶

这个方向是什么¶

这个子方向是变点检测（changepoint detection），其根本的统计问题是：给定一个按时间或空间顺序排列的观测序列 {z_i}_{i=1}^n，如何识别出数据生成分布发生变化的时刻（即变点）。该问题通常被形式化为一个分段平稳模型（式 (1)），目标是估计变点的位置和数量。当前，该领域正从传统的、基于有限维参数模型（如均值变点、线性回归系数变点）的方法，向能够处理高维、非参数、复杂数据结构的灵活建模方法（如lasso、随机森林、核方法、神经网络）演进。这种演进带来了一个核心张力：模型拟合的灵活性（尤其是过拟合倾向）会严重损害变点估计的准确性。

发展脉络（history）¶

奠基工作：有限维参数模型与均匀一致性原则
- Yao (1988) 和 Bai & Perron (1998) 奠定了基于最小化样本内损失（in-sample loss）的变点检测框架。其核心原则是均匀一致性（uniform consistency）：模型估计量 \hat{f}_I 必须在所有可能的候选段 I 上（无论是否包含变点）都一致地逼近其总体目标 f^*_I。只有这样，样本内损失才能很好地近似“神谕损失”（oracle loss），从而保证变点估计的一致性。作者以均值变点为例，说明了这一原则如何成立。
主要进展：向复杂模型扩展
- 近年来，大量工作将变点检测与复杂模型结合，以处理高维或非结构化数据。这些工作包括：
  - 高维线性模型：Lee et al. (2016), Leonardi & Bühlmann (2016), Kaul et al. (2019), Rinaldo et al. (2021), Wang et al. (2021), Xu et al. (2024) 等。这些工作通常使用lasso等正则化方法，并依赖于精心预设的正则化参数来保证均匀一致性。
  - 分位数回归：Lee et al. (2018), Wang et al. (2025)。
  - 图模型：Londschien et al. (2021), Liu et al. (2021)。
  - 向量自回归模型：Bai et al. (2023)。
  - 非参数模型：Arlot et al. (2019), Londschien et al. (2023), Li et al. (2024)。其中，Londschien et al. (2023) 的工作与本文最为相关，他们使用随机森林分类器进行变点检测，并指出随机森林的袋外（out-of-bag）预测能提供无偏的概率估计，这本质上是一种样本外评估。
当前 Frontier 与本文位置
- 当前 Frontier 的困境：上述复杂模型方法虽然灵活，但通常依赖数据驱动的调参（如交叉验证）。作者指出，这种“复杂模型拟合”与“变点搜索”的耦合会导致过适应偏差（over-adaptivity bias）。例如，过参数化的深度神经网络会在任何段上都达到近乎完美的拟合（L(z_I; \hat{f}_I) ≈ 0），使得变点无法被识别。高维线性模型中的交叉验证lasso和ridgeless回归也面临类似问题（见图1）。
- 本文的位置：本文提出，解决这一困境的关键在于使用样本外损失（out-of-sample loss） 来解耦模型拟合与变点搜索。作者系统性地提出了一个交叉拟合（cross-fitting） 框架，并证明其一致性。这可以被视为对 Londschien et al. (2023) 中“袋外预测”思想的推广和理论化，将其从单一分类器、单变点场景扩展到多种模型、多变点场景，并提供了更弱的一致性条件。

子线索聚类¶

基于样本内损失最小化的方法：这是传统和当前主流的方法。其核心是设计模型估计量 \hat{f}_I 使其在所有段上均匀一致。这条线索下的工作包括上述所有奠基工作和大部分主要进展。其瓶颈在于，当模型复杂到一定程度（如高维、非参数、需要数据驱动调参）时，均匀一致性假设难以满足，导致检测失效。
基于样本外损失评估的方法：这是本文提出的新线索。其核心是使用与模型拟合数据独立的样本来评估损失，从而避免过拟合偏差。目前，这条线索上的工作相对较少，Londschien et al. (2023) 的随机森林方法是其先驱。本文是第一个系统性地提出交叉拟合框架并给出通用理论保证的工作。

这个方向在追问的核心问题¶

一致性条件：在什么条件下，基于损失最小化的变点检测方法能保证变点位置和数量的一致估计？
过拟合鲁棒性：当模型拟合过程本身容易过拟合（如高维、非参数、调参）时，如何设计损失函数或评估策略来保证检测的可靠性？
计算效率：如何设计算法，使得在引入更复杂的损失评估（如交叉拟合）时，计算开销仍然可控？
调参策略：如何为变点检测中的模型拟合（如lasso的λ）和惩罚项（γ）进行数据驱动的、一致的选择？

⚠️ 作者的 framing¶

作者的缺口框架：作者将缺口框架为“交叉拟合是必要的”。他们论证，对于复杂模型，传统的样本内损失最小化方法会因过拟合而失败，而交叉拟合通过解耦模型拟合与损失评估，提供了一个简单有效的补救措施。这使得本文成为“显然的下一步”：既然现有方法在复杂模型下会失败，那么引入样本外评估就是自然的解决方案。
被淡化或回避的竞争路线：
- 基于差异（discrepancy-based）的方法：作者在结论部分（Section 7）提到，将本框架扩展到基于差异的变点检测（如 Wang & Samworth, 2018）是一个未来方向。这暗示了本文的损失最小化框架与基于局部比较的差异方法之间存在竞争关系。作者淡化了后者，因为后者通常不直接是全局损失最小化问题。
- 对模型估计量施加更强的正则化：作者没有深入探讨是否可以通过设计更复杂的、对过拟合更鲁棒的模型估计量（如某种特殊的正则化路径）来挽救样本内方法。他们直接转向了改变损失评估方式。
什么明显该被引/该存在、却没出现在 intro 里？
- 计算复杂性理论：用户的研究兴趣中包含了“统计-计算权衡”。本文的交叉拟合方法虽然理论上优雅，但计算开销是样本内方法的M倍（M为折数）。作者在附录S1.4中提到了用“Reliever”技术来缓解计算负担，但并未在intro中提及。对于关注计算复杂性的研究者，这是一个值得查证的点：是否存在理论上的计算-统计权衡？例如，为了达到更弱的统计假设（不需要均匀一致性），是否必须付出额外的计算代价？本文没有讨论这一点。
- 去偏机器学习（DML）中的交叉拟合：作者引用了 Chernozhukov et al. (2018) 的DML，但并未深入比较。DML中的交叉拟合是为了消除正则化偏差以实现半参数效率，而本文的交叉拟合是为了消除过拟合偏差以实现变点检测的一致性。虽然动机不同，但技术上的联系（如样本分割、Neyman正交性）值得深挖。本文没有讨论是否可以将DML中的Neyman正交性思想引入变点检测，以进一步放松条件。

张力¶

未见明显对立引用。所有被引工作基本都遵循“均匀一致性”范式，而本文挑战了这一范式在复杂模型下的可行性。这是一种范式上的演进，而非矛盾。

二、最核心、最简单的例子 / 数学问题¶

第一步：把符号、模型、可观测数据交代清楚¶

符号：
- z_i：第 i 个观测值，是随机变量。
- n：样本量。
- K^*：真实变点的数量。
- τ^*_k：第 k 个真实变点的位置（索引），k = 1, ..., K^*。
- T^* = (τ^*_1, ..., τ^*_{K^*})：真实的分段集合。
- f^*_i：在位置 i 处的“真实”模型/参数（如均值、回归系数、密度函数）。它是潜在量，是我们想要估计的对象。
- F：可行的模型空间。
- ℓ(z_i; f)：个体损失函数，衡量模型 f 对观测 z_i 的拟合程度。例如，平方损失 (y_i - x_i^T f)^2。
- L(z_I; f) = Σ_{i∈I} ℓ(z_i; f)：模型 f 在段 I 上的经验损失。
- L_I(f) = E[L(z_I; f)]：模型 f 在段 I 上的期望损失。
- f^*_I = arg min_{f∈F} L_I(f)：段 I 上的神谕模型（oracle model），是潜在量。
- \hat{f}_I：基于段 I 的数据拟合得到的模型估计量，是可计算的。
- L_{in}(T)：分段 T 的样本内总损失（式 (3)）。
- L_{cf}(T)：分段 T 的交叉拟合总损失（式 (4)）。
- γ：惩罚参数，用于惩罚过多的分段。
- d_m：最小段长阈值。
- Δ_k：第 k 个变点处的变化信号强度，由损失函数的差异定义。
- d_{acc,n}：变点定位精度的速率（rate），如 s_n log p 或 n^{p/(2r+p)} log n。
模型：
- 数据生成机制：分段平稳模型（式 (1)）。观测序列 {z_i} 被 K^* 个未知变点 {τ^*_k} 分成 K^*+1 个连续的段。在每个段 (τ^*_{k-1}, τ^*_k] 内，所有观测 z_i 服从同一个分布 P_{τ^*_k}，该分布由一个共同的模型/参数 f^*_{τ^*_k} 决定。
- 目标：估计变点集合 T^*。
可观测数据：
- 研究者能观测到的是整个序列 {z_i}_{i=1}^n。
- 想要但观测不到的是：
  1. 真实变点位置 τ^*_k 和数量 K^*。
  2. 每个段内的真实模型 f^*_{τ^*_k}。
  3. 每个段上的神谕模型 f^*_I。
- 识别策略：通过最小化一个精心设计的损失函数（如 L_{cf}(T)），使得在真实分段 T^* 处损失最小，从而识别变点。这依赖于损失函数能够近似“神谕损失” L_{oracle}(T)。

第二步：讲最小内核¶

本文的最小内核是：在一个单变点的高维线性模型中，使用交叉验证的lasso作为模型拟合工具，为什么样本内损失会失效，而交叉拟合损失能成功？

最简特例：
- 设定：n=500, p=1000, K^*=1, τ^*_1=150。数据来自高维线性模型 y_i = x_i^T f^*_i + ε_i，其中 f^*_i 在 τ^*_1=150 处发生变化。模型拟合使用交叉验证的lasso。
- 可观测数据：{ (y_i, x_i) }_{i=1}^{500}，其中 x_i ∈ R^{1000}。
- 问题：对于任意一个候选变点位置 τ，我们需要计算总损失 L(τ) = L(z_{(0,τ]}; \hat{f}_{(0,τ]}) + L(z_{(τ,n]}; \hat{f}_{(τ,n]})。传统方法使用样本内损失 L_{in}(τ)，即用段 (0,τ] 的数据拟合lasso，再用同一段的数据计算损失。
- 为什么样本内损失会失败？：如图1(a)所示，样本内损失曲线在远离真实变点 τ^*=150 的地方（如 τ=300）反而达到最小值。这是因为lasso在拟合段 (0,300] 时，由于该段包含了两个不同分布的混合数据（f^* 在150处变化），模型 \hat{f}_{(0,300]} 会试图去拟合这种混合结构。由于高维和过参数化，这个模型可能会过拟合，使得它在训练数据 (0,300] 上的损失非常小，甚至比在真正同质的段 (0,150] 上的损失还要小。这违反了“均匀一致性”原则，导致损失函数无法正确反映分段的好坏。
- 交叉拟合如何解决？：交叉拟合损失 L_{cf}(τ) 将每个候选段 I 再分成M个折。对于第m折，模型 \hat{f}_{J_{-m,I}} 是在不包含第m折数据的训练集上拟合的，然后在独立的第m折验证集上计算损失。这彻底解耦了模型拟合和损失评估。即使模型在训练集上过拟合，它在独立的验证集上的预测误差仍然会很大。因此，如图1(a)所示，交叉拟合损失曲线在真实变点 τ=150 处达到最小值，因为只有在这个位置，左右两个段 (0,150] 和 (150,500] 才是真正同质的，其模型在各自验证集上的预测误差才最小。
- 核心思路：通过样本分割，将“模型拟合得好不好”的判断权交给未见过的数据，从而消除过拟合带来的虚假低损失。这使得一致性条件从“模型在所有段上均匀一致”放松为“模型在近乎同质的段上预测准确”（Condition 3）。

三、这篇论文做了什么¶

三句话¶

研究了什么问题：研究了在复杂模型（如高维线性模型、非参数密度估计）下，如何可靠地进行变点检测，特别是当模型拟合过程容易过拟合时。
核心工具/方法：提出了一个通用的交叉拟合（cross-fitting） 框架，用样本外损失替代传统的样本内损失来评估分段的好坏，并引入了回收交叉验证（Recycled Cross-Validation, RECV） 来高效地同时进行模型选择和损失评估。
主要结论：建立了在温和条件下交叉拟合变点检测一致性的通用理论框架。该理论表明，一致性主要依赖于模型在近乎同质的数据段上的预测准确性，而非传统方法所需的、更严格的“在所有段上均匀一致”。该理论被成功应用于高维线性模型和多元非参数模型，并扩展到了时间依赖数据。

关键设定与假设¶

核心记号：在第二节最小记号的基础上，补充：
- J_{m,I}：段 I 的第 m 个验证折。
- J_{-m,I} = I \ J_{m,I}：段 I 的第 m 个训练折。
- \hat{f}_{J_{-m,I}}：在训练折 J_{-m,I} 上拟合的模型。
- ξ_I：近似误差，衡量经验损失 L_I 与神谕损失 Σ_{i∈I} ℓ(z_i; f^*_i) 之间的差异（经过中心化）。
- I_{nhomo}：近乎同质的段集合。这些段要么不包含变点，要么只包含一个变点且端点离该变点很近（距离为 O(d_{acc,n}Δ^{-1}_k)）。
关键假设：
- Condition 1 (Changes)：对变点信号强度 Δ_k、最小段长和信号可比性做出假设。这是变点检测问题的标准假设。
- Condition 2 (Smoothness of the loss)：对损失函数的尾部行为（子威布尔尾）和敏感性做出假设。这是为了建立非渐近的浓度不等式。
- Condition 3 (Model's predictive accuracy)：这是本文的核心假设。它要求交叉拟合方法在近乎同质的段 I ∈ I_{nhomo} 上，其预测损失 L_{J_{m,I}}(\hat{f}_{J_{-m,I}}) 与神谕预测损失 L_{J_{m,I}}(f^*_{J_{-m,I}}) 之差被 d_{acc,n} 控制。这比传统方法要求的“在所有段上均匀一致”要弱得多。
- Condition 4 (Model's predictive accuracy, existence)：这是RECV的假设，比Condition 3更弱。它只要求存在一个候选调参 λ_I 使得Condition 3成立，而不要求预先选定的模型满足该条件。
- Condition 5 (Linear model and loss)：高维线性模型的标准假设（子高斯协变量和噪声、稀疏性）。
- Condition 7 (Density and kernel)：非参数密度估计的标准正则性条件（Hölder类、核函数性质）。
- Condition 9 (Temporal dependence)：针对时间依赖数据的假设，使用函数依赖度量（FDM）和算法稳定性来控制模型与验证集之间的相关性。

主要结果¶

定理1 (Cross-fitting ensures consistent detection)：在独立数据下，若Conditions 1, 2, 3成立，则最小化交叉拟合目标 L_{cf}(T) 得到的变点估计 \hat{T}_{cf} 满足：
- \hat{K}_{cf} = K^* （变点数量一致估计）
- max_{1≤k≤K^*} min_{1≤j≤\hat{K}_{cf}} |τ^*_k - \hat{τ}_{cf,j}| ≤ \tilde{C} d_{acc,n} Δ^{-1}_k （变点位置以速率 d_{acc,n} 一致估计）
- 概率至少为 1 - p_n - n^{-C}。
- 直觉：该定理的核心是证明在交叉拟合下，事件 G = G_{nhomo} ∩ G_{-nhomo} 以高概率成立。G_{nhomo} 要求对近乎同质段，近似误差 |ξ_I| 很小；G_{-nhomo} 要求对其他段，ξ_I 有一个下界。交叉拟合通过样本外评估，使得 G_{nhomo} 只需Condition 3（预测准确性），而 G_{-nhomo} 在温和条件下自动满足，从而绕过了传统方法对均匀一致性的强需求。
定理2 (Theoretical guarantees for RECV)：在独立数据下，若Conditions 1, 2, 4成立，则最小化RECV目标 L_{recv}(T) 得到的变点估计 \hat{T}_{recv} 满足与定理1相同的结论。
- 直觉：RECV通过 min_{λ∈Λ} 操作，自动选择表现最好的候选模型，因此只需Condition 4（存在一个好的候选），而无需预先指定。这为数据驱动的调参提供了理论保证。
推论1 (High-dimensional linear models)：在高维线性模型下，使用RECV和交叉验证lasso，在Conditions 5, 6下，变点检测达到近最优的定位速率 d_{acc,n} = s_n log p。
- 意义：该推论表明，RECV可以自适应地选择lasso的惩罚参数，达到与使用最优预设参数相同的检测速率，而无需手动调整。
推论2 (Multivariate nonparametric models)：在多元非参数模型下，使用RECV和核密度估计，在Conditions 7, 8下，变点检测达到非参数速率 d_{acc,n} = n^{p/(2r+p)} log^2 n。
- 意义：该推论表明，RECV可以自适应地选择核密度估计的带宽，达到与最优预设带宽相同的检测速率。
定理3 (Temporally dependent data)：将交叉拟合和RECV的一致性保证扩展到时间依赖数据。通过使用块状分割（blockwise splitting） 和缓冲（buffer） 机制，并假设函数依赖度量（FDM）指数衰减，定理1和2的结论仍然成立。

证明路线与技术技巧¶

整体路线：
1. 引理1 (通用一致性条件)：首先，不依赖具体的损失评估方式，建立了一个通用引理。该引理指出，只要事件 G = G_{nhomo} ∩ G_{-nhomo} 成立（即对近乎同质段，近似误差有上界；对其他段，近似误差有下界），那么变点检测就是一致的。这个引理将问题转化为证明事件 G 以高概率成立。
2. 证明 G_{nhomo} 对交叉拟合成立：对于近乎同质段 I ∈ I_{nhomo}，交叉拟合损失 L_{cf}(I) 的近似误差 ξ_I 可以分解为两部分：模型预测误差（由Condition 3控制）和神谕损失本身的波动。通过Condition 2（损失函数的尾部行为）和Bernstein不等式，可以证明神谕损失的波动被 d_{acc,n} 控制。因此，|ξ_I| 被 d_{acc,n} 控制。
3. 证明 G_{-nhomo} 对交叉拟合成立：对于非同质段 I ∉ I_{nhomo}，交叉拟合损失 L_{cf}(I) 的近似误差 ξ_I 只需要一个下界。证明的关键在于，由于模型 \hat{f}_{J_{-m,I}} 是在训练折上拟合的，它与验证折 J_{m,I} 的数据独立。因此，交叉项（cross term）的期望为零，其波动可以被控制。结合Condition 2和Bernstein不等式，可以证明 ξ_I 不会太小，从而满足下界条件。关键跳跃点：这里与传统样本内方法形成鲜明对比。在样本内方法中，交叉项 u_I^T X_I (\hat{f}_I - f^*_I) 的期望不为零，且其大小与模型复杂度（如选中的变量数 |\hat{S}_I|）有关，可能导致 ξ_I 严重偏负，违反下界条件（见Proposition 1和Table S2）。
4. 证明RECV的一致性：RECV的证明基于一个简单的观察：L_{recv}(I) = min_{λ∈Λ} L_{cf,λ}(I)。因此，L_{recv}(I) 的近似误差 ξ_{I,recv} 的上界由最好的那个候选 λ_I 决定（由Condition 4保证），而下界则通过对所有 λ∈Λ 取并集（union bound）来保证。由于 |Λ| 是多项式级的，并集损失可以忽略。
技术技巧点名：
- Bernstein不等式（Lemma S3）：用于控制独立随机变量和的尾部概率，是证明浓度不等式的核心工具。本文使用了适用于子威布尔（sub-Weibull）尾的版本。
- 子威布尔（sub-Weibull）尾假设（Condition 2(a)）：一种比子高斯、子指数更一般的尾部假设，用于处理更广泛的损失函数和噪声分布。
- 回收交叉验证（RECV）：一个巧妙的技术，将交叉验证中的损失值直接“回收”作为变点检测的损失评估，避免了额外的计算开销。
- 函数依赖度量（FDM, Condition 9）：用于刻画时间序列数据依赖性的工具，通过耦合论证来控制模型与验证集之间的相关性。
- 方差自适应的Bernstein不等式（Theorem S1）：针对函数依赖序列，本文在附录中推导了一个新的、依赖于局部方差和而非全局最大方差的Bernstein不等式，这是处理异方差时间序列的关键。
- Cantor树构造（Proposition S1, S2）：在证明时间依赖序列的浓度不等式时，使用了多级Cantor树构造技术来解耦长程依赖。

真实例子与应用¶

蜜蜂摇摆舞数据（Bee-Dance dataset）：
- 数据：记录了一只蜜蜂在x、y方向的像素位置和身体角度θ的时间序列。目标是从这些运动特征（前向速度、侧向速度、转向速度）中检测出蜜蜂摇摆舞的三个不同状态之间的转换点。
- 方法应用：使用非参数损失（负对数似然），用核密度估计（KDE）来估计每个段的密度。将本文的RECV方法与对应的样本内方法（in-cv）进行比较。变点数量K固定为15（来自视频分析的先验知识）。
- 结果：RECV方法检测到的变点更接近参考变点，而样本内方法倾向于对小的局部波动做出反应，并遗漏了中间部分的两个变点。图7直观地展示了RECV方法提供了更稳定的分段结果。
- 说明的问题：该例子验证了在真实数据中，样本外损失评估（RECV）比样本内损失评估更可靠，能有效避免过拟合导致的虚假变点。
aCGH数据（Array CGH data）：
- 数据：43个膀胱肿瘤样本在2215个基因组位点上的DNA拷贝数对数比率。目标是识别在队列中普遍存在的拷贝数变化位点。
- 方法应用：使用随机森林作为非参数模型拟合工具，比较in-cv和recv方法。通过一个独立的测试集（偶数索引观测）进行局部两样本核检验来评估检测到的变点的可靠性。
- 结果：recv方法检测到的变点中，被后续检验确认为“真阳性”的比例更高，而in-cv方法报告了更多的“假阳性”。表S3和表S4详细列出了不同显著性水平下的假阳性/真阳性数量。
- 说明的问题：该例子进一步证明了交叉拟合方法在复杂、高维、非参数的真实数据分析中，能提供更可靠的变点检测结果，尤其是在控制假阳性方面。

🔎 结论是否比证明窄¶

定理1和2的“精确最小化”假设：定理1和2的结论依赖于求解优化问题 (7) 的精确全局最小值。然而，在实际中，对于复杂的损失函数，精确求解是NP难的，通常使用近似算法（如SeedBS）。作者在附录S1.3中展示了SeedBS的数值表现与精确解（OP）相近（图S1, S2），但没有提供理论保证。因此，定理的结论在理论上比实际应用要窄——它保证的是“精确最小化”下的性质，而非“近似最小化”下的性质。这是一个值得注意的gap。
RECV的“存在性”假设（Condition 4）：推论1和2的证明依赖于Condition 4，即存在一个“好的”候选调参。对于lasso，这个条件可以通过标准理论保证。但对于更复杂的模型（如深度神经网络），是否存在这样一个候选调参（例如，在某个网格上的某个λ）使得预测误差被控制，可能并不显然。因此，推论的应用范围受限于我们对模型拟合过程的理论理解。
对时间依赖数据的扩展（Theorem 3）：定理3的证明依赖于Condition 9，特别是“均方相对算法稳定性”（Condition 9(c)）。这个条件在实际中是否容易验证？作者在Remark 4中给出了平方损失下的一个例子，但并未给出一个通用的验证方法。因此，该定理的结论在理论上成立，但其应用范围可能受限于对算法稳定性的验证。

四、开放问题（点到为止，扎根具体语句）¶

联合选择变点数量和惩罚参数：本文的RECV策略主要用于选择模型拟合的调参（如lasso的λ），而惩罚参数γ的选择仍然依赖于一个独立的hold-out策略。作者在结论中提到：“Developing principled data-driven procedures for selecting the number of changepoints... remains an important direction for future research.” (Section 7, 第一段)。一个开放问题是：能否将RECV的思想扩展到同时选择γ和λ，实现变点数量和位置的联合一致估计？
扩展到基于差异的变点检测：本文的框架基于损失最小化。作者在结论中提到：“it would be of interest to extend the present loss-minimization framework to discrepancy-based changepoint detection” (Section 7, 第二段)。这类方法（如Wang & Samworth, 2018）通常依赖于局部比较，与交叉拟合的兼容性如何？能否发展出一个统一的理论？
理论扩展到ridgeless回归：作者在Remark 2中指出，将理论扩展到ridgeless回归是一个有前景的方向。ridgeless回归是过参数化模型的典型代表，其预测性能在“良性过拟合”（benign overfitting）条件下可以得到保证。一个开放问题是：能否在“良性”条件下，验证Condition 3（模型在近乎同质段上的预测准确性），从而将本文的理论框架覆盖到ridgeless回归？
计算复杂性与统计效率的权衡：本文的交叉拟合方法在计算上是样本内方法的M倍。虽然作者提出了RECV和Reliever技术来缓解，但并未从理论上分析这种计算开销是否是必要的。一个开放问题是：是否存在一个统计-计算权衡？即，为了达到比传统方法更弱的统计假设（不需要均匀一致性），是否必须付出至少 O(M) 倍的计算代价？或者，是否存在更高效的计算策略？这个问题直接关联到用户对“统计-计算权衡”的兴趣。

Maintained by 陈星宇 · Homepage · Source on GitHub