跳转至

Targeted cross-validation

作者: Jiawei Zhang, Jie Ding, Yuhong Yang
来源: Bernoulli
主题: 数理统计 / 假设检验
相关性: 6/10
机构绿灯: University of Minnesota（US News 前 50，免分进入精读）
链接: 期刊页 · arXiv

一、领域脉络与小综述

这个方向是什么

这个子方向是模型选择中的交叉验证（CV）理论，核心问题是：给定一组候选的统计模型或建模方法（从简单的线性回归到复杂的机器学习算法），如何基于数据可靠地选出对未来预测表现最好的那个。CV 是最广泛使用的经验风险估计与模型选择工具，但其理论性质——尤其是“选择一致性”（即随着样本量增大，选中最优候选的概率趋于 1）——在很长一段时间内只对有限维参数模型或光滑参数选择有严格刻画。本文聚焦于一个更精细的设定：当研究者只关心预测变量空间中的某个特定区域（而非全局）时，如何设计并理论保证一种“目标化”的 CV 方法。

发展脉络（history）

奠基工作（2000 年代中后期）：CV 选择一致性的严格理论始于 Yang (2007) [1]。他证明了在回归与分类设定下，当比较参数与非参数方法时，只要数据分割比例选择得当，CV 能以趋于 1 的概率选出更好的那个。关键发现是：当两个候选以相同非参数速率收敛时，用于评估的数据比例不需要占主导，甚至可以比用于估计的比例小得多——这与参数情形截然不同。这篇工作为后续所有 CV 一致性理论奠定了基础。

主要进展（2009-2013）：这一阶段有两个并行线索。一是CV 的全面理论梳理：Arlot & Celisse (2009) [3] 和 Ding et al. (2018) [5] 提供了 CV 方法的大规模综述，区分了经验性陈述与严格理论结果。二是CV 在高维变量选择中的一致性：Feng & Yu (2013) [12] 发现标准 CV 在高维中容易过选（over-selection），并提出 leave-n_v-out CV 在受限候选模型集上实现了“受限模型选择一致性”。同期，Celisse (2008) [11] 在密度估计框架下推导了 leave-p-out CV 的风险闭式表达式，揭示了 p 的选择在“估计”与“识别”两个目标下的不同最优行为。

当前 frontier（2017-2020）：两个方向开始交汇。一是CV 的不确定性量化：Lei (2017) [6] 提出“带置信的 CV”，输出一个以高概率包含最优模型的候选子集，而非单一选择。二是CV 与聚合的结合：Maillard et al. (2019) [9] 提出 Aggregated Hold-Out（Agghoo），对单次分割的 hold-out 选择结果做平均，首次给出理论保证。这些工作都在试图弥补标准 CV 的“点估计”式选择在有限样本下的不稳定性。

本文的位置：本文在以上脉络中切入了一个被忽视的缺口——区域特定兴趣。所有上述 CV 理论都基于全局 L₂ 损失。本文提出目标交叉验证（TCV），将加权 L₂ 损失引入 CV 框架，并证明其选择一致性。更重要的是，本文放宽了 CV 一致性理论中长期依赖的“静态排名”假设（即当样本量足够大时，候选方法的相对排名固定不变），允许最优候选随样本量变化而切换——这在高维和自适应建模场景中更现实。

子线索聚类

这些被引文献大致落在三条子线索上：

  1. CV 选择一致性的理论条件（Yang 2007; Feng & Yu 2013; Celisse 2008）：研究 CV 在什么条件下能以概率 1 选中最优候选。核心关注点是数据分割比例、候选模型集合的结构、以及“静态排名”假设。
  2. CV 的变体与改进（Lei 2017; Maillard et al. 2019; Arlot & Celisse 2009 的 segmentation 工作）：在标准 CV 基础上加入不确定性量化、聚合、或针对特定数据结构（如异方差）的调整。
  3. 模型选择的一般理论（Baraud 2009; Baraud et al. 2010; Fan & Peng 2004; Zhang 2010）：这些工作不限于 CV，而是提供基于风险估计或惩罚的通用选择框架。本文引用它们主要是为了说明“高维方法通常隐含三角阵列设定”这一背景。

这个方向在追问的核心问题

  1. CV 何时一致？——需要什么条件（数据分割比例、候选集合结构、收敛速率关系）？
  2. CV 选的是“最优”还是“近似最优”？——一致性是强性质（选中最优），但许多实际场景中只要求“不差太多”（oracle inequality）。
  3. CV 在高维中为何过选？——Feng & Yu (2013) 揭示了“mis-alignment”问题，即 CV 的评估目标（预测误差）与变量选择目标（稀疏性）不一致。
  4. 当候选方法的表现随样本量动态变化时，CV 还能一致吗？——这是本文直接挑战的问题。

⚠️ 作者的 framing（必须明确标注成“这是作者的说法”）

作者把缺口 frame 成什么：作者在引言中强调，现有 CV 理论都依赖“静态排名”假设（即当 n 足够大时，候选方法的相对排名固定），但“在数据生成过程变化或高度自适应建模方法的设定下，方法的相对表现并非静态”。因此，本文“拓宽了选择一致性的概念，允许最优候选随样本量变化而切换”。这是作者让本文成为“显然的下一步”的叙事策略。

哪些竞争路线被他淡化或回避了： - 作者提到“除了 CV，[5] 和 [6] 的方法（Baraud 2009; Baraud et al. 2010）也可用于选择一般建模程序”，但没有深入比较。这些方法基于风险估计的 oracle 不等式，不依赖 CV 的分割随机性，理论上可能更稳健。作者回避了“为什么不直接用这些方法做区域特定选择”的问题。 - 作者提到 Lei (2017) 的“带置信的 CV”，但没有讨论其方法能否直接推广到加权损失——如果能，那 TCV 的贡献就只是“加权”而非“动态排名”了。

什么明显该被引 / 该存在、却没出现在 intro 里？ - 没有引用任何关于“加权损失”或“局部风险”的模型选择理论。例如，局部多项式回归中的带宽选择、或变系数模型中的局部 CV 方法——这些工作直接处理“区域特定”的预测，但本文完全没有提及。这可能是作者刻意回避的竞争路线。 - 没有引用任何关于“非静态排名”的已有结果。作者声称这是本文的主要贡献，但如果有任何已有工作（例如在时间序列或在线学习领域）已经处理了“最优模型随时间/样本量变化”的问题，本文的 novelty 就会被削弱。值得研究者去查：在在线学习或概念漂移（concept drift）文献中，是否有类似“动态最优模型选择”的结果？

张力：未见明显对立引用。所有被引工作基本在“CV 一致性需要静态排名”这一点上一致，本文是第一个挑战这一假设的。

二、最核心、最简单的例子 / 数学问题

第一步：把符号、模型、可观测数据交代清楚

符号： - \((X, Y)\)：一对随机变量，\(X \in \mathcal{X}\) 是预测变量，\(Y \in \mathbb{R}\) 是响应变量。联合分布 \(P\) 未知。 - \(\{(X_i, Y_i)\}_{i=1}^n\)：独立同分布于 \(P\) 的可观测样本。 - \(\mathcal{F} = \{f_1, \dots, f_M\}\)：\(M\) 个候选建模方法（或模型）。每个 \(f_m\) 是一个过程（procedure），即从训练数据到预测函数的映射：\(f_m(\cdot; \text{training data})\)。注意：\(f_m\) 不是固定的函数，而是依赖于训练数据的估计量。 - \(L(y, \hat{y}) = (y - \hat{y})^2\)：平方损失。 - \(w(x) \geq 0\)：一个已知的权重函数，定义在 \(\mathcal{X}\) 上，反映研究者对预测变量空间各区域的兴趣程度。\(\int w(x) dx = 1\) 或归一化到某个常数。 - 加权 L₂ 风险：\(R_w(f_m) = \mathbb{E}_{(X,Y) \sim P} \left[ w(X) (Y - f_m(X; \text{training data}))^2 \right]\)。注意：这里的期望是对新观测 \((X,Y)\) 和训练数据的随机性取的。这是本文要估计和比较的目标量。 - 目标最优候选：\(m^*_n = \arg\min_{m} R_w(f_m)\)。下标 \(n\) 表示最优候选可能随样本量变化（因为 \(f_m\) 的表现依赖于训练数据量）。 - TCV 估计量：\(\widehat{R}_w^{\text{TCV}}(f_m)\)：基于数据分割和加权损失构造的 \(R_w(f_m)\) 的估计量。具体构造见下文。

模型： - 无参数模型假设。\(P\) 完全未知，只要求某些矩条件存在（如 \(\mathbb{E}[Y^4] < \infty\)）。 - 候选方法 \(\mathcal{F}\) 可以是任何东西：线性回归、随机森林、神经网络、平滑样条……只要它们对训练数据有定义。 - 权重函数 \(w(x)\) 由研究者事先指定，不依赖于数据。这是“目标化”的关键：研究者事先知道（或决定）自己关心哪个区域。

可观测数据： - 研究者观测到 \(\{(X_i, Y_i)\}_{i=1}^n\)，即 \(n\) 个独立同分布的 \((X,Y)\) 对。 - 想要但观测不到的是：对于每个候选方法 \(f_m\)，其加权风险 \(R_w(f_m)\)。这是一个关于未来数据的期望，无法直接计算。CV 通过数据分割来模拟“未来数据”来估计它。

第二步：讲最小内核

最简特例：\(M=2\)（只有两个候选方法），\(X\) 是一维连续变量，\(w(x) = \mathbb{I}(x \in [a, b])\)（即研究者只关心 \(X\) 落在区间 \([a,b]\) 内的预测表现）。这是“区域特定兴趣”的最简单形式。

在这个特例下，要解决的问题是：给定样本 \(\{(X_i, Y_i)\}_{i=1}^n\)，判断 \(f_1\) 和 \(f_2\) 哪个在区间 \([a,b]\) 上的加权 L₂ 风险更小。即，判断 \(R_w(f_1) < R_w(f_2)\) 还是相反。

标准 CV 的做法：将数据随机分成训练集 \(D_{\text{train}}\)（大小 \(n_c\)）和验证集 \(D_{\text{val}}\)（大小 \(n_v = n - n_c\)）。对每个 \(m\)，用 \(D_{\text{train}}\) 训练 \(f_m\)，然后在 \(D_{\text{val}}\) 上计算：

\[\widehat{R}^{\text{CV}}(f_m) = \frac{1}{n_v} \sum_{i \in D_{\text{val}}} (Y_i - f_m(X_i; D_{\text{train}}))^2\]
然后选 \(\widehat{R}^{\text{CV}}\) 小的那个。问题：这个估计量对 \([a,b]\) 内外的点一视同仁，如果 \(f_1\) 在 \([a,b]\) 外表现极好但在 \([a,b]\) 内一般，而 \(f_2\) 相反，标准 CV 可能选错。

TCV 的做法：在验证集上使用加权损失：

\[\widehat{R}_w^{\text{TCV}}(f_m) = \frac{1}{n_v} \sum_{i \in D_{\text{val}}} w(X_i) (Y_i - f_m(X_i; D_{\text{train}}))^2\]
当 \(w(x) = \mathbb{I}(x \in [a,b])\) 时，这等价于只使用验证集中落在 \([a,b]\) 内的点来计算平均损失。直觉上，这直接估计了区域特定的风险。

核心数学困难：当 \(w(x)\) 只在 \([a,b]\) 上非零时，验证集中落在 \([a,b]\) 内的点可能很少（如果 \([a,b]\) 是稀疏区域）。这意味着 \(\widehat{R}_w^{\text{TCV}}\) 的方差可能很大。但本文证明，只要 \(n_v \to \infty\) 且 \(n_c \to \infty\)（即训练集和验证集都趋于无穷），TCV 仍然一致——即 \(P(\widehat{R}_w^{\text{TCV}}(f_1) < \widehat{R}_w^{\text{TCV}}(f_2)) \to 1\) 当 \(R_w(f_1) < R_w(f_2)\) 时。关键在于：加权损失下的 CV 一致性条件与全局 CV 类似，但需要权重函数 \(w\) 的支撑集上的点足够多（即 \(\int w(x) dP_X(x) > 0\)，其中 \(P_X\) 是 \(X\) 的边缘分布）。

本文的关键想法：将“静态排名”假设替换为更弱的“动态排名”条件。在 \(M=2\) 的特例下，静态排名假设是：存在 \(N\) 使得对所有 \(n > N\)，\(R_w(f_1) < R_w(f_2)\) 或反之。动态排名允许 \(R_w(f_1) < R_w(f_2)\) 和 \(R_w(f_1) > R_w(f_2)\) 交替出现无限多次，只要交替的频率足够低（具体条件见下文定理）。这对应着“最优候选随样本量变化”的场景。

三、这篇论文做了什么

三句话

  1. 研究了什么问题：在预测变量空间的特定区域上选择最优建模方法的问题，提出了目标交叉验证（TCV）——一种基于加权 L₂ 损失的 CV 方法。
  2. 核心工具/方法：将标准 CV 的平方损失替换为加权平方损失 \(w(x)(y - \hat{y})^2\)，其中 \(w(x)\) 由研究者事先指定；在“动态排名”框架下建立选择一致性理论。
  3. 主要结论：TCV 在加权 L₂ 损失下是选择一致的（定理 1-3），且一致性条件比标准 CV 更宽松——允许最优候选随样本量变化而切换，不要求“静态排名”。

关键设定与假设

在第二节记号基础上，补全完整设定：

  • 数据分割：将 \(n\) 个样本随机分成训练集 \(D_{\text{train}}\)（大小 \(n_c\)）和验证集 \(D_{\text{val}}\)（大小 \(n_v = n - n_c\)）。分割比例 \(\pi_n = n_c / n\) 可以随 \(n\) 变化。TCV 可以重复多次分割（如 V-fold），但理论分析主要针对单次分割。
  • 候选方法：\(\mathcal{F} = \{f_1, \dots, f_M\}\)，每个 \(f_m\) 是一个过程（procedure），即从训练数据到预测函数的映射。注意：\(f_m\) 不是固定的函数，而是依赖于训练数据的估计量。这是本文与“模型选择”（如选择多项式阶数）的关键区别——它选择的是方法而非模型。
  • 加权风险：\(R_w(f_m) = \mathbb{E}_{(X,Y), D_{\text{train}}} [ w(X) (Y - f_m(X; D_{\text{train}}))^2 ]\)。期望对新观测 \((X,Y)\) 和训练数据 \(D_{\text{train}}\) 的随机性同时取。
  • TCV 估计量（单次分割）：
    \[\widehat{R}_w^{\text{TCV}}(f_m) = \frac{1}{n_v} \sum_{i \in D_{\text{val}}} w(X_i) (Y_i - f_m(X_i; D_{\text{train}}))^2\]
    对于 V-fold TCV，取所有折的平均。

关键假设（本文定理 1 的条件，简化版）： 1. 矩条件：\(\mathbb{E}[Y^4] < \infty\)，且 \(\mathbb{E}[w(X)^2] < \infty\)。 2. 训练集大小条件：\(n_c \to \infty\) 且 \(n_v \to \infty\) 当 \(n \to \infty\)（即训练集和验证集都趋于无穷）。 3. 风险有界：\(\sup_{m} \mathbb{E}[w(X) (Y - f_m(X; D_{\text{train}}))^4] < \infty\)。 4. 排名条件（动态排名）：存在一个序列 \(\{m^*_n\}\)（最优候选可能随 \(n\) 变化），以及一个常数 \(\delta > 0\)，使得对足够大的 \(n\)，\(R_w(f_{m^*_n}) \leq \min_{m \neq m^*_n} R_w(f_m) - \delta\)。即最优候选的领先优势至少为 \(\delta\)（不随 \(n\) 衰减）。

相比已有文献放宽或强化了哪些： - 放宽：不要求“静态排名”（即 \(m^*_n\) 最终固定）。Yang (2007) 和 Feng & Yu (2013) 都依赖这一假设。 - 强化：要求领先优势 \(\delta\) 不随 \(n\) 衰减。在静态排名下，这等价于要求最优候选的收敛速率严格快于次优候选——这是一个更强的条件。实际上，如果两个候选以相同速率收敛（如都是 \(n^{-1/2}\)），它们的风险差可能以 \(n^{-1/2}\) 衰减，不满足 \(\delta\) 不衰减的条件。这意味着本文的动态排名框架并没有真正放松一致性条件，而是改变了条件的形式：从“排名最终固定”变成了“领先优势不衰减”。这两种条件哪个更弱，取决于具体场景。

主要结果

定理 1（TCV 的选择一致性）：在以上假设下，对任意 \(m \neq m^*_n\)，

\[P\left( \widehat{R}_w^{\text{TCV}}(f_{m^*_n}) < \widehat{R}_w^{\text{TCV}}(f_m) \right) \to 1 \quad \text{as } n \to \infty.\]
即 TCV 以趋于 1 的概率选出加权风险最小的候选。

直觉：\(\widehat{R}_w^{\text{TCV}}(f_m)\) 是 \(R_w(f_m)\) 的无偏估计量（对训练数据和验证数据的随机性取期望）。其方差为 \(O(1/n_v)\)。由于 \(n_v \to \infty\)，方差趋于 0，因此 \(\widehat{R}_w^{\text{TCV}}(f_m)\) 依概率收敛到 \(R_w(f_m)\)。结合领先优势 \(\delta > 0\)，即可得一致性。

必要条件：\(n_v \to \infty\) 是必要的——如果验证集大小有界，TCV 的方差不会消失，一致性不成立。这与 Yang (2007) 的结论一致。

解决的技术难点：本文的主要技术贡献不在于证明的难度（上述直觉基本就是证明的核心），而在于概念框架的拓宽——将“动态排名”纳入 CV 一致性理论。证明本身是标准的大数定律应用。

定理 2（V-fold TCV 的一致性）：将单次分割推广到 V-fold。结论类似，但需要 V 固定且每折的验证集大小都趋于无穷。

定理 3（高维场景下的 TCV）：当候选方法数量 \(M\) 随 \(n\) 增长时（如 \(M = O(n^c)\)），TCV 仍然一致，但需要更强的矩条件（如 \(\mathbb{E}[Y^{4+\epsilon}] < \infty\)）和更慢的 \(M\) 增长速度。

证明路线与技术技巧

整体路线（3-5 步逻辑主干）：

  1. 无偏性：证明 \(\mathbb{E}[\widehat{R}_w^{\text{TCV}}(f_m)] = R_w(f_m)\)。这是直接的：对验证集上的每个点，条件于训练数据，\(\mathbb{E}[w(X)(Y - f_m(X))^2 | D_{\text{train}}] = R_w(f_m)\)；再对训练数据取期望即得。
  2. 方差控制：证明 \(\text{Var}(\widehat{R}_w^{\text{TCV}}(f_m)) = O(1/n_v)\)。利用矩条件和 \(w\) 的有界性（或二阶矩条件），通过独立同分布随机变量的方差公式得到。
  3. Chebyshev 不等式：对任意 \(\epsilon > 0\)，\(P(|\widehat{R}_w^{\text{TCV}}(f_m) - R_w(f_m)| > \epsilon) \leq \text{Var} / \epsilon^2 \to 0\)。因此 \(\widehat{R}_w^{\text{TCV}}(f_m) \xrightarrow{p} R_w(f_m)\)。
  4. 联合收敛：由于 \(M\) 固定（或增长不太快），所有 \(\widehat{R}_w^{\text{TCV}}(f_m)\) 同时依概率收敛到各自的 \(R_w(f_m)\)。
  5. 一致性：由领先优势 \(\delta > 0\)，存在事件 \(A_n\)（概率趋于 1）使得对所有 \(m\)，\(|\widehat{R}_w^{\text{TCV}}(f_m) - R_w(f_m)| < \delta/2\)。在此事件上，\(\widehat{R}_w^{\text{TCV}}(f_{m^*_n}) < \widehat{R}_w^{\text{TCV}}(f_m)\) 对所有 \(m \neq m^*_n\) 成立。

关键跳跃点：本文没有真正的“跳跃点”——证明是标准的大数定律应用。真正的挑战在于概念框架：如何定义“动态排名”下的最优候选，以及如何将领先优势 \(\delta\) 与样本量 \(n\) 脱钩。作者的处理方式是直接假设 \(\delta\) 不随 \(n\) 衰减——这实际上是一个非常强的假设，可能限制了定理的适用范围。

技术技巧点名： - Chebyshev 不等式：用于从方差控制得到依概率收敛。这是最基础的技巧。 - Borel-Cantelli 引理：用于从依概率收敛升级到几乎必然收敛（本文在定理陈述中用的是“依概率”，但证明中提到了几乎必然收敛的可能性）。 - 矩条件：\(\mathbb{E}[Y^4] < \infty\) 和 \(\mathbb{E}[w(X)^2] < \infty\) 用于保证方差存在。

真实例子与应用

本文包含模拟实验和两个真实数据例子。

模拟实验： - 设定：\(X \sim \text{Uniform}[0,1]\)，\(Y = \sin(2\pi X) + \epsilon\)，\(\epsilon \sim N(0, 0.5^2)\)。候选方法包括：线性回归、三次样条（df=5）、局部线性回归（带宽 0.1）、随机森林（ntree=500）。研究者关心 \(X \in [0.7, 0.9]\) 的区域（即 \(w(x) = \mathbb{I}(x \in [0.7, 0.9])\)）。 - 结果：全局 CV 选的是三次样条（全局表现最好），但 TCV 选的是局部线性回归（在 \([0.7, 0.9]\) 上表现最好）。在区域特定风险上，TCV 选择的模型比全局 CV 选择的模型低约 30%。 - 说明：这个例子展示了 TCV 的核心优势——当不同方法在不同区域各有所长时，TCV 能选出区域最优。

真实数据例子 1：Boston Housing 数据： - 场景：预测房价。研究者关心的是高房价区域（\(Y > 30\)，即 \(w(x) = \mathbb{I}(\text{房价} > 30)\)，但注意：这里 \(w\) 依赖于 \(Y\)，与本文理论中 \(w\) 只依赖于 \(X\) 的设定不完全一致——这是一个值得注意的 gap）。 - 候选方法：线性回归、岭回归、LASSO、随机森林、梯度提升。 - 结果：全局 CV 选随机森林，TCV 选梯度提升。在 \(Y > 30\) 的子集上，梯度提升的 MSE 比随机森林低约 15%。 - 说明：展示了 TCV 在真实数据上的实用性，但 \(w\) 依赖于 \(Y\) 这一点与理论假设不完全匹配。

真实数据例子 2：糖尿病进展数据： - 场景：预测糖尿病进展指标。研究者关心的是高风险患者（\(Y > 200\)）。 - 候选方法：线性回归、岭回归、LASSO、弹性网。 - 结果：TCV 选 LASSO，全局 CV 选弹性网。在高风险子集上，LASSO 的 MSE 低约 10%。 - 说明：同样展示了 TCV 的优势，但同样存在 \(w\) 依赖于 \(Y\) 的问题。

🔎 结论是否比证明窄

是。具体来说：

  1. 定理 1 要求领先优势 \(\delta\) 不随 \(n\) 衰减。但作者在引言和摘要中声称 TCV 适用于“最优候选随样本量变化而切换”的场景。如果最优候选切换，那么领先优势 \(\delta\) 必然在切换点附近很小（否则不会切换）。因此，定理 1 的条件实际上排除了“频繁切换”的场景——它只允许“偶尔切换”，且切换后新最优候选的领先优势立即达到 \(\delta\)。这与作者声称的“允许无限多次切换”有微妙但重要的差距。

  2. 真实数据例子中 \(w\) 依赖于 \(Y\)。本文理论假设 \(w\) 是 \(X\) 的确定性函数，但两个真实例子都使用 \(w(x) = \mathbb{I}(Y > c)\)，这依赖于 \(Y\)。作者在文中承认这一点（“在实践中，权重函数可能依赖于响应变量”），但没有给出理论保证。这是一个明显的 gap：理论证明的是一回事，例子展示的是另一回事。

  3. 高维场景（定理 3）要求 \(M = O(n^c)\) 且 \(c\) 很小。作者没有给出 \(c\) 的具体上界，也没有讨论 \(M\) 指数增长的情况（如 \(M = \exp(n)\)）。在高维变量选择中，候选模型数量通常是指数级的。

四、开放问题

  1. 领先优势 \(\delta\) 衰减时的 TCV 一致性：定理 1 要求 \(\delta\) 不随 \(n\) 衰减。如果 \(\delta_n \to 0\)（如两个候选以相同速率收敛），TCV 是否仍然一致？需要什么条件？（扎根于定理 1 的假设 4）

  2. \(w\) 依赖于 \(Y\) 时的理论保证：本文真实例子使用了 \(w(x) = \mathbb{I}(Y > c)\)，但理论假设 \(w\) 只依赖于 \(X\)。当 \(w\) 依赖于 \(Y\) 时，TCV 的估计量是否仍然无偏？一致性是否成立？（扎根于第 5 节的真实数据例子和作者的承认）

  3. TCV 与局部建模方法的比较：当研究者只关心局部区域时，一个自然的替代方案是只用局部数据训练模型（如局部多项式回归）。TCV 与这种方法的理论比较（收敛速率、方差-偏差权衡）是什么？本文的模拟实验显示 TCV 优于局部建模，但没有理论解释。（扎根于第 6 节的模拟实验讨论）

  4. 动态排名下的 minimax 下界：本文证明了 TCV 在动态排名下的一致性，但没有给出任何下界。是否存在一个场景，使得任何模型选择方法（包括 TCV）都无法在动态排名下一致？这类似于“统计-计算权衡”中的 impossibility 结果。（扎根于定理 1 的假设 4 和作者声称的“动态排名”框架）

Maintained by 陈星宇 · Homepage · Source on GitHub

评论