The Cost of Discretization in Functional Linear Regression: Minimax Rates and Adaptation¶

作者: T. Tony Cai, Yicheng Li
主题: 非参数 / 半参数
相关性: 7/10
链接: https://arxiv.org/abs/2607.09350

一、领域脉络与小综述¶

这个方向是什么¶

本文研究的子方向是函数型线性回归（FLR）在协变量仅通过有限个含噪点观测时的 minimax 估计与预测理论。核心问题是：当每个函数型协变量曲线 \(X_i(t)\) 不是被完整观测，而是仅在 \(m\) 个离散点上被含噪测量时，斜率函数 \(\beta\) 的估计和预测风险如何依赖于曲线数 \(n\) 和每条曲线的采样点数 \(m\)？这个问题处于函数型数据分析（FDA）与高维/非参数统计的交叉点，其成熟度处于从“完全观测”理论向“离散观测”理论过渡的中间阶段——完全观测 FLR 的 minimax 理论已相当成熟，而离散观测下的系统刻画（尤其是匹配的 \(m\) 依赖下界）此前是缺失的。

发展脉络¶

作者在引言中梳理的脉络如下：

奠基工作：完全观测 FLR 的 minimax 理论。Yuan and Cai (2010) 用 RKHS 框架给出了斜率估计与预测的 minimax 最优率；Hall and Horowitz (2007) 建立了主成分估计量的收敛率；Cai and Yuan (2012) 和 Cai et al. (2018) 进一步给出了自适应预测理论。这些工作确立了“完全观测”下的基准率 \(n^{-(2\alpha+2s)/(2\alpha+2s+1)}\)，其中 \(\alpha\) 是协方差特征值衰减率，\(s\) 是斜率函数光滑度。
主要进展：离散观测对均值/协方差估计的影响。Yao et al. (2005b) 和 Hall et al. (2006) 提供了从稀疏含噪轨迹中恢复均值与协方差结构的基础工具。Cai and Yuan (2011, 2010) 首次系统刻画了离散采样下均值与协方差估计的 minimax 率，揭示了独立设计与公共设计下的不同相变结构。Zhang and Wang (2016) 进一步系统化了“稀疏到稠密”的视角。这些工作表明，离散化本身会改变统计实验，但它们的分析对象是均值/协方差，而非 FLR 中的逆问题。
当前 frontier：离散观测 FLR 的 minimax 理论。最直接的相关工作是 Zhou et al. (2023)，它证明了在独立随机设计下，当 \(m\) 足够大时完全观测率可达。但作者明确指出：“it does not provide a minimax lower bound that depends on \(m\), so it is unclear whether its threshold for the dense regime is sharp, and it also does not address sampling on a common grid.” 这留下了两个缺口：① 缺少匹配的 \(m\) 依赖下界；② 未处理公共网格设计。
本文的位置：本文填补了上述缺口，建立了两种典型采样方案下匹配的 minimax 上下界，并构造了自适应估计量。作者将本文定位为“a complete minimax theory for the FLR targets that treats \(n\) and \(m\) as joint statistical resources, separates the term due to noisy point evaluations from the fully observed benchmark, and distinguishes these statistical terms from losses created by a common grid.”

子线索聚类¶

这些被引文献大致落在三条子线索上：

线索 A：完全观测 FLR 的 minimax 与正则化理论。包括 Yuan and Cai (2010)、Hall and Horowitz (2007)、Cai and Yuan (2012)、Cai et al. (2018)、Fan et al. (2024)、Gupta et al. (2025)、Balasubramanian et al. (2025)。这一簇的核心是：在 \(X_i\) 被完整观测的理想设定下，推导斜率估计与预测的最优率，并构造自适应或正则化方法。
线索 B：离散观测下均值/协方差估计的相变理论。包括 Yao et al. (2005b)、Hall et al. (2006)、Cai and Yuan (2011, 2010)、Zhang and Wang (2016)、Gajardo et al. (2021)、Petersen (2024)、Guo et al. (2025)。这一簇的核心是：离散采样如何改变均值/协方差估计的统计实验，以及“稀疏到稠密”的相变。
线索 C：离散观测 FLR 的现有工作。包括 Yao et al. (2005a)、Li and Hsing (2007)、Cardot et al. (2007)、Ferraty et al. (2012)、Zhou et al. (2023)。这一簇直接处理 FLR 中的离散观测问题，但此前缺乏匹配的 minimax 下界，且未系统处理公共设计。

核心问题与已知瓶颈¶

这个方向在追问的核心问题有 2-3 个：

离散化如何改变 minimax 率？ 完全观测 FLR 的率只依赖于 \(n\)；离散观测下，率必须同时依赖于 \(n\) 和 \(m\)。关键问题是：\(m\) 的依赖项是什么形式？它与 \(n\) 的依赖项如何交互？
采样几何（独立 vs. 公共设计）如何影响信息损失？ 独立设计下，随机采样点可跨曲线平均，因此 \(n\) 的增加也能改善对定义域的覆盖。公共设计下，所有曲线共享同一固定网格，因此 \(n\) 的增加无法消除网格的几何混叠或固定网格近似误差。
自适应估计是否可行？ 在完全观测 FLR 中，自适应（不已知 \(\alpha, s\)）是可能的。在离散观测下，由于协方差特征值也需要估计，自适应是否仍能达到 minimax 率？

已知瓶颈是：此前没有匹配的 \(m\) 依赖下界，因此无法判断 Zhou et al. (2023) 的稠密阈值是否尖锐，也无法区分独立设计与公共设计下的不同相图。

⚠️ 作者的 framing¶

作者把缺口 frame 成“离散化代价的系统刻画”，具体而言：

这是作者的说法：“What left open by these works is a complete minimax theory for the FLR targets that treats \(n\) and \(m\) as joint statistical resources, separates the term due to noisy point evaluations from the fully observed benchmark, and distinguishes these statistical terms from losses created by a common grid.”
被淡化的竞争路线：作者明确将协方差特征基的估计问题“set aside”（第 3 页：“To isolate the cost of discretization, we work in a fixed trigonometric basis and assume that the covariance operator of \(X\) is diagonalized by this basis”）。这意味着本文的结果是在“特征基已知”这一强假设下成立的。在引言末尾，作者承认“A complete theory would need to combine the present analysis of the dependence on \(m\) with covariance eigenbasis recovery (Cai and Yuan, 2010) and the alignment effects between covariance geometry and slope regularity studied in fully observed FLR.” 这暗示了本文的局限性。
什么明显该被引/该存在、却没出现在 intro 里？ 作者没有引用任何关于“统计-计算权衡”或“低度多项式障碍”的文献。考虑到本文的核心问题是刻画 \(m\) 依赖的 minimax 率，而 \(m\) 本质上是一个“计算资源”（采样点数），这似乎是一个自然的延伸方向。但作者完全未提及计算复杂度。这值得研究者去查：是否存在关于 FLR 中计算-统计权衡的文献？或者，本文的率是否暗示了某种计算上的相变？

张力¶

未见明显对立引用。所有被引工作基本是互补的，没有在相同设定下得出相反结论的情况。

二、最核心、最简单的例子 / 数学问题¶

第一步：符号、模型与可观测数据¶

符号：
- \(X_i(t)\)：第 \(i\) 条潜在函数型协变量轨迹，\(t \in [0,1]\)，是均值为零的连续路径高斯过程。
- \(\beta(t)\)：未知的斜率函数，是待估对象。
- \(Y_i = \langle X_i, \beta \rangle_{L^2} + \varepsilon_i\)：标量响应，\(\varepsilon_i \sim N(0, \sigma_\varepsilon^2)\) 是响应误差。
- \(Z_{ij} = X_i(t_{ij}) + \delta_{ij}\)：第 \(i\) 条轨迹在第 \(j\) 个采样点 \(t_{ij}\) 处的含噪观测，\(\delta_{ij} \sim N(0, \sigma_\delta^2)\) 是测量误差。
- \(n\)：轨迹数（样本量）。
- \(m\)：每条轨迹的采样点数（分辨率）。
- \(\{e_r(t)\}_{r \in \mathbb{Z}}\)：\(L^2[0,1]\) 上的固定三角基（正弦和余弦函数）。
- \(\lambda_r\)：协方差算子 \(\Sigma\) 在基 \(e_r\) 下的特征值，满足 \(\lambda_r \asymp (1+|r|)^{-2\alpha}\)，\(\alpha > 1/2\)。
- \(\theta_r = \langle \beta, e_r \rangle_{L^2}\)：斜率函数 \(\beta\) 的傅里叶系数，满足 Sobolev 光滑度 \(s\)：\(\sum_r (1+|r|)^{2s} \theta_r^2 \leq R_0^2\)。
- \(\gamma_r = \lambda_r \theta_r\)：交叉协方差函数 \(g(t) = E[Y_1 X_1(t)]\) 的傅里叶系数。
- \(\hat{\beta}\)：斜率函数的估计量。
- \(R(\hat{\beta}; \theta, \lambda) = E_*[\langle X_*, \hat{\beta} - \beta \rangle^2]\)：超额预测风险，其中 \(X_*\) 是独立测试轨迹。
模型：
- 数据生成机制：\(Y_i = \sum_{r \in \mathbb{Z}} x_{ir} \theta_r + \varepsilon_i\)，其中 \(x_{ir} \sim N(0, \lambda_r)\) 是 \(X_i\) 的傅里叶得分，且独立于 \(\varepsilon_i\) 和 \(\delta_{ij}\)。
- 观测模型：\(Z_{ij} = \sum_{r \in \mathbb{Z}} x_{ir} e_r(t_{ij}) + \delta_{ij}\)。
- 已知量：基函数 \(\{e_r\}\)，噪声方差 \(\sigma_\varepsilon^2, \sigma_\delta^2\)（但通常视为固定常数）。
- 待估对象：\(\beta\)（即 \(\{\theta_r\}\)）。
可观测数据：研究者实际能观测到的是 \(\{(Y_i, Z_{i1}, \dots, Z_{im})\}_{i=1}^n\)，以及采样点位置 \(\{t_{ij}\}\)。
潜在/不可观测量：潜在轨迹 \(X_i(t)\) 本身（及其傅里叶得分 \(x_{ir}\)）是不可观测的。斜率函数 \(\beta\) 是想要但观测不到的。

第二步：最小内核¶

本文的核心思路可以用一个最简特例来理解：假设只有一个傅里叶基函数（即 \(d=1\)，只考虑 \(r=0\) 或 \(r=1\) 等单个频率）。在这个特例下，问题退化为一个极其简单的统计问题。

最简特例设定： - 设 \(e(t) \equiv 1\)（常数基函数），则 \(X_i(t) = x_i\) 是一个常数随机变量，\(x_i \sim N(0, \lambda)\)。 - 斜率函数 \(\beta(t) = \theta\) 是一个常数。 - 模型退化为：\(Y_i = x_i \theta + \varepsilon_i\)，\(Z_{ij} = x_i + \delta_{ij}\)。 - 可观测数据：\(\{(Y_i, Z_{i1}, \dots, Z_{im})\}_{i=1}^n\)。

核心问题：如何估计 \(\theta\)？预测风险为 \(R = \lambda E[(\hat{\theta} - \theta)^2]\)。

核心思路： 1. 完全观测基准：如果 \(x_i\) 可直接观测，则 \(\hat{\theta}_{\text{full}} = (\sum_i x_i Y_i) / (\sum_i x_i^2)\)，其风险为 \(R_{\text{full}} \asymp \lambda / n\)。这对应本文率中的第一项 \(n^{-1}\)（当 \(\alpha, s\) 使得 \(\nu=1\) 时）。 2. 离散观测的挑战：我们只能观测到 \(Z_{ij} = x_i + \delta_{ij}\)。一个自然的想法是用 \(\bar{Z}_i = \frac{1}{m} \sum_j Z_{ij}\) 来估计 \(x_i\)。但 \(\bar{Z}_i\) 有方差 \(\sigma_\delta^2 / m\)。 3. 估计策略：用 \(\hat{\gamma} = \frac{1}{n} \sum_i Y_i \bar{Z}_i\) 来估计 \(\gamma = \lambda \theta\)。然后 \(\hat{\theta} = \hat{\gamma} / \lambda\)。 4. 风险分解： - \(E[(\hat{\theta} - \theta)^2] = \text{Var}(\hat{\gamma}) / \lambda^2\)。 - \(\text{Var}(\hat{\gamma}) \approx \frac{1}{n} \left( \lambda^2 \theta^2 + \frac{\lambda \sigma_\delta^2}{m} \right)\)。第一项来自 \(Y_i\) 和 \(x_i\) 的乘积，第二项来自测量噪声。 - 因此，预测风险 \(R = \lambda E[(\hat{\theta} - \theta)^2] \approx \frac{\lambda}{n} \left( \theta^2 + \frac{\sigma_\delta^2}{\lambda m} \right)\)。 5. 关键洞察：测量噪声项被 \(\lambda\) 放大。因为 \(\lambda\) 很小（当 \(\alpha\) 大时），\(\sigma_\delta^2 / (\lambda m)\) 可能很大。这解释了为什么离散观测的代价项是 \((nm)^{-(2\alpha+2s)/(4\alpha+2s+1)}\) 而不是 \((nm)^{-1}\)。在更一般的多频率情形下，高频成分的 \(\lambda_r\) 很小，因此测量噪声被逆协方差算子放大，导致更慢的率。

这个特例揭示了本文的核心数学困难：离散观测的代价不是简单的“样本量从 \(n\) 变为 \(nm\)”，而是测量噪声通过逆协方差算子放大后，与斜率函数的光滑度交互，产生了一个新的、更慢的率。

三、这篇论文做了什么¶

三句话¶

研究了什么问题：在标量-函数线性回归中，当协变量曲线仅通过有限个含噪点观测时，刻画斜率估计与预测的 minimax 风险如何联合依赖于轨迹数 \(n\) 和每条轨迹的采样点数 \(m\)，并区分独立随机设计与公共等距网格设计两种采样方案。
核心工具/方法：采用固定三角基，假设协方差算子被该基对角化。上界通过构造 oracle 估计量（已知特征值）和自适应估计量（通过样本分裂、协方差 pilot 估计和块阈值化）得到；下界通过 van Trees 不等式（处理统计项）和构造不可区分性（处理网格项）得到。
主要结论：推导了匹配的 minimax 率。独立设计下率为 \(n^{-(2\alpha+2s)/(2\alpha+2s+1)} + (nm)^{-(2\alpha+2s)/(4\alpha+2s+1)}\)。公共设计下，当特征值未知时，率为 \(n^{-(2\alpha+2s)/(2\alpha+2s+1)} + (nm)^{-(2\alpha+2s)/(4\alpha+2s+1)} + m^{-(2\alpha+2s)} + m^{-4\alpha}\)，其中后两项分别代表固定网格离散误差和未知特征值识别代价。

关键设定与假设¶

固定三角基（Assumption in Section 2）：协方差算子 \(\Sigma\) 被固定的三角基 \(\{e_r\}\) 对角化。这意味着协方差函数是周期平稳的。相比已有文献：这回避了协方差特征基估计的问题，是本文的一个主要简化假设。Cai and Yuan (2012) 等完全观测 FLR 工作处理了特征基对齐问题。
特征值类 \(\mathcal{L}_\alpha(c_\lambda, C_\lambda)\)（式 9）：特征值以多项式速率 \(\lambda_r \asymp (1+|r|)^{-2\alpha}\) 衰减，\(\alpha > 1/2\)。这保证了轨迹几乎处处连续。
Sobolev 球 \(\Theta_s(R_0)\)（式 10）：斜率函数的傅里叶系数满足 \(\sum_r (1+|r|)^{2s} \theta_r^2 \leq R_0^2\)，\(s \geq 0\)。
独立设计（Assumption 1）：\(t_{ij} \overset{iid}{\sim} \text{Unif}[0,1]\)，独立于所有其他随机量。
公共设计（Assumption 2）：所有轨迹共享同一个等距网格 \(t_{ij} = (j-1)/m\)。
高斯性：\(X_i\) 是高斯过程，\(\varepsilon_i\) 和 \(\delta_{ij}\) 是独立高斯噪声。这简化了 Fisher 信息和矩的计算。
独立性：\(\{X_i\}, \{\varepsilon_i\}, \{\delta_{ij}\}\) 相互独立。

主要结果¶

定理 3.1（独立设计，oracle 上界）：已知特征值时，oracle 估计量（截断参数 \(d\)）的风险上界为 \(d/n + d^{2\alpha+1}/(nm) + d^{-(2\alpha+2s)}\)。优化 \(d\) 后得到率 \(n^{-(2\alpha+2s)/(2\alpha+2s+1)} + (nm)^{-(2\alpha+2s)/(4\alpha+2s+1)}\)。
定理 3.2（独立设计，下界）：匹配的下界，证明该率不可改进。
定理 3.3（独立设计，自适应上界）：构造的自适应估计量（通过样本分裂、协方差 pilot 和块阈值化）达到与 oracle 相同的率，无需已知 \(\alpha, s\) 或 \(\lambda_r\)。
定理 4.1（公共设计，oracle 上界）：已知特征值时，风险上界多了 \(m^{-(2\alpha+2s)}\) 项，来自固定网格的离散误差。
定理 4.2（公共设计，下界）：当特征值已知时，下界包含 \(m^{-(2\alpha+2s)}\)。当特征值未知时，下界额外包含 \(m^{-4\alpha}\) 项，来自特征值识别。
定理 4.3（公共设计，自适应上界）：自适应估计量达到包含所有四项的率，证明 \(m^{-4\alpha}\) 是 minimax 下界，而非自适应构造的代价。
推论 3.4 和 4.4：总结了两种设计下的 minimax 率。

技术难点： - 下界：独立设计下，需要精细控制 Fisher 信息以体现 \(m\) 的影响。公共设计下，需要两种不同的不可区分性构造：一种固定协方差尺度，隐藏网格点间的信号；另一种改变协方差尺度本身，使得在网格上观测到的分布相同但回归目标不同。 - 上界：自适应估计需要同时处理协方差估计和斜率估计。协方差 pilot 必须足够准确以校准选择规则，同时防止小特征值导致不稳定的除法。这通过样本分裂和两阶段阈值化（先筛协方差尺度，再筛预测能量）实现。

证明路线与技术技巧¶

整体路线（以上界为例）： 1. Oracle 分析：假设已知 \(\lambda_r\) 和光滑度，用截断估计量 \(\tilde{\beta}\)。风险分解为截断偏差（\(d^{-(2\alpha+2s)}\)）和方差（\(d/n + d^{2\alpha+1}/(nm)\)）。优化 \(d\) 得到 oracle 率。 2. 自适应构造： - 样本分裂：将 \(n\) 个样本分为两组，一组用于估计协方差特征值（pilot），一组用于估计交叉协方差系数。 - 协方差 Pilot：独立设计下，通过将每条曲线的 \(m\) 个点随机分成两半，计算两个半样本平均值的乘积来无偏估计 \(\lambda_r\)。公共设计下，通过减去一个高频基准来消除测量噪声偏差。 - 块阈值化：将频率轴分成 dyadic 块。对每个块，计算经验预测能量 \(\hat{S}_\ell\) 和方差代理 \(\hat{V}_\ell\)。只有当块内最小 pilot 特征值足够大（避免不稳定求逆）且 \(\hat{S}_\ell \geq \hat{V}_\ell\) 时，才保留该块。 - 投影：对保留的块系数进行欧几里得球投影，确保估计量的范数有界。 3. 风险分析：在“好事件”（pilot 估计准确）上，将自适应估计量的风险与 oracle 风险进行比较，控制阈值化误差和 pilot 误差。坏事件的概率被指数级小量控制。

关键跳跃点： - 从 oracle 到自适应：关键引理 C.11（独立设计）和 F.10（公共设计）证明了在好事件和 eligible 块上，自适应风险不超过 oracle 风险加上一个可忽略的 pilot 误差项。这需要精细的块能量比较和浓度不等式。 - 公共设计下的 \(m^{-4\alpha}\) 项：下界证明（命题 G.3）通过构造两个不同的 \((\lambda, \theta)\) 对，使得它们在公共网格上的观测分布完全相同，但预测风险相差 \(m^{-4\alpha}\)。这利用了网格上不同频率的混叠：改变一对频率的特征值可以相互抵消，从而不改变观测分布，但改变逆协方差算子的尺度。

技术技巧点名： - van Trees 不等式（引理 D.1）：用于推导独立和公共设计下的统计下界。 - Fisher 信息控制（引理 D.2）：在块模型下，推导单次观测的 Fisher 信息上界，体现 \(m\) 和 \(\lambda_r\) 的影响。 - 不可区分性构造（命题 G.2 和 G.3）：分别用于证明 \(m^{-(2\alpha+2s)}\) 和 \(m^{-4\alpha}\) 项的下界。 - 样本分裂：用于使协方差 pilot 与交叉协方差估计独立，简化分析。 - 块阈值化：用于自适应地选择频率截断。 - 浓度不等式：大量使用 Bernstein 型不等式、Bousquet 不等式、子指数/子高斯浓度等，用于控制 pilot 估计、块能量等随机量。 - Orlicz 范数：用于处理非高斯随机变量（如乘积项）的尾概率。

真实例子与应用¶

有真实数据例子（Section 5.2）。

数据：小麦数据集（wheat data），包含 100 条近红外光谱（701 个波长），响应变量是小麦蛋白质含量。这是一个常用的 FLR 基准数据集。
方法应用：将本文的自适应估计量应用于两种设计：公共设计（等距子网格）和独立设计（随机子网格），设置 \(m=10\) 和 \(m=30\)。与 Zhou et al. (2023) 中报告的几种基准方法（Plug-in, IN, PACE, Zhou et al.）进行比较。
结果：公共设计下的估计量取得了最小的预测误差（\(m=10\) 时 0.294，\(m=30\) 时 0.252）。独立设计下的估计量表现也很有竞争力。
这个例子想说明什么：① 验证了本文方法在实际数据上的可行性。② 展示了公共设计在有限样本下可能比独立设计有更小的常数（尽管理论上公共设计有额外项）。作者谨慎地指出，这种比较应结合采样协议来解释（公共设计使用确定性子网格，独立设计使用随机子网格）。

🔎 结论是否比证明窄¶

是。作者在 Section 6 中明确承认了局限性：“The analysis considers two stylized acquisition schemes: independent random grids and a regular common grid.” 以及“Another direction is to relax the fixed trigonometric basis formulation.” 这意味着本文的结论严格限制在“固定三角基”和“两种理想化采样方案”下。作者在引言中也提到，协方差特征基的估计和对齐问题被“set aside”。因此，本文的结论不能直接推广到更一般的协方差结构或非均匀/不规则采样。
此外，自适应估计量的构造依赖于样本分裂。作者在 3.3 节提到“If one only aims for an upper bound in high probability, this independence is not essential and the same upper bound can be given without splitting the subjects.” 这意味着样本分裂主要是为了简化理论分析，实际应用中可能不需要。但理论证明本身是建立在样本分裂之上的。

四、开放问题¶

非均匀/不规则网格：本文只处理了独立随机网格和公共等距网格。将 minimax 理论扩展到异质性协议，如不规则、非均匀或部分确定性网格，是一个自然延伸。扎根点：Section 6：“Extending sharp minimax theory to heterogeneous protocols, such as irregular, nonuniform, or partially deterministic grids, would broaden the scope of the results.”
放松固定基假设：本文假设协方差算子被固定三角基对角化。如果协方差特征基必须从离散数据中估计，或者斜率函数的光滑度与协方差几何不对齐，额外的代价可能会出现。扎根点：Section 6：“If the covariance eigenbasis must be estimated from discretely observed data, or if the smoothness scale of \(\beta\) is not aligned with the covariance geometry, additional costs may appear.”
结合协方差特征基恢复：一个完整的理论需要将本文对 \(m\) 依赖的分析与协方差特征基恢复（Cai and Yuan, 2010）以及完全观测 FLR 中研究的协方差几何与斜率正则性之间的对齐效应结合起来。扎根点：Section 6：“A complete theory would need to combine the present analysis of the dependence on \(m\) with covariance eigenbasis recovery (Cai and Yuan, 2010) and the alignment effects between covariance geometry and slope regularity studied in fully observed FLR.”
下游任务的影响：离散化现象如何影响推断、检验、分布式学习和隐私约束下的函数型预测等下游目标？扎根点：Section 6：“Finally, it would be interesting to understand how these discretization phenomena affect downstream goals such as inference, testing, distributed learning, and privacy-constrained functional prediction.”

Maintained by 陈星宇 · Homepage · Source on GitHub