Learning with tree tensor networks: Complexity estimates and model selection

作者: Bertrand Michel, Anthony Nouy
来源: Bernoulli
主题: 统计计算 / 算法
相关性: 8/10
链接: 期刊页 · arXiv

---

一、领域脉络与小综述

这个方向是什么

本文研究的核心问题是：如何在高维函数回归中，从一组候选的树张量网络（tree tensor networks）模型类中，自动选择一个复杂度（树结构 T 和秩 r）恰当的模型，使得预测风险（估计误差 + 逼近误差）最小化？ 树张量网络是一类特殊的深度神经网络，其架构由一棵维度划分树 T 定义，每个节点对应一个张量，激活函数为多线性函数（即恒等映射或线性组合）。这类模型在数值分析（高维 PDE 求解、不确定性量化）和数据科学（高维概率密度估计、分类）中已被证明具有强大的逼近能力，且其参数数量随维度 d 的增长是多项式而非指数级的（即缓解了“维度灾难”）。然而，在有限样本的统计学习框架下，模型选择（选择树 T 和秩 r）是一个关键的开放问题：树太深、秩太大导致过拟合（估计误差大），树太浅、秩太小导致欠拟合（逼近误差大）。本文正是在这个背景下，将经典的 Barron-Birgé-Massart 复杂度惩罚模型选择框架，首次系统地应用于树张量网络模型类。

发展脉络（history）

1. 奠基工作：张量网络与函数逼近（2000s-2010s）

   • Nouy (2015) [16]：系统总结了低秩张量方法（Tucker、Hierarchical Tucker、Tensor Train）在高维函数逼近和模型降阶中的应用，奠定了树张量网络作为高维函数模型类的理论基础。
   • Falcó, Hackbusch, Nouy (2018) [9]：严格定义了树张量格式（tree-based tensor formats）的拓扑性质（如最小子空间、最佳逼近的存在性），为后续统计学习分析提供了数学基础。
   • Cohen, Sharir, Shashua (2015) [3] 和 Khrulkov, Novikov, Oseledets (2017) [6]：建立了深度神经网络（特别是卷积网络和循环网络）与 Hierarchical Tucker (HT) 和 Tensor Train (TT) 分解之间的等价性，证明了深度架构相对于浅层架构在表达能力上的指数级优势。这些工作将张量网络与深度学习社区连接起来，凸显了其作为“可解释的深度网络”的价值。

2. 主要进展：统计学习中的张量网络（2018-2019）

   • Grelier, Nouy, Chevreuil (2018) [10]：首次在统计学习框架下，针对树张量格式提出了基于经验风险最小化的学习算法。他们利用格式的多线性结构，将非线性优化问题转化为一系列线性模型的学习问题，并提出了秩自适应策略。但该工作主要关注给定树下的秩选择，未解决树结构 T 的选择问题，也未提供理论上的模型选择保证（如 oracle 不等式或 minimax 最优性）。
   • Grelier, Nouy, Lebrun (2019) [17]：将树张量网络应用于高维概率密度估计，同样提出了基于 L2 对比的学习算法和秩自适应策略。同样，树结构的选择和理论保证是缺失的。
   • Michel, Nouy (本文)：在上述工作的基础上，首次将模型选择问题（同时选择树 T 和秩 r）形式化为一个复杂度惩罚问题，并给出了完整的理论分析（oracle 不等式、minimax 最优性）和实用的校准方法（slope heuristics）。

3. 当前 Frontier：复杂度与自适应性的理论

   • Suzuki (2018) [4]：证明了深度 ReLU 网络在 Besov 空间上的 minimax 最优性，并展示了其对空间非均匀光滑性的自适应性。这代表了深度网络理论的一个前沿，但 ReLU 网络的分析工具（如组合论、函数空间嵌入）与张量网络的分析工具（度量熵、经验过程）有本质不同。
   • Gribonval et al. (2019) [11]：从逼近论角度，定义了深度神经网络的“逼近空间”，并将其与经典 Besov 空间联系起来。这为理解不同网络架构的表达能力提供了统一框架，但未涉及统计学习中的模型选择。
   • 本文的位置：本文处于“张量网络逼近理论”与“统计学习模型选择理论”的交汇点。它填补了从“给定模型类能逼近什么”到“如何从数据中自动选择模型类”之间的空白，是张量网络统计学习理论从“算法”走向“理论保证”的关键一步。

子线索聚类

1. 张量网络逼近理论：研究给定树 T 和秩 r 的树张量网络，能多好地逼近各类光滑函数（如 Sobolev、Besov、混合光滑空间）。代表工作：[8, 23, 5, 29, 28, 1, 2, 3]。本文的逼近误差界直接依赖于这些结果。
2. 张量网络学习算法：研究在给定模型类下，如何高效地通过经验风险最小化进行学习。代表工作：[10, 17, 21, 20]。本文的估计误差分析（度量熵、经验过程）为这些算法提供了理论支撑。
3. 模型选择理论：研究如何从一族模型类中自动选择最优复杂度，通常基于复杂度惩罚（如 AIC、BIC、Barron-Birgé-Massart 框架）。代表工作：[9, 4]（slope heuristics 综述）。本文的核心贡献是将这一经典框架应用于树张量网络这一非标准模型类。

这个方向在追问的核心问题

1. 模型选择的一致性：对于给定的数据生成过程，所选的模型（树 T 和秩 r）是否在样本量趋于无穷时收敛到最优模型？
2. 预测风险的 oracle 不等式：所选模型的预测风险，是否以高概率被最优模型（即最小化期望风险的模型）的风险加上一个可忽略的惩罚项所控制？
3. Minimax 最优性：对于给定的函数空间（如 Sobolev 空间），该模型选择策略是否能达到该空间上的 minimax 最优收敛速度？
4. 计算可行性：模型选择过程（特别是树结构的搜索）是否能在多项式时间内完成？本文主要关注统计性质，对树搜索的计算复杂度仅做了初步讨论。

⚠️ 作者的 framing

• 作者把缺口 frame 成什么：作者将缺口明确 frame 为“在有限样本的统计学习框架下，树张量网络的模型选择（同时选择树 T 和秩 r）缺乏理论保证和实用方法”。他们声称，已有的工作（如 [10, 17]）要么只关注秩选择，要么缺乏理论分析，而本文是第一个提供完整理论（oracle 不等式、minimax 最优性）和实用校准方法（slope heuristics）的工作。
• 哪些竞争路线被他淡化或回避了：
  • 凸松弛方法：作者在引言中提到了基于张量核范数的凸正则化方法（如 [42] 对应 Yuan & Zhang 2014 [5]），但指出“从统计角度看远非最优”（far from optimal from a statistical point of view）。这是一个需要研究者亲自核实的判断：Yuan & Zhang (2014) 对 Tucker 格式的张量补全给出了理论保证，其样本复杂度是否真的比本文的模型选择方法差？作者没有给出具体比较。
  • 贝叶斯方法：作者完全回避了贝叶斯模型选择（如基于 BIC 或经验贝叶斯）的讨论。这可能是因为贝叶斯方法在高维、非参数设定下理论分析更困难。
  • 自适应基函数方法：如 hyperbolic cross approximation [15] 或稀疏网格方法，这些是处理高维问题的经典工具。作者在引言中提及了它们，但将其归为“需要先验知识”的方法，而本文的方法是完全数据驱动的。
• 什么明显该被引 / 该存在、却没出现在 intro 里？
  • 关于树搜索的计算复杂度：本文的模型选择框架假设候选模型族是给定的。但实际中，树 T 的搜索空间是组合爆炸的。作者在结论中提到了“树搜索策略”是未来工作，但引言中并未引用任何关于树结构搜索的文献（如基于贪心算法或贝叶斯优化的方法）。这是一个明显的缺口。
  • 关于深度学习的泛化理论：本文的树张量网络是深度网络的一种特例。近年来关于深度网络泛化误差的大量工作（如基于 PAC-Bayes、神经切线核、压缩等）未被引用。这可能是因为这些理论通常针对 ReLU 网络，与多线性网络的分析框架不同，但比较两者仍是有价值的。

张力

未见明显对立引用。所有被引工作基本都支持“树张量网络是高维函数逼近的有效工具”这一共识，分歧主要在于如何选择模型（树、秩）以及如何分析其统计性质。

---

二、最核心、最简单的例子 / 数学问题

第一步：把符号、模型、可观测数据交代清楚

• 符号：

  • \( X \in \mathcal{X} \subseteq \mathbb{R}^d \)：d 维输入随机向量。\( \mathcal{X} = \mathcal{X}_1 \times \dots \times \mathcal{X}_d \) 是乘积空间。
  • \( Y \in \mathbb{R} \)：实值输出随机变量。
  • \( (X_1, Y_1), \dots, (X_n, Y_n) \)：n 个独立同分布 (i.i.d.) 的观测样本。
  • \( f^* : \mathcal{X} \to \mathbb{R} \)：未知的回归函数，\( f^*(x) = \mathbb{E}[Y | X = x] \)。
  • \( \varepsilon = Y - f^*(X) \)：噪声，满足 \( \mathbb{E}[\varepsilon | X] = 0 \)。
  • \( \mathcal{F}_{T, r} \)：由树 T 和秩向量 r 定义的树张量网络模型类（函数集合）。这是候选模型。
  • \( \mathcal{M} = \{ (T, r) \} \)：候选模型类的索引集（即所有可能的树和秩的组合）。
  • \( \hat{f}_{T, r} \)：在模型类 \( \mathcal{F}_{T, r} \) 上的经验风险最小化 (ERM) 估计量：\( \hat{f}_{T, r} = \arg\min_{f \in \mathcal{F}_{T, r}} \frac{1}{n} \sum_{i=1}^n (Y_i - f(X_i))^2 \)。
  • \( \hat{f}_{\text{sel}} \)：通过惩罚经验风险选择的最终估计量。
  • \( R(f) = \mathbb{E}[(Y - f(X))^2] \)：f 的期望风险（泛化误差）。
  • \( R_n(f) = \frac{1}{n} \sum_{i=1}^n (Y_i - f(X_i))^2 \)：f 的经验风险（训练误差）。
  • \( \|f\|_2^2 = \mathbb{E}[f(X)^2] \)：函数 f 在输入分布下的 L2 范数。
  • \( \text{pen}(T, r) \)：对模型类 \( \mathcal{F}_{T, r} \) 的复杂度惩罚项。
  • \( D(T, r) \)：模型类 \( \mathcal{F}_{T, r} \) 的“维度”或“复杂度度量”，通常与参数数量或度量熵有关。
  • \( \delta_{T, r} \)：模型类 \( \mathcal{F}_{T, r} \) 的直径（在 L2 范数下）。

• 模型：

  • 数据生成机制：\( Y = f^*(X) + \varepsilon \)，其中 \( \varepsilon \) 是均值为零、方差有界的噪声（假设 \( \text{Var}(\varepsilon | X) \leq \sigma^2 \) a.s.）。
  • 目标：估计回归函数 \( f^* \)。
  • 模型类 \( \mathcal{F}_{T, r} \)：由树张量网络定义。一棵维度划分树 T 将 d 个输入维度递归地分组。每个内部节点对应一个张量，其“秩”由 r 中的对应元素给出。整个网络通过多线性运算（张量收缩）将输入映射到输出。关键点：\( \mathcal{F}_{T, r} \) 是一个非线性集合（因为秩约束），但它的参数化是多线性的（固定除一个张量外的所有张量，则输出是剩余张量的线性函数）。

• 可观测数据：

  • 可观测：n 个输入-输出对 \( \{(X_i, Y_i)\}_{i=1}^n \)。输入 \( X_i \) 是 d 维向量，输出 \( Y_i \) 是标量。
  • 不可观测 / 潜在：
    • 真实的回归函数 \( f^* \)。
    • 噪声 \( \varepsilon_i \)。
    • 输入 \( X \) 的真实分布。
    • 树张量网络模型类 \( \mathcal{F}_{T, r} \) 的“真实”复杂度（即能最好地逼近 \( f^* \) 的那个树和秩）。

第二步：讲最小内核

最简特例：d=2 维输入，且树 T 是二叉树（即先将两个维度合并）

在这个最简特例下，树张量网络退化为一个矩阵低秩近似问题。

• 设定：

  • 输入 \( X = (X_1, X_2) \in \mathbb{R}^2 \)。
  • 假设我们使用一个特征映射 \( \phi_1: \mathbb{R} \to \mathbb{R}^{p_1} \) 和 \( \phi_2: \mathbb{R} \to \mathbb{R}^{p_2} \)，将每个维度映射到高维特征空间（例如，使用多项式基或样条基）。这对应于树张量网络中的“叶子节点”特征空间。
  • 树 T 只有一个内部节点（根节点），它将两个叶子节点合并。这个内部节点对应一个矩阵 \( C \in \mathbb{R}^{p_1 \times p_2} \)。
  • 模型类 \( \mathcal{F}_{T, r} \) 由所有形如 \( f(x_1, x_2) = \phi_1(x_1)^\top C \phi_2(x_2) \) 的函数组成，其中矩阵 C 的秩不超过 r（即 \( \text{rank}(C) \leq r \)）。
  • 可观测数据：\( \{(X_{1i}, X_{2i}, Y_i)\}_{i=1}^n \)。

• 核心问题：选择秩 r 以最小化预测风险。

• 为什么这是最小内核：

  • 树结构 T 是固定的（二叉树），模型选择退化为秩选择。
  • 模型类 \( \mathcal{F}_{T, r} \) 是双线性的（固定 \( \phi_1 \)，它是 \( \phi_2 \) 的线性函数；反之亦然），但整体上是非线性的（因为秩约束）。
  • 这个特例直接对应经典的低秩矩阵回归或双线性模型问题。

• 本文方法在这个特例下的应用：

  1. 候选模型族：\( \mathcal{M} = \{ r = 1, 2, \dots, R_{\max} \} \)，其中 \( R_{\max} \) 是最大允许秩。
  2. 复杂度度量：模型类 \( \mathcal{F}_{T, r} \) 的复杂度可以用其参数数量 \( D(r) = r(p_1 + p_2 - r) \)（即秩 r 矩阵的自由参数）来度量。但本文使用更精细的度量熵（metric entropy）来刻画复杂度，这能给出更紧的界。
  3. 惩罚项：根据度量熵界和经验过程理论，惩罚项被构造为 \( \text{pen}(r) = \kappa \frac{D(r)}{n} \) 的形式，其中 \( \kappa \) 是一个需要校准的常数（通过 slope heuristics）。
  4. 模型选择：对每个 r，计算 ERM 估计量 \( \hat{f}_r \) 及其经验风险 \( R_n(\hat{f}_r) \)。然后选择 \( \hat{r} = \arg\min_{r} \{ R_n(\hat{f}_r) + \text{pen}(r) \} \)。
  5. 理论保证：本文的定理保证，对于这个特例，所选模型 \( \hat{f}_{\hat{r}} \) 的预测风险 \( R(\hat{f}_{\hat{r}}) \) 以高概率被最优模型的风险加上一个常数倍的惩罚项所控制（oracle 不等式）。如果真实函数 \( f^* \) 属于某个光滑函数类（如 Sobolev 空间），那么该策略可以达到 minimax 最优收敛速度。

• 这个特例揭示了本文的核心思想：模型选择问题被分解为两个部分：1) 量化每个模型类的“统计复杂度”（通过度量熵）；2) 构造一个与复杂度成正比的惩罚项，以平衡经验风险（拟合）与模型复杂度（过拟合风险）。整个分析依赖于对树张量网络度量熵的精确刻画。

---

三、这篇论文做了什么

三句话

1. 研究了什么问题：在经验风险最小化框架下，针对树张量网络模型类（由维度划分树 T 和秩向量 r 定义），提出并分析了一种基于复杂度惩罚的模型选择方法，以自动选择 T 和 r，平衡逼近误差与估计误差。
2. 核心工具 / 方法：采用 Barron-Birgé-Massart 风格的复杂度惩罚策略。核心工具包括：推导有界参数树张量网络的度量熵界（metric entropy bounds），并利用经验过程上确界界（bounds on suprema of empirical processes）来构造惩罚项。惩罚项的幅度通过斜率启发法（slope heuristics）进行校准。
3. 主要结论：所提出的模型选择策略满足一个非渐近的 oracle 不等式，保证了所选模型的预测风险接近最优模型的风险。对于经典的光滑函数类（如 Sobolev 空间），该策略在最小二乘设定下是minimax 最优的。数值实验验证了该方法在多元函数逼近和一元函数张量化逼近中的有效性。

关键设定与假设

• 设定：

  • 回归设定：\( Y = f^*(X) + \varepsilon \)，\( \mathbb{E}[\varepsilon | X] = 0 \)，\( \text{Var}(\varepsilon | X) \leq \sigma^2 \) a.s.
  • 输入空间：\( \mathcal{X} = \mathcal{X}_1 \times \dots \times \mathcal{X}_d \)，每个 \( \mathcal{X}_j \) 是紧度量空间（如 \( [0, 1] \)）。
  • 模型类：\( \mathcal{F}_{T, r} \) 是树张量网络，其参数（张量元素）被限制在一个有界集合内（例如，\( \ell_\infty \) 范数有界）。这是推导度量熵界的关键假设。
  • 特征空间：每个叶子节点 \( j \) 关联一个有限维线性特征空间 \( V_j \subset L^2(\mathcal{X}_j) \)，维度为 \( p_j \)。整个模型类 \( \mathcal{F}_{T, r} \) 是这些特征空间通过树张量格式的张量积的子集。

• 假设：

  • (A1) 有界性：模型类 \( \mathcal{F}_{T, r} \) 中的函数被一个常数 \( M \) 一致有界（\( \|f\|_\infty \leq M \)）。这是经验过程理论中处理有界函数的常用假设。
  • (A2) 特征空间的正交性：每个叶子节点的特征空间 \( V_j \) 的基函数在输入分布 \( \mu_j \) 下是正交的。这个假设简化了分析，并且可以通过对特征进行正交化来满足。
  • (A3) 噪声条件：噪声 \( \varepsilon \) 是次高斯的（sub-Gaussian）。这是获得高概率指数型浓度不等式的标准假设。
  • 与已有文献的比较：相比 Grelier et al. (2018) [10] 的纯算法工作，本文增加了这些理论假设以进行严格的统计分析。相比经典的模型选择文献（如 Birgé & Massart），本文的主要创新在于将复杂度度量从简单的“参数数量”推广到树张量网络的“度量熵”，这能处理更复杂的非线性模型类。

主要结果

• 定理 1（度量熵界）：对于有界参数的树张量网络模型类 \( \mathcal{F}_{T, r} \)，其度量熵 \( \log N(\varepsilon, \mathcal{F}_{T, r}, \|\cdot\|_\infty) \) 被一个与参数数量 \( D(T, r) \) 和 \( \log(1/\varepsilon) \) 成正比的量所控制。直觉：这个界表明，虽然模型类是非线性的，但其“有效大小”大致由其自由参数的数量决定。必要条件：参数有界。解决的技术难点：树张量网络的参数空间是高维且非凸的，直接计算度量熵很困难。作者通过将网络分解为一系列线性映射，并利用张量收缩的 Lipschitz 性质，将问题转化为对线性子空间的度量熵的估计。

• 定理 2（oracle 不等式）：设 \( \hat{f}_{\text{sel}} \) 是通过最小化惩罚经验风险 \( R_n(f) + \text{pen}(T, r) \) 选择的估计量，其中惩罚项 \( \text{pen}(T, r) \) 正比于 \( \frac{D(T, r)}{n} \)（基于定理 1 的度量熵界）。那么，存在一个常数 \( C > 0 \)，使得对于所有 \( n \) 足够大，以高概率有：

  \[R(\hat{f}_{\text{sel}}) \leq C \left( \inf_{(T, r) \in \mathcal{M}} \left\{ \inf_{f \in \mathcal{F}_{T, r}} R(f) + \text{pen}(T, r) \right\} + \frac{\log n}{n} \right)\]
  直觉：所选模型的预测风险，被“最佳模型类”的逼近误差（\( \inf_{f \in \mathcal{F}_{T, r}} R(f) \)）加上其复杂度惩罚项（\( \text{pen}(T, r) \)）所控制，至多差一个常数因子和一个可忽略的 \( \log n / n \) 项。必要条件：定理 1 的度量熵界成立，且惩罚项足够大以控制经验过程的上确界。解决的技术难点：证明需要将 ERM 估计量的风险分解为逼近误差和估计误差，并利用经验过程理论（特别是 Talagrand 不等式）来控制估计误差的上确界。

• 定理 3（Minimax 最优性）：假设真实函数 \( f^* \) 属于一个光滑函数类（例如，各向同性的 Sobolev 空间 \( W^{s, 2}([0, 1]^d) \)），且候选模型族 \( \mathcal{M} \) 包含足够丰富的树和秩。那么，由定理 2 的 oracle 不等式所保证的收敛速度，与在该函数类上已知的 minimax 最优速度 \( n^{-\frac{2s}{2s+d}} \) 相匹配（至多差一个对数因子）。直觉：本文的模型选择策略是“自适应”的，它不需要知道 \( f^* \) 的光滑度 s，却能自动达到与知道 s 的最优估计器相同的收敛速度。必要条件：树张量网络对光滑函数的逼近误差界（来自 [8, 23, 5] 等文献）必须成立。解决的技术难点：需要将 oracle 不等式中的逼近误差项，替换为函数类 \( f^* \) 的特定逼近理论结果，并证明存在一个树和秩的组合，使得逼近误差和惩罚项之和达到 minimax 最优的平衡。

证明路线与技术技巧

• 整体路线：

  1. 步骤 1：复杂度度量。推导树张量网络模型类 \( \mathcal{F}_{T, r} \) 的度量熵界（定理 1）。这是整个证明的基石。
  2. 步骤 2：构造惩罚项。利用度量熵界，通过经验过程理论（特别是 Talagrand 不等式的一个版本），构造一个惩罚项 \( \text{pen}(T, r) \)，使得对于所有 \( f \in \mathcal{F}_{T, r} \)，经验过程 \( R_n(f) - R(f) \) 的上确界以高概率被 \( \text{pen}(T, r) \) 控制。
  3. 步骤 3：oracle 不等式。利用标准的模型选择论证（如 Birgé & Massart 的“黄金法则”），将惩罚项与经验风险结合，证明 oracle 不等式（定理 2）。核心思想是：对于任何候选模型 \( \mathcal{F}_{T, r} \)，其 ERM 估计量 \( \hat{f}_{T, r} \) 的风险，可以被其经验风险加上一个复杂度惩罚项所控制。然后，通过最小化惩罚后的经验风险，所选模型的风险不会比任何候选模型的风险大太多。
  4. 步骤 4：Minimax 最优性。将 oracle 不等式与函数类 \( f^* \) 的逼近理论结果（来自 [8, 23, 5]）相结合。证明存在一个特定的树和秩，使得逼近误差和惩罚项之和达到 minimax 最优的平衡。由于 oracle 不等式保证了所选模型至少和这个最优组合一样好（至多差常数倍），因此整个策略是 minimax 最优的。

• 关键跳跃点：

  • 从参数数量到度量熵：对于线性模型，复杂度可以用参数数量（VC 维）来度量。但对于非线性的树张量网络，参数数量可能高估其“有效复杂度”。作者的关键跳跃是证明了其度量熵仍然由参数数量控制，这依赖于参数有界性和网络的多线性结构。
  • 惩罚项的显式形式：从度量熵界到惩罚项的具体形式，需要用到经验过程理论中关于“上确界”的浓度不等式。作者引用了 [9, 4] 中的结果，将惩罚项构造为 \( \text{pen}(T, r) = \kappa \frac{D(T, r)}{n} \)，其中 \( \kappa \) 是一个依赖于度量熵界中常数的未知量。这个常数 \( \kappa \) 无法从理论直接得到，因此需要在实际中使用 slope heuristics 进行数据驱动的校准。这是理论与实践的桥梁。

• 技术技巧点名：

  • 度量熵（Metric Entropy）：用于量化模型类的“大小”，是构造惩罚项的基础。
  • 经验过程（Empirical Process）：用于控制 ERM 估计量的估计误差，特别是 \( \sup_{f \in \mathcal{F}_{T, r}} |R_n(f) - R(f)| \)。
  • Talagrand 不等式：用于获得经验过程上确界的高概率指数型浓度界。
  • 张量收缩的 Lipschitz 性质：用于将树张量网络的度量熵问题分解为更简单的子问题。
  • Slope Heuristics：一种数据驱动的惩罚常数校准方法，通过观察惩罚项与经验风险之间的“斜率”变化来选择最优惩罚强度。

真实例子与应用

本文包含数值实验，在最小二乘回归设定下验证了所提出的模型选择策略。

• 用的什么数据 / 场景：

  1. 多元函数逼近：目标函数是 \( f^*(x) = \frac{1}{1 + \sum_{j=1}^d x_j} \)，定义在 \( [0, 1]^d \) 上（d=5, 10）。这是一个经典的高维测试函数，具有低秩结构（其 Tucker 分解的秩为 2）。
  2. 一元函数张量化逼近：目标函数是 \( f^*(x) = \sin(2\pi x) \)，定义在 \( [0, 1] \) 上。通过“张量化”（quantization / tensorization）技巧，将一元函数映射为一个高阶张量（例如，将区间 \( [0, 1] \) 二进划分，将函数值排列成一个 \( 2 \times 2 \times \dots \times 2 \) 的张量），然后使用树张量网络进行逼近。这展示了该方法在“非传统”张量结构上的应用。

• 怎么把本文方法用上去：

  • 生成 n 个训练样本 \( (X_i, Y_i) \)。
  • 定义一组候选的树 T（例如，平衡二叉树、左-右树等）和候选的秩 r。
  • 对每个候选模型 \( \mathcal{F}_{T, r} \)，使用 Grelier et al. (2018) [10] 的交替最小二乘算法计算 ERM 估计量 \( \hat{f}_{T, r} \)。
  • 使用 slope heuristics 校准惩罚项中的常数 \( \kappa \)。
  • 选择最小化 \( R_n(\hat{f}_{T, r}) + \text{pen}(T, r) \) 的模型。

• 得到什么结果：

  • 对于多元函数，所提出的模型选择方法能够自动选择出接近最优的秩和树结构，其预测风险随着样本量 n 的增加而以接近理论预测的速度衰减。
  • 对于一元函数的张量化，该方法同样有效，能够自动发现函数在张量化表示下的低秩结构。
  • 与固定模型（如固定树和秩）相比，模型选择策略显著提高了预测性能，尤其是在小样本情况下。

• 这个例子想说明什么：

  • 验证理论：数值结果与定理 2 的 oracle 不等式和定理 3 的 minimax 最优性定性一致。
  • 展示实用性：slope heuristics 能够有效地校准惩罚项，使得该方法无需手动调整超参数。
  • 展示灵活性：该方法不仅适用于标准的多元函数，也适用于通过张量化技巧处理的一元函数，展示了树张量网络作为通用逼近工具的潜力。

🔎 结论是否比证明窄

• 窄化 1：参数有界性假设。定理 1 的度量熵界和定理 2 的 oracle 不等式都依赖于“参数有界”这一关键假设。在实际应用中，ERM 估计量可能产生无界参数，需要额外的投影或截断步骤。作者在数值实验中可能隐式地处理了这一点，但理论分析并未覆盖无界参数的情况。
• 窄化 2：特征空间的正交性假设 (A2)。这个假设简化了分析，但在实际中，如果特征空间不是正交的，度量熵界和惩罚项的形式可能需要调整。作者在文中提到可以通过正交化来满足，但正交化本身可能改变模型类的结构。
• 窄化 3：树结构的搜索。本文的理论框架假设候选模型族 \( \mathcal{M} \) 是给定的。但在实际中，如何生成一个好的候选树集合仍然是一个开放问题。作者在结论中承认“树搜索策略”是未来工作，这意味着本文的“模型选择”更准确地说是“在给定候选树集合中的模型选择”，而非“自动发现最优树”。
• 窄化 4：Minimax 最优性的范围。定理 3 的 minimax 最优性仅针对经典的光滑函数类（如 Sobolev 空间）成立。对于更复杂的函数类（如 Besov 空间或具有混合光滑性的函数），树张量网络是否仍能达到 minimax 最优，本文没有给出证明。作者引用了 Suzuki (2018) [4] 关于 ReLU 网络在 Besov 空间上的结果，但未将其与本文的树张量网络进行直接比较。

---

四、开放问题

1. 树结构的自动搜索：本文的模型选择框架假设候选树集合是预先给定的。如何设计一个计算上可行的算法，能够自动搜索最优的维度划分树 T，并同时保证统计上的最优性？扎根点：结论部分“Future works include the development of tree search strategies...”。
2. 无界参数与更弱的假设：能否将理论分析推广到参数无界的情况？能否放松特征空间正交性假设 (A2)？扎根点：定理 1 和 2 的假设部分。
3. 更广泛的函数类：对于 Besov 空间或具有混合光滑性的函数类，树张量网络模型选择策略是否仍能达到 minimax 最优？与深度 ReLU 网络 [4] 相比，其自适应性和收敛速度如何？扎根点：定理 3 的讨论部分，以及引言中对 Suzuki (2018) [4] 的引用。
4. 计算-统计权衡：树张量网络的模型选择（特别是树搜索）的计算复杂度与统计效率之间是否存在权衡？是否存在一个“信息-计算缺口”，即某些在统计上最优的树结构，在计算上是难以找到的？扎根点：本文未讨论计算复杂度，但这是您非常熟悉的领域，可以直接将树宽/张量收缩复杂度工具应用于此问题。

---

Maintained by 陈星宇 · Homepage · Source on GitHub

评论