跳转至

Tensor Additive Quantile Regression

作者: Wenqi Lu, Yingying Zhang, Zhongyi Zhu, Heng Lian
来源: Journal of Computational and Graphical Statistics
主题: 非参数 / 半参数
相关性: 7/10
机构绿灯: Fudan University(US News 前 50,免分进入精读)
链接: https://doi.org/10.1080/10618600.2026.2687761


一、领域脉络与小综述

这个方向是什么

本文所处的子方向是张量型响应变量的非参数回归。根本的统计问题是:当响应变量 \( Y \) 是一个张量(多维数组,如 \( p_1 \times p_2 \times \cdots \times p_D \))而协变量 \( X \in \mathbb{R}^d \) 是普通向量时,如何估计条件分位数函数 \( Q_\tau(Y \mid X) \) 中每个协变量的边际效应。这个问题的科学动机来自神经影像(如 fMRI 体素张量)、脑电图(EEG 通道×时间×试验)、股票市场面板数据(股票×时间×特征)等场景——响应天然是张量结构,且协变量对响应的影响往往是非线性的。该方向的成熟度处于方法快速发展但理论尚不完整的阶段:均值回归框架下的张量加性模型已有若干工作,但分位数回归框架下的张量加性模型此前缺乏系统处理。

发展脉络(history)

从引言和参考文献看,这条线的发展大致如下:

  • 奠基工作:Stone (1985) 建立了加性非参数回归的收敛速率理论,证明加性结构可以规避高维非参数回归的维数灾难(速率从 \( n^{-2/(2+d)} \) 提升到 \( n^{-2/3} \) 量级)。这是所有加性模型工作的理论基石。Hastie & Tibshirani (1990) 的专著将广义加性模型(GAM)系统化,使之成为统计建模的标准工具。这两篇奠定了"加性结构 + 非参数成分函数"的基本框架。

  • 主要进展——张量化:Lu, Zhu, Lian (2023) 提出了张量加性模型(Tensor Additive Model, TAM),将 Stone 的加性框架推广到张量响应,用 B 样条逼近每个成分函数,并将样条系数堆叠为额外的张量维度,从而利用 Tucker 分解降维。这是本文最直接的先行工作。Li, Zhang, Lian (2023) 进一步研究了张量加性模型在高维设定下的变量选择问题。这两篇构成了"张量 + 加性 + 均值回归"的完整路线。

  • 主要进展——分位数化:分位数回归的现代理论由 Koenker & Bassett (1978) 奠基,Koenker (2005) 的专著系统化了分位数回归的推断理论。在非参数分位数回归方面,He & Shi (1994) 建立了 B 样条分位数回归的渐近理论,Wang, Wu, Li (2012) 将分位数回归与加性模型结合并建立了 oracle 性质。这些工作为"分位数 + 加性"提供了理论工具。

  • 当前 frontier 与本文位置:本文的贡献在于将上述两条线交叉——在张量加性模型中引入分位数回归。引言中作者明确说:"现有张量加性模型工作集中于均值回归,而分位数回归能提供更稳健和全面的推断。"本文填补的正是这个交叉空白。从参考文献看,没有任何一篇同时处理"张量响应 + 加性结构 + 分位数回归"三者,本文是第一个系统处理者。

子线索聚类

被引文献大致落在三条子线索上:

  1. 加性非参数模型理论(Stone 1985; Hastie & Tibshirani 1990; Horowitz & Mammen 2004):这条线关注加性结构的估计效率和收敛速率,核心问题是"加性假设能带来多大的维度缩减"。

  2. 分位数回归与变量选择(Koenker & Bassett 1978; Koenker 2005; Wang, Wu, Li 2012; Belloni & Chernozhukov 2011):这条线关注分位数损失函数下的估计与推断,以及高维分位数回归的变量选择一致性。

  3. 张量数据建模与分解(Kolda & Bader 2009; Lu, Zhu, Lian 2023; Li, Zhang, Lian 2023):这条线关注张量结构如何被利用来降低参数维度,Tucker 分解和 CP 分解是核心工具。

本文站在三条线的交汇点:用第 1 条的加性结构、第 2 条的分位数损失、第 3 条的 Tucker 分解,组合成一个新模型。

这个方向在追问的核心问题

  1. 估计效率:张量加性分位数回归的估计量能否达到最优收敛速率?在分位数损失下,非光滑目标函数给速率分析带来什么困难?
  2. 变量选择一致性:在高维设定下,组惩罚能否在分位数损失下实现变量选择的 oracle 性质?稀疏张量元素与 Tucker 分解的结构如何协调?
  3. 计算可行性:Tucker 分解与分位数回归的非光滑目标如何结合?能否设计高效的优化算法?
  4. 推断:能否建立估计量的渐近正态性,从而构造置信区间?

已知瓶颈:分位数损失的非光滑性使得经验过程理论的应用比均值回归更复杂;Tucker 分解的非凸性使得理论分析(尤其是稀疏性与分解结构的交互)非常棘手。

⚠️ 作者的 framing(必须明确标注成"这是作者的说法")

这是作者的说法:作者将缺口 frame 成"张量加性模型只处理了均值回归,缺乏对条件分布尾部行为的刻画,而分位数回归能提供更全面的视角"。这个 framing 使得本文成为"显然的下一步"——既然均值回归的张量化已经完成,分位数化是自然的延伸。

被淡化或回避的竞争路线: - 作者淡化了贝叶斯非参数方法在张量分位数回归中的潜力(如 Dirichlet 过程混合模型),这类方法可以避免显式的基函数选择。 - 作者回避了深度学习方法作为替代——深度神经网络可以同时处理非线性、高维和张量结构,且不需要显式的加性假设。 - 作者没有讨论张量响应与张量协变量同时存在的情形(本文只处理向量协变量)。

什么明显该被引 / 该存在、却没出现在 intro 里: - Feng, Wang, Zhu (2015) 关于分位数回归中 B 样条的 oracle 性质的工作——这与本文的理论部分高度相关,但未被引用。 - Fan & Li (2001) 的 SCAD 惩罚——本文使用组惩罚做变量选择,但未讨论 SCAD 或 MCP 等非凸惩罚的潜在优势。 - Kolda & Bader (2009) 的 Tucker 分解综述被引了,但 De Lathauwer, De Moor, Vandewalle (2000) 关于 Tucker 分解唯一性的工作未被引用——而唯一性对可识别性论证很关键。

张力

未见明显对立引用。各条子线索的工作在各自设定下结论一致,没有出现"同一问题在不同条件下得相反结论"的情况。唯一的潜在张力是:加性假设(Stone 传统)与张量分解假设(Kolda 传统)在模型复杂度上的权衡——加性假设限制协变量交互,Tucker 分解限制张量模式间交互,两者叠加可能过度约束模型。但作者没有讨论这一点。


二、最核心、最简单的例子 / 数学问题

第一步:符号、模型、可观测数据

符号:

  • \( Y \in \mathbb{R}^{p_1 \times p_2 \times \cdots \times p_D} \):张量型响应变量,\( D \) 是张量的模式数(mode),\( p_1, \ldots, p_D \) 是各模式的维度。这是随机变量(观测对象)。
  • \( X = (X_1, \ldots, X_d)^\top \in \mathbb{R}^d \):\( d \) 维协变量向量。这是随机变量(观测对象)。
  • \( \tau \in (0, 1) \):分位数水平,已知常数(由研究者指定)。
  • \( Q_\tau(Y \mid X) \):条件分位数函数,目标 estimand(要估计的对象)。
  • \( f_j(X_j) \):第 \( j \) 个协变量的成分函数(component function),取值在 \( \mathbb{R}^{p_1 \times \cdots \times p_D} \)(即每个协变量的效应本身是一个张量)。这是未知参数(函数)。
  • \( \beta_j \):第 \( j \) 个成分函数的 B 样条系数向量,维度为 \( K_j \times p_1 \times \cdots \times p_D \)(每个样条基对应一个张量系数)。这是未知参数(有限维)。
  • \( \mathcal{G} \):Tucker 分解中的核心张量(core tensor),维度 \( r_1 \times \cdots \times r_D \times K \)(其中 \( K = \sum_j K_j \) 是所有样条基的总数)。这是未知参数。
  • \( U^{(m)} \):Tucker 分解中第 \( m \) 个模式的因子矩阵(factor matrix),维度 \( p_m \times r_m \)。这是未知参数。
  • \( \rho_\tau(u) = u(\tau - \mathbb{I}(u < 0)) \):分位数损失函数(check function),已知函数。
  • \( n \):样本量,已知常数。
  • \( \lambda \):惩罚参数,已知常数(由交叉验证或 BIC 选择)。

模型:

\[Q_\tau(Y \mid X) = \sum_{j=1}^d f_j(X_j)\]

其中每个 \( f_j: \mathbb{R} \to \mathbb{R}^{p_1 \times \cdots \times p_D} \) 是张量值函数。用 B 样条逼近:

\[f_j(x) \approx \sum_{k=1}^{K_j} B_{j,k}(x) \, \beta_{j,k}\]

其中 \( B_{j,k}(x) \) 是标量 B 样条基函数,\( \beta_{j,k} \in \mathbb{R}^{p_1 \times \cdots \times p_D} \) 是张量系数。将所有系数堆叠为一个大的张量 \( \mathcal{B} \in \mathbb{R}^{K \times p_1 \times \cdots \times p_D} \)(其中 \( K = \sum_j K_j \)),然后对其做 Tucker 分解:

\[\mathcal{B} = \mathcal{G} \times_1 U^{(1)} \times_2 U^{(2)} \times \cdots \times_D U^{(D)} \times_{D+1} I_K\]

其中 \( \times_m \) 表示模式 \( m \) 的张量-矩阵乘积。这里 \( U^{(m)} \in \mathbb{R}^{p_m \times r_m} \) 是第 \( m \) 个模式的因子矩阵,\( r_m \ll p_m \) 是降维后的秩。

可观测数据:

\[\{(X_i, Y_i)\}_{i=1}^n, \quad X_i \in \mathbb{R}^d, \; Y_i \in \mathbb{R}^{p_1 \times \cdots \times p_D}\]

即 \( n \) 组独立同分布的观测,每组包含一个协变量向量和一个张量响应。注意:我们观测到的是完整的张量 \( Y_i \),不是部分观测或压缩后的版本。

可识别性:加性模型的可识别性需要约束(如 \( \mathbb{E}[f_j(X_j)] = 0 \) 或某个基准点约束),否则成分函数之间可以相互转移。Tucker 分解的可识别性需要因子矩阵的正交性约束(或排序约束)。作者在文中处理了这些约束。

第二步:最小内核

最简特例:设 \( D = 1 \)(即响应是向量而非张量),\( p_1 = p \),\( d = 1 \)(只有一个协变量),\( \tau = 0.5 \)(中位数回归)。此时模型退化为:

\[Q_{0.5}(Y \mid X) = f(X)\]

其中 \( f: \mathbb{R} \to \mathbb{R}^p \) 是向量值函数。用 B 样条逼近 \( f(x) \approx \sum_{k=1}^K B_k(x) \beta_k \),其中 \( \beta_k \in \mathbb{R}^p \)。估计问题变为:

\[\min_{\beta_1, \ldots, \beta_K} \sum_{i=1}^n \rho_{0.5}\left( Y_i - \sum_{k=1}^K B_k(X_i) \beta_k \right)\]

其中 \( \rho_{0.5}(u) = |u| \)(绝对值损失,逐元素作用在向量上)。这是一个向量值分位数回归问题。

这个特例下的核心命题:估计量 \( \hat{f}(x) = \sum_k B_k(x) \hat{\beta}_k \) 的收敛速率是多少?在适当的平滑性条件下(\( f \) 的 \( q \) 阶导数有界),B 样条逼近的偏差是 \( O(K^{-q}) \),而方差项是 \( O_p(\sqrt{K/n}) \)。平衡两者得到最优速率:

\[\|\hat{f} - f\|_2 = O_p\left( n^{-q/(2q+1)} \right)\]

这正是 Stone (1985) 在均值回归中得到的经典速率,本文证明它在分位数损失下也成立。

为什么这个特例是"最小内核":整篇论文的核心思想——用 B 样条逼近成分函数、将系数堆叠为张量、用 Tucker 分解降维——在这个特例中已经完全体现。Tucker 分解的作用是:当 \( D > 1 \) 且 \( p_1, \ldots, p_D \) 都很大时,直接估计所有 \( \beta_k \in \mathbb{R}^{p_1 \times \cdots \times p_D} \) 需要 \( K \times \prod_m p_m \) 个参数,这在高维下不可行。Tucker 分解将参数压缩到 \( r_1 \times \cdots \times r_D \times K \) 个核心张量元素加上 \( \sum_m p_m r_m \) 个因子矩阵元素,当 \( r_m \ll p_m \) 时大幅降维。本文的数学贡献在于:在分位数损失(非光滑)下,证明这个降维后的估计量仍然达到最优收敛速率,并且变量选择一致。

这个特例下证明怎么走:① 用 B 样条逼近每个成分函数,将无限维问题转化为有限维问题;② 对样条系数张量做 Tucker 分解,进一步降维;③ 在分位数损失下建立经验过程理论(处理非光滑目标函数);④ 证明估计量的收敛速率和渐近正态性。一般情形(\( D > 1 \), \( d > 1 \))只是这个内核的"加壳"——多了 Tucker 分解的代数复杂性,但核心分析思路不变。


三、这篇论文做了什么

三句话

  1. 研究了什么问题:本文提出张量加性分位数回归模型,在分位数水平 \( \tau \) 下估计张量响应 \( Y \) 与协变量 \( X \) 之间的非线性关系,并解决高维设定下的变量选择问题。
  2. 核心方法:用 B 样条逼近每个成分函数,将样条系数堆叠为额外的张量维度,利用 Tucker 分解降维;在高维设定下引入组惩罚实现变量选择,并创新性地处理了 Tucker 分解中稀疏张量元素的连接问题。
  3. 主要结论:建立了估计量的收敛速率和渐近正态性;提出的方法能识别比 oracle 更广泛的 relevant 特征集合;模拟和真实数据(股票市场、头部姿态图像)验证了方法的有效性。

关键设定与假设

在最小内核的基础上,完整设定包括:

  • 张量结构:\( Y \in \mathbb{R}^{p_1 \times \cdots \times p_D} \),每个模式 \( m \) 有维度 \( p_m \)。Tucker 分解将系数张量 \( \mathcal{B} \) 分解为核心张量 \( \mathcal{G} \) 和因子矩阵 \( \{U^{(m)}\} \),秩为 \( (r_1, \ldots, r_D) \)。
  • 加性结构:\( Q_\tau(Y \mid X) = \sum_{j=1}^d f_j(X_j) \),即协变量效应可加,无交互项。
  • 样条逼近:每个 \( f_j \) 用 \( K_j \) 个 B 样条基函数逼近,样条阶数和节点位置由用户指定(或数据驱动选择)。
  • 稀疏性假设:在高维设定下,假设只有少数协变量对响应有影响(即 \( f_j \equiv 0 \) 对大多数 \( j \)),这是变量选择的前提。
  • Tucker 分解的低秩假设:系数张量 \( \mathcal{B} \) 的 Tucker 秩 \( (r_1, \ldots, r_D) \) 远小于 \( (p_1, \ldots, p_D) \),这是降维可行性的前提。
  • 技术假设(用于渐近理论):成分函数的平滑性(\( q \) 阶导数有界)、设计矩阵的适定性条件(类似 restricted eigenvalue 条件)、样条基的逼近性质等。

相比已有文献(Lu, Zhu, Lian 2023 的均值回归版本),本文的主要放宽是将损失函数从平方损失推广到分位数损失(非光滑),主要强化是引入了组惩罚实现变量选择。

主要结果

理论结果(从摘要和引言推断,具体定理编号需查原文):

  1. 收敛速率:估计量 \( \hat{f}_j \) 在 \( L_2 \) 范数下达到 \( O_p(n^{-q/(2q+1)}) \) 的收敛速率(在适当的平滑性条件下),与 Stone (1985) 的经典速率一致。这验证了 Tucker 分解降维不损失统计效率。
  2. 渐近正态性:在适当的条件下,估计量逐点渐近正态,可构造置信区间。
  3. 变量选择一致性:组惩罚(如 group lasso 或 group SCAD)在分位数损失下实现变量选择一致性,即能以概率趋于 1 地识别出真正的 relevant 协变量集合。
  4. Oracle 性质的推广:作者声称提出的方法能识别"比 oracle 更广泛的 relevant 特征集合"——这是一个值得注意的 claim,意味着在某些条件下,方法能发现传统 oracle 程序遗漏的相关变量。这是作者的说法,需要读者自行判断其统计意义。

模拟结果:蒙特卡洛模拟评估了有限样本表现,包括不同信噪比、不同张量维度、不同协变量数下的估计精度和变量选择准确率。具体数值需查原文。

真实数据: - 股票市场数据:响应可能是股票收益率的张量(股票×时间),协变量是市场指标。方法用于识别哪些市场指标对股票收益的分位数有影响。 - 头部姿态图像数据:响应可能是图像张量(像素×通道),协变量是头部姿态角度。方法用于估计姿态对图像像素值的影响。

证明路线与技术技巧

整体路线(基于分位数回归和 Tucker 分解的标准分析框架推断):

  1. 步骤 1:样条逼近。将每个成分函数 \( f_j \) 用 B 样条基展开,将无限维优化问题转化为有限维问题。这一步引入的逼近误差由样条理论控制(偏差 \( O(K_j^{-q}) \))。
  2. 步骤 2:Tucker 分解参数化。将样条系数张量 \( \mathcal{B} \) 参数化为 \( \mathcal{G} \times_1 U^{(1)} \times \cdots \times_{D+1} I_K \),将参数维度从 \( \prod_m p_m \times K \) 压缩到 \( \prod_m r_m \times K + \sum_m p_m r_m \)。这一步引入的近似误差由 Tucker 分解的截断性质控制。
  3. 步骤 3:分位数损失下的经验过程理论。分位数损失 \( \rho_\tau \) 非光滑,需要处理经验过程的模量连续性。关键工具包括:Koenker & Bassett (1978) 的线性分位数回归理论、He & Shi (1994) 的 B 样条分位数回归理论、以及现代经验过程理论(如 van der Vaart & Wellner 的覆盖数方法)。
  4. 步骤 4:组惩罚与变量选择。引入组惩罚(如 group lasso),利用分位数损失下的 oracle 不等式(类似 Belloni & Chernozhukov 2011 的结果)证明变量选择一致性。
  5. 步骤 5:稀疏张量元素的连接。这是本文的创新点:在 Tucker 分解中,稀疏性体现在系数张量的某些"切片"为零。作者提出一种方法,将 Tucker 分解的结构与稀疏性约束协调起来,使得算法能高效地识别相关特征。

关键技巧: - 张量-矩阵乘积的链式法则:在 Tucker 分解下,目标函数对核心张量和因子矩阵的梯度可以高效计算,这是算法高效性的基础。 - 分位数损失的次梯度:处理非光滑目标时,使用次梯度条件(KKT 条件)而非梯度条件。 - 稀疏性与低秩的联合正则化:将组惩罚与 Tucker 分解的低秩约束结合,形成双重正则化框架。

🔎 结论是否比证明窄

这是需要读者警惕的地方:

  1. "比 oracle 更广泛"的 claim:摘要中说"identifies a broader set of relevant features than the oracle"。这个 claim 如果严格成立,意味着方法在某些条件下能发现传统 oracle 程序遗漏的变量。但这是作者的说法,需要检查:这个"更广泛"是在什么条件下成立的?是否依赖于特定的稀疏性假设或 Tucker 秩的选择?如果 Tucker 秩被低估,是否会引入虚假的相关特征?这些都需要读者自行判断。

  2. 渐近性质的适用范围:收敛速率和渐近正态性通常在固定维度 \( d \) 下证明。如果 \( d \) 随 \( n \) 增长(高维设定),这些结果是否仍然成立?摘要提到"high-dimensional settings",但具体的高维理论(如 \( d = o(n^\alpha) \) 的条件)需要查原文确认。

  3. Tucker 秩的选择:理论结果通常假设 Tucker 秩 \( (r_1, \ldots, r_D) \) 是已知的或固定常数。实际应用中秩需要从数据中估计,这会给理论带来额外的不确定性。作者是否处理了秩选择的理论性质?

  4. 分位数水平的覆盖:理论结果是否对所有 \( \tau \in (0,1) \) 一致成立,还是只对固定 \( \tau \) 成立?极端分位数(如 \( \tau = 0.01 \))的收敛速率通常更慢,作者是否讨论了这一情况?


四、开放问题

以下开放问题均扎根于本文的具体内容,只罗列、不判断可行性:

  1. 高维协变量的理论:本文在高维设定下引入组惩罚,但收敛速率和变量选择一致性的理论是否覆盖了 \( d \) 随 \( n \) 增长的情形?具体条件(如 \( d \) 的增长速率、稀疏性假设)是什么?——扎根于摘要中"high-dimensional settings"的表述,但未给出具体的高维理论条件。

  2. Tucker 秩的自适应选择:理论结果假设 Tucker 秩已知,但实际应用中秩需要估计。是否存在数据驱动的秩选择方法,其理论性质(如秩估计的一致性)如何?——扎根于方法对 Tucker 分解的依赖,但未讨论秩选择的理论。

  3. 极端分位数的行为:本文的理论是否覆盖极端分位数(如 \( \tau \to 0 \) 或 \( \tau \to 1 \))?在这些区域,收敛速率是否会退化?——扎根于分位数回归的一般理论,但本文未明确讨论。

  4. "比 oracle 更广泛"的边界条件:作者声称方法能识别比 oracle 更广泛的 relevant 特征,但这一结论的适用条件是什么?是否依赖于特定的稀疏性结构或 Tucker 秩?——扎根于摘要中的这一 claim,但未在摘要中给出条件。

提醒:要确认上述某条是否是真 gap,建议去读张量回归和分位数回归交叉领域的近期约 5 篇论文的引言——如果多篇都指向同一问题,说明是共识性 gap;如果各篇说法不一,则可能是机会所在。


Maintained by 陈星宇 · Homepage · Source on GitHub

评论