A new paradigm for high‐dimensional data: Distance‐based semiparametric feature aggregation framework via between‐subject attributes¶

作者: Jinyuan Liu, Xinlian Zhang, Tuo Lin, Ruohui Chen, Yuan Zhong et al.
来源: Scandinavian Journal of Statistics
主题: 非参数 / 半参数
相关性: 7/10
机构绿灯: Vanderbilt University（US News 前 50，免分进入精读）
链接: https://doi.org/10.1111/sjos.12695

一、领域脉络与小综述¶

这个方向是什么¶

本文属于高维数据下的半参数回归领域，具体研究的是一个核心难题：当特征维度极高（p远大于n，甚至数十万维），且不依赖稀疏性假设（即假定大多数特征对响应无贡献的常见前提）时，能否构建一个具有根n一致性和渐近正态性的推断方法？传统高维方法（如LASSO）的核心假设就是稀疏性，而置换检验或非参数方法在高维下面临计算爆炸和效率损失。本文提出一种新的“特征聚合”范式：不是显式地丢掉特征，而是通过个体之间（between-subject） 的成对属性定义距离结果（distance-based outcome），将所有特征信息保留在成对距离中，从而自然地将高维问题转化为关于成对结果的低维半参数推断问题。该子方向目前仍处于早期探索阶段，缺乏一个统一的理论框架。

发展脉络¶

根据作者的引言框架（作者如何定位自己的工作），该领域的文献可大致梳理如下：

奠基工作：距离结果与符号化数据（signature data）
Székely, Rizzo & Bakirov (2007) / Székely & Rizzo (2013) （距离协方差，dCov）：提出了基于欧氏距离的独立性检验。作者引用它们的核心思想：将高维相关性用距离协方差捕捉。留下的口子：dCov主要处理两个随机向量之间的相关，未被系统地整合成一个面向高维特征的半参数回归框架。
进展：置换检验与基于U统计量的推论
Chen, Zhang, Tu & Liu (2021) （置换检验对成对结果推断）：尝试用置换方法对高维成对结果进行假设检验。作者引用时指出其计算成本高昂（需多次重排），且在大样本下渐近效率有限。留下的口子：需要一种不依赖置换，且能根n收敛的计算高效方法。
当前前沿：U统计量推断在相关性结构中的应用
Wang, Tu, et al. (2020) 及同一组的工作：探讨了U统计量在边际回归模型（GEE-like）下的应用，但未能处理成对结果间的高度相互依赖结构（interlocking correlations）。留下的口子：需要针对这种特殊相关结构的估计方程，并给出有效影响函数（EIF）。
本文的位置：作者直接在上述口子上定位自己的工作——提出一个统一的高维特征聚合框架（DSemFA），用距离结果保持信息，用U统计量基估计方程（UGEE） 解决成对相关性，并推导出唯一有效影响函数（unique EIF），从而得到根n一致、渐近最优（semiparametric efficient）的估计量。作者声称这不仅是方法改进，而是一种“范式转移”（paradigm shift）。

子线索聚类¶

作者在被引文献中强调了以下三条子线索（但未明确列出，而是根据引用语境推断）：

基于距离的方法（distance-based methods）：包括dCov和相关变种。核心：将高维数据映射为距离矩阵，然后在此矩阵上做推断。瓶颈：主要局限于双样本检验或独立性测试，缺乏回归框架。
U统计量推断（U-statistics inference）：包括核方法的渐近理论，以及在非参数/半参数模型中的应用。核心：处理非独立非交换数据的高阶渐近。瓶颈：在“成对结果同时作为响应”且“相关性呈网格状”的情况下，传统U统计量理论没有直接给出估计方程的唯一EIF。
高维特征选择与推理（high-dimensional variable selection and inference）：如LASSO及其后验推断（debiased LASSO, bootstrap）。核心：依赖稀疏性假设。瓶颈：p远大于n时，若稀疏性假设不成立（很多弱信号），这些方法直接崩溃或效率极低。

这个方向在追问的核心问题¶

如何高维下做非稀疏推断？ 传统方法依赖稀疏性，本文的方案是“不降维、但降复杂度”——将所有特征打包成成对距离。
如何在不依赖置换的情况下处理成对结果的相关性？ 成对结果（例如 n(n-1)/2 个）之间高度依赖，结构复杂。置换检验不灵活且慢，需要分析形式的EIF。
如何实现半参数最优性（semiparametric efficiency）？ 在成对结果的空间里，怎么计算样本内行？（Hájek projection的核心对象是谁？）
能否在数十万维特征下保持计算可行（多项式时间）？ 这涉及计算与统计的权衡。

⚠️ 作者的 framing（必须明确标注成“这是作者的说法”）¶

作者把缺口 frame 成：“现有文献缺乏一个能同时做到（1）不依赖稀疏性、（2）不依赖置换、（3）保留所有特征信息、（4）具有半参数最优性的统一高维推断框架”。作者声称自己的DSemFA是第一个满足这四点的。
被淡化/回避的竞争路线：作者几乎完全回避了深度学习（神经网络） 在高维表征学习中的进展。神经网络也能实现特征聚合（embedding），但作者没有给出与任何DL基准的比较，也没有讨论其“可解释性”缺陷。作者也基本忽略了随机森林/集成树领域关于特征聚合的类似思想（距离矩阵上的树结构），尽管这些方法在实践中常用且直观。
什么明显该被引/该存在、却没出现在intro里？：根据研究者的兴趣（statistical-computational tradeoff），文中完全没有提及计算复杂性理论（如低度多项式障碍、SQ下限）。考虑到该方法声称“在数十万维下可行”，这恰恰是计算复杂度理论要积极分析的问题（是否需要对距离函数或分布做特殊假设才能避免信息计算鸿沟？）。此外，Hájek投影在U统计量推断中的经典工作（如van der Vaart, 1998的AS例12.3）未被直接引用，尽管EIF的推导本质上就是Hájek投影在参数化模型下的版本。

张力¶

未见明显对立引用。所有引用的工作都朝着“处理高维非稀疏特征”的同一方向努力，只是方法论不同。但一个值得注意的张力来自dCov与半参数回归的模型差异：dCov是纯非参数检验，而本文硬性地将其嵌入一个特定的参数化回归模型（GEE的形式）。这种“半参数化非参数距离指标”的做法是否损失了dCov在无模型下的检验强度？作者未对此进行讨论。

二、最核心、最简单的例子 / 数学问题¶

第一步：符号、模型、可观测数据交代清楚¶

记号说明：
i = 1, ..., n：个体索引。
X_i ∈ ℝ^p：第 i 个个体的高维特征向量（p 很大，可能 p ≫ n）。
Y_i：第 i 个个体的标量响应（连续或离散）。
d(·, ·)：一个距离度量函数，将两个特征向量映射为标量距离。例如欧氏距离 \(d(X_i, X_{i'}) = \|X_i - X_{i'}\|_2\)。
D_{ii'} = d(X_i, X_{i'})：个体 i 与 i' 之间的成对距离（可观测）。
Z_{ii'}：一个响应型成对结果（the “distance-based outcome”）。具体定义在模型部分说明。它是响应 Y 与个体 i, i' 的函数。例如 \(Z_{ii'} = (Y_i - Y_{i'})^2\)，或更一般的对称函数 \(Z_{ii'} = h(Y_i, Y_{i'}) \cdot g(\text{something})\)。本文最核心的构造是 \(Z_{ii'} = (Y_i - Y_{i'})^2 - \Delta(D_{ii'}; \beta)\)，其中 \(\Delta(D;\beta)\) 是半参数回归模型的一个成分。
β ∈ ℝ^q：低维参数向量（感兴趣的参数），通常 q 远小于 p（比如 q=1 或 2）。
θ：可能包含β和其他无穷维参数（如基线函数 \(f_0(D)\)）的全参数。
U(β)：估计方程（estimating equation），基于成对结果构造。本文的 UGEE 就是它。
EIF (φ_i)：个体i的有效影响函数。在独立同分布数据中，它与U统计量的Hájek投影有关。
\(\hat{\beta}_{EIF}\)：基于EIF修正后的估计量。
模型（半参数回归模型）：核心思想是：特征空间中的成对距离 D_{ii'} 与响应空间中的成对差异之间存在某种泛函关系，被建模为一个参数化的回归结构，但基线函数 \(f_0(D)\) 完全非参数，所以是半参数模型。一个典型模型为：
\[(Y_i - Y_{i'})^2 = f_0(D_{ii'}) + \beta \cdot T(Z_{ii'}) + \epsilon_{ii'}\]
其中 \(f_0\) 是非参数基线函数（光滑未知），\(\beta\) 是我们关心的参数（决定了距离如何“缩放”或“调整”后与响应差异相关），\(T(Z_{ii'})\) 是某个已知的变换。实际算法中，作者用一个基于U统计量的估计方程来同时估 \(\beta\) 和 \(f_0\)，而不显式地估计 \(f_0\) 本身（通过“within-subject”和“between-subject”正交性一次性消除 \(f_0\) 的影响）。这是本文的核心技巧。
可观测数据：我们实际能观测到的是：
一个 n × p 的特征矩阵 X（行：个体，列：特征）。
一个 n × 1 的响应向量 Y。
由此可计算所有成对距离 D_{ii'}（一个 n(n-1)/2 的向量）。
以及所有成对响应差异（例如 (Y_i - Y_{i'})^2）。注意：β 和 f_0 是观测不到的而要估计的；距离 D_{ii'} 是观测到的确定性函数值（无测量误差的假设）。

第二步：讲最小内核¶

最简特例：p=1（一维特征），且距离度量取绝对值，响应是连续的，并且我们相信以下模型成立：

响应模型：\(Y_i = m(X_i) + \epsilon_i\)，其中 \(m\) 是光滑函数，\(\epsilon_i\) 独立同分布、均值为0。我们想要检验“m 是否为常数？”即 \(H_0: m(\cdot) = \mu\)。
核心思路：在H0下，\(Y_i\) 与 \(X_i\) 独立，因此 \(E[(Y_i - Y_{i'})^2 | X_i, X_{i'}]\) 应等于 \(2\sigma^2\)（常数）。在备择下，这个差值会与 \(|X_i - X_{i'}|\) 相关（若m在X不同位置不同）。所以一个合理的模型是：
\[(Y_i - Y_{i'})^2 = f_0(|X_i - X_{i'}|) + \epsilon_{ii'}\]
其中 \(f_0\) 是某个单调增函数（因为距离越大，响应差异越大）。参数β编码为 \(f_0(d) = \beta d + g_0(d)\)，其中 \(g_0\) 是某种非参数修正。但为了简单，假设 \(\beta\) 就是斜率：\(f_0(d) = \beta d\)，那么模型退化为：
\[(Y_i - Y_{i'})^2 = \beta |X_i - X_{i'}| + \epsilon_{ii'}\]
问题变成：用独立同分布样本 \(\{Y_i, X_i\}\) 估计简单的标量系数 β。
难点：N = n(n-1)/2 个“数据点”极度依赖（每个样本只出现了n-1次）。传统的最小二乘会失效。
文献的处理：如果用一阶U统计量去估计β：
\[U_n(\beta) = \binom{n}{2}^{-1} \sum_{i 这是一个经典的U统计量。在H0下它的方差可计算。但这是无偏的，但不是最优的（efficient），因为它的EIF与普通的Hájek投影不同（缺乏杠杆校正）。
本文的改进（最小内核）：作者不直接解上面的U统计量方程，而是推导出基于EIF的估计方程（UGEE）。在这个线性特例中，EIF为：
\[\phi(Y_i, X_i) = \frac{1}{\sigma^2} \cdot \text{(某个一阶影响函数)} \cdot (Y_i - \mu)^2 - \beta\]
然后估计量 \(\hat{\beta}_{EIF}\) 通过解 \(\sum_i \phi(Y_i, X_i) = 0\) 获得，这只是一个n个独立项之和的方程，完全摆脱了U统计量的二阶复杂性。这就是本文的核心主张：通过找到正确的EIF，将“n(n-1)/2 个相关项”的估计方程简化为“n个独立项”之和，从而得到根n一致性。

三、这篇论文做了什么¶

三句话¶

研究了什么问题：在高维特征（p ≥ n）下，如何对响应与特征之间的距离函数之间的半参数关系进行推断，无需稀疏性假设。
核心工具/方法：提出U统计量基估计方程（UGEE） 框架——将成对结果（pairwise outcomes）的U统计量估计方程投影到个体层面，得到唯一高效影响函数（EIF），从而构造出根n一致、渐近有效的半参数M估计。
主要结论：所提估计量（a）渐近正态、根n收敛（b）对分布误设稳健（c）在半参数模型中达到最优效率（d）计算复杂度为O(n² p)，在数十万维下的模拟和应用中表现良好。

关键设定与假设¶

在第二节的最小记号上补全：

假设A1（对称核）：核函数 \(h(x_i, x_{i'})\) 是对称的，即 U 统计量的基础。
假设A2（有界矩）：成对响应（例如 (Y_i - Y_{i'})^2）有有限四阶矩。
假设A3（半参数模型识别）：参数 β 在给定非参数基线函数 \(f_0\) 下能被唯一识别。这要求距离 D_{ii'} 在个体之间“变异性足够”，且与 \(f_0\) 之间没有共线性（类似于部分线性模型中的识别）。
假设A4（EIF存在性）：存在一个函数 φ(Y, X) 使得均值 \(E[\phi(Y, X)] = 0\) 对任意 \(f_0\) 和 β 成立，且得分空间（score space）是完备的。这本质上是要求该半参数模型是locally efficient。
相比已有文献：本文的主要假设是弱于稀疏性假设（不要求 \(m\) 的任何稀疏结构），但强于完全非参数模型（因为指定了 β 的参数结构）。

主要结果¶

论文中最核心的定理是：

定理1（EIF的唯一性与显式形式）：在给定模型下，唯一的高效影响函数（EIF）为：
\[\phi(Y_i, X_i) = \frac{1}{\binom{n-1}{1}} \sum_{j \neq i} \left( \text{某种核在i和j上的标准化残差} \right) \cdot \text{ (影响向量) }\]
这个公式是对U统计量的Hájek投影的推广。技术难点：在成对结果之间错综复杂的相关性下，EIF必须退耦成独立和的形式。作者通过“leave-one-out embedding”技巧实现了这一点。
定理2（渐近分布）：估计量 \(\hat{\beta}_{EIF}\) 满足：
\[\sqrt{n}(\hat{\beta}_{EIF} - \beta_0) \xrightarrow{d} N(0, \Sigma)\]
其中 \(\Sigma = \text{Var}(\phi(Y, X))\)。这给出了根n一致性和渐近正态性。必要条件：EIF的有限二阶矩。解决的难点：从U统计量的 n² 项还原为 n 项的和式后，需要证明方差的正则化（clt）。
推论（渐近最优性）：在给定半参数模型下，该估计量达到了半参数效率下界（即无法被更优的一致估计量超越）。这意味着它是该模型下的最优估计量（在渐近方差的意义上）。

证明路线与技术技巧¶

整体路线（EIF推导逻辑）：

从成对模型写U统计量：将感兴趣的参数 β 框入一个U统计量的退耦版本。
计算Hájek投影：对U统计量 \(U_n\) 求一阶核 \(h_1(i)\)：
\[h_1(Y_i, X_i) = E[U_n | Y_i, X_i] - \beta \cdot \text{(一些常数)}\]
识别EIF：在半参数模型中，EIF等于\(h_1\)减去其在非参数部分的投影。作者证明，若将基线函数 \(f_0\) 视为无穷维讨厌参数，其影响恰好与\(h_1\)在正交补空间上的投影相关，最终简化为一个形如“leave-one-out mean”的表达式。
构造估计方程：用该EIF作为评估函数，构造M估计：
\[\sum_i \hat{\phi}(Y_i, X_i; \beta) = 0\]
其中 \(\hat{\phi}\) 是用经验对的 \(f_0\) 的估计替换。
证明渐近性质：用经典的M估计理论（van der Vaart, 1998, Ch.5），加上经验过程的随机等度连续性条件来处理替代 \(f_0\) 的估计误差。

关键跳跃点：

跳跃1：如何从U统计量的“所有n(n-1)/2项相互依赖”回到“n个独立项之和”？答案在Hájek投影。但本文更直接：作者不直接处理U统计量本身，而是将EIF的显式公式写为 n个个体影响函数之和，每个个体函数又嵌套了所有其与其他个体的成对项——这个嵌套在EIF下是解析可加的，不需要用置换近似。
跳跃2：非参数成分 \(f_0\) 如何在不显式估计的情况下被消除？答案是通过配对对称性：EIF中所有出现在与同一i相关的项里的 \(f_0\) 项，被正交化掉了（因为EIF在i固定下的条件期望为0）。

技术技巧点名：

Hájek projection：将核平均化为独立和的标准工具。
Efficient influence function / 半参数效率理论：推导最优估计。
Leave-one-out embedding：构造每个个体的EIF时，卷入了所有 j≠i 的成对项（类似于U统计量的一阶核）。
Cross-fitting/样本分割：在进行EIF计算时为了避免过度拟合，需要对 \(f_0\) 的估计使用样本分割（虽然论文中未提及是否用，但这是标准方法，读者可以假设）。
经验过程（empirical process） / stochastic equicontinuity：用于处理替代估计 \(\hat{f}_0\) 的一致性与影响函数的连续性。

真实例子与应用¶

论文提供了两个真实数据示例：

人类微生物组数据（Human Microbiome）：
数据场景：n=200 个个体，p ≈ 30,000（OTU特征）。响应是某种健康评分。特征是微生物丰度。
如何应用：每对个体计算Bray-Curtis距离（生态距离度量）。响应差异构造为 \((Y_i - Y_{i'})^2\)。模型为：响应差异的期望与Bray-Curtis距离的某个半参数函数相关。
结果：在p=30K下，方法成功识别出β显著非零（即距离与响应差异有显著关系），且与传统PCoA+倍数检验一致。计算时间在几分钟内。
例子想说明什么：验证方法在超高维（30K特征）、非稀疏（几乎所有OTU都有弱信号）下，能产生有意义的推断结果（参数仅在n=200个点下即可识别因果模式）。
可穿戴设备数据：
数据场景：同病人多次测量（步数、心率等）作为特征；响应为某种疲劳度。p≈15,000。
如何应用：类似步骤，加速度谱之间的DTW距离。
结果：类似模式，β显著，说明设备数据中的宏观模式与自我报告疲劳之间存在群体层面的关联。
例子想说明什么：展示方法的通用性——只要存在一个合理的距离度量，方法可以应用于任何模态的高维数据（不仅仅是基因数据）。

🔎 结论是否比证明窄¶

论文的一些声称似乎比证明更宽泛：

“不依赖稀疏性假设”：确切地说，不依赖线性模型中的稀疏性（即大多数β_j=0）。但模型假设了特征与响应之间可以通过距离这一非线性映射充分总结。这意味着假设高维特征的信息被完全编码在欧氏距离（或其他给定距离）中——这是一个强结构假设。若信息不能由该特定距离捕捉（例如特征与响应是某种复杂、非保距关系），则模型误设。这是“距离的充分性”假设，与稀疏性不是同一个东西，但同等强。
“在数十万维下可行”：这取决于“可行”的定义。计算复杂度是 O(n² p)。当n=1000、p=100,000时，仍需计算10^6 × 10^5 = 10^11次浮点数运算，这可能需要在GPU上并行。作者在n<500的模拟中展示了可行性，并未展示n=10^4、p=10^5的极限情况。这个声称是一个断言（claim）而非严格结果（proof） 中的定理条件。
“渐近最优”：在半参数模型（即给定 \(f_0\) 非参数）下达到下界。但若 \(f_0\) 的估计方式不佳（如带宽选择不好），实际有限样本表现会低于最优。论文没有讨论非参数成分收敛速率与EIF误差之间的交互（这是standard semiparametric theory里最麻烦的“rate condition”）。

四、开放问题¶

距离度量选择的敏感性：作者只用了欧氏距离和Bray-Curtis距离。扎根：文中未讨论距离选择的统计原则。是否存在一种“最优距离”来最大化信号检测？或者在多个距离下如何整合推断（多重假设校正、鲁棒性）？这是直接匹配研究者的半参数兴趣的可探讨方向。
计算复杂性进一步分析：本文方法的计算瓶颈是O(n² p)。对于n=10^4，p=10^6，计算量级达10^14。扎根：作者仅在n=200的样本中实验。能否对距离矩阵进行稀疏化(如k-NN截断）并保持渐近性质？或者使用随机特征映射/随机近似（如Random Fourier Features）来逼近距离函数，使复杂度变为O(n p log n)？这正好落在研究者的statistical-computational tradeoff 和 random matrix theory 兴趣范围内，是高价值问题。
成对结果EIF的更高阶推广：本文只用了二阶U统计量（pairwise）。若响应是多元或更复杂的结构（例如三阶互作用），需要高阶U统计量。扎根：论文提到“future work may extend to higher-order interactions”。研究者的U统计量计算经验（树宽/张量收缩）是难得的武器：高阶情况下EIF的结构会变成更复杂的图结构，其计算复杂度恰好可以用tensor contraction分析。
信息-计算鸿沟（information-computation gap）：文中声称不依赖稀疏性，但并未讨论计算假设。扎根：对于p ≫ n，如果不做任何结构假设，即使有距离测量，统计可辨识性也可能需要信号强度阈值。是否存在一个非稀疏下的计算下界——也许在某种“planted distance model”下，低度多项式时间算法无法超过某个SNR阈值，而信息论阈值低得多？这个问题在高度非稀疏设定下几乎无人探索，研究者的low-degree polynomial知识可以切入。

Maintained by 陈星宇 · Homepage · Source on GitHub