跳转至

JMLR — Vol 27 · 2026-10-10

  • 共 155 篇 · JMLR

本期导览

自动生成:归纳本期主要主题与脉络,不打分、不排名。

这一期JMLR共155篇论文,整体上可归纳为四条主线:因果识别与稳健推断、半参数与非参数效率、高维统计与随机矩阵、以及假设检验与不确定性量化。因果推断方向聚焦于弱工具变量、未观测混杂和缺失数据下的识别与估计;半参数方向则围绕模型误设、迁移学习和分布回归展开;高维与随机矩阵方向关注稀疏结构、谱方法和隐私约束下的最优速率;假设检验方向则涉及多重比较、条件独立检验和在线决策中的误差控制。此外,还有相当数量的论文涉及深度学习理论、优化算法和软件工具,但与前四条主线的统计方法学关联较弱。

因果推断与半参数效率是本期最突出的两条主线。在因果推断方面,多篇论文处理工具变量假设违反的稳健性问题:一篇提出两阶段曲率识别(TSCI)方法,利用非线性处理模型的曲率区分工具变量效应与违反形式,并设计偏差校正步骤使估计量在机器学习不一致时仍渐近无偏;另一篇则系统刻画了加性非线性非恒定效应模型下工具变量的可检验性条件,给出基于辅助变量的检验准则。缺失数据与因果图简化也有进展:一篇在工具变量模型中处理治疗和结局非随机缺失(MNAR),给出无需辅助信息的CATE可识别条件;另一篇将因果数据融合中的图简化(剪枝与聚类)推广到多源场景,为可识别性提供充分条件。半参数方向则呈现两类互补思路:一类是参数模型的非参数修正,如广义贝叶斯框架下对参数模型误设的稳健化,以及利用外部数据(迁移学习)提升随机对照试验中分层处理效应的效率;另一类是纯非参数方法,如全局Fréchet流形学习用于分布数据降维、切片Wasserstein回归用于分布响应变量,以及核方法框架下神经算子的统计学习理论——后者将经典非参数回归的极小极大速率推广到无限维输入输出空间,值得关注。

高维与随机矩阵主线中,本期有几篇论文值得优先留意。一篇将CCA估计转化为降秩回归问题,在高维稀疏设定下利用已有回归工具实现高效计算与理论保证;另一篇研究异质图模型中的稀疏结构与社区联合识别,采用低秩加稀疏分解并推广了自适应Lasso的相合性条件。假设检验方面,一篇处理高维分类问题中非光滑代理损失的推断,通过核平滑去相关得分构造检验统计量,另一篇则提出在线多重检验的反馈机制,将alpha-investing推广至bandit反馈场景,并应用于在线共形选择。若您关注因果推断与半参数效率,建议优先阅读TSCI、工具变量可检验性、MNAR下的CATE识别、迁移学习处理效应估计以及Fréchet流形学习这几篇;若更偏向高维与检验,则CCA降秩回归、异质图社区识别和反馈增强在线检验是更直接的切入点。

因果推断 (causal_inference, 14 篇)

1. jmlr:v27/24-0515 · arXiv — Robustness Against Weak or Invalid Instruments: Exploring Nonlinear Treatment Models with Machine Learning

  • 作者: Zijian Guo, Mengchu Zheng, Peter Bühlmann
  • 期刊/来源: JMLR
  • 分类: JMLR v27
  • 相关性 9/10 · novelty: new_method
  • 摘要: 本文研究存在弱或无效工具变量时的因果推断问题,目标是在工具变量假设可能违反的情况下识别并估计平均处理效应。作者提出两阶段曲率识别(TSCI)方法,利用机器学习拟合非线性处理模型,以增强工具变量强度并调整多种形式的假设违反。TSCI 成功的关键条件是工具变量对处理的作用与其违反形式不同,这通过处理模型的非线性曲率实现。为消除机器学习高复杂度带来的偏差,作者设计了新颖的偏差校正步骤,使得即使机器学习算法不一致估计处理模型,TSCI 估计量仍渐近无偏且服从高斯分布。此外,作者提出数据自适应方法在多个候选违反形式中选择最优者。实证部分将 TSCI 应用于教育对收入影响的研究。该方法对您关于工具变量和敏感性分析的兴趣有直接关联,其偏差校正思想也可能与您的效率理论工作产生联系。
  • 关键技术: two-stage curvature identification, machine learning first stage, bias correction, invalid instruments, nonlinear treatment model
  • 为什么对您有用: 本文直接关联您的主要兴趣——因果推断中的工具变量和敏感性分析,具体是无效工具变量下的识别与估计。您可以用 very_familiar 的估计理论(如 semiparametric theory 中的 influence function)来审视其偏差校正步骤的渐近性质,或用 moderately_familiar 的 HOIF 思想分析其高阶偏差。中期可做:若想深入其机器学习与半参数效率的结合,需在 semiparametric theory 上加强。

2. jmlr:v27/23-1434 · arXiv — A Convex Framework for Confounding Robust Inference

  • 作者: Kei Ishikawa, Niao He, Takafumi Kanamori
  • 期刊/来源: JMLR
  • 机构: Tokyo Institute of Technology · ETH Zurich
  • 分类: JMLR v27
  • 相关性 8/10 · novelty: new_method
  • 摘要: 本文研究离线上下文赌博机在存在未观测混杂时的策略评估问题,目标是在给定不确定性集下估计策略值的 worst-case 下界。现有敏感性分析方法常对不确定性集做粗糙松弛以保证可解性,导致下界过于保守;本文提出一个基于凸规划的通用估计器,直接给出策略值的尖锐下界。该框架的通用性支持多种扩展,包括基于 f-divergence 的敏感性分析、交叉验证与信息准则的模型选择,以及利用尖锐下界的稳健策略学习。借助强对偶性,估计问题可重写为经验风险最小化,从而利用 M-估计理论建立强理论保证。
  • 关键技术: convex programming, sensitivity analysis, f-divergence, strong duality, empirical risk minimization, M-estimation
  • 为什么对您有用: 直接连接因果推断中的敏感性分析子方向(未观测混杂下的 worst-case 界),且其凸对偶 + M-估计的证明路径与您熟悉的 semiparametric 理论(influence function、M-estimation)高度契合。可用您 very_familiar 的 minimax 界工具检验其下界是否紧,或探索其与 proximal CI 中 negative control 设定的联系。中期可做:需先熟悉 f-divergence 不确定性集的几何性质(moderately_familiar 的 identification theory 可支撑)。

3. jmlr:v27/24-1990 · arXiv — Testability of Instrumental Variables in Additive Nonlinear, Non-Constant Effects Models

  • 作者: Xichen Guo, Zheng Li, Biwei Huang, Yan Zeng, Zhi Geng, Feng Xie
  • 期刊/来源: JMLR
  • 机构: Beijing Technology and Business University · University of California San Diego · Peking University
  • 分类: JMLR v27
  • 相关性 8/10 · novelty: new_method
  • 摘要: 本文研究观测数据中工具变量(IV)的可检验性问题,针对现有检验多限于离散处理或常数效应假设的局限,提出一个加性非线性、非恒定效应模型,允许处理变量为连续或离散,并存在未观测混杂。作者提出基于辅助变量的独立性检验(AIT)条件,用于检验候选变量是否为有效工具变量。在完整性条件下,证明了有效工具变量必然满足AIT条件;进一步在附加条件下,证明了AIT条件是检测所有无效IV的充要条件。文中还将AIT条件扩展到含协变量的情形,并给出实用的检验算法。在合成数据和三个真实数据集上的实验验证了所提条件的有效性。对您而言,该工作直接关联您因果推断中IV识别与检验的兴趣,其可检验性分析思路可迁移至您熟悉的proximal causal inference框架下的假设检验问题。
  • 关键技术: instrumental variables, testable implications, independence test, additive nonlinear models, completeness condition
  • 为什么对您有用: 该论文直接切入您primary interest中的IV识别与检验子方向,特别是连续处理和非恒定效应下的可检验性,这是IV文献中较新的问题。您可以用very_familiar的估计理论(如非参数估计)和moderately_familiar的identification theory来审视其AIT条件的识别假设,并考虑将其扩展到proximal causal inference的negative control设定中。中期可做:需在semiparametric theory上加强,以处理其非参数检验的渐近性质。

4. jmlr:v27/25-0583 · arXiv — Identifiability of the Instrumental Variable Model with the Treatment and Outcome Missing Not at Random

  • 作者: Shuozhi Zuo, Peng Ding, Fan Yang
  • 期刊/来源: JMLR
  • 机构: Colorado School of Public Health · University of California, Berkeley · Beijing Institute of Mathematical Sciences and Applications · Tsinghua University
  • 分类: JMLR v27
  • 相关性 8/10 · novelty: new_theory
  • 摘要: 本文研究工具变量模型中治疗和结局变量缺失非随机(MNAR)时,局部平均处理效应(CACE)的可识别性。在MNAR下,数据分布不可恢复,CACE通常不可识别,作者系统刻画了无需辅助信息即可识别CACE的缺失机制。针对治疗或结局单独缺失、以及前瞻性数据收集下两者同时缺失两种设定,作者穷举缺失机制并给出完整识别条件。结果统一了已有结论并补充了新情形,为实证分析提供了检查识别性的实用指导。对您而言,该工作与您因果推断中IV和缺失数据方向直接相关,其识别性分析框架可迁移至您熟悉的proximal CI设定。
  • 关键技术: instrumental variable, missing not at random, identifiability, local average treatment effect, causal inference
  • 为什么对您有用: 该论文属于因果推断中IV与缺失数据交叉方向,直接连接您的primary interest中的IV和identification theory。您可用very_familiar的估计理论工具(如M-estimation)验证其识别条件在有限样本下的估计性质,或扩展至proximal CI框架。中期可做:需在identification theory上进一步熟悉,但当前武器库足以支撑初步探索。

5. jmlr:v27/25-1011 · arXiv — Incorporating external data for analyzing randomized clinical trials: A transfer learning approach

  • 作者: Yujia Gu, Hanzhong Liu, Wei Ma
  • 期刊/来源: JMLR
  • 机构: Renmin University of China · Tsinghua University
  • 分类: JMLR v27
  • 相关性 8/10 · novelty: new_method
  • 摘要: 本文在随机对照试验(RCT)框架下,针对分层随机化或协变量自适应随机化,提出利用外部试验数据(源域)进行迁移学习以估计处理效应。目标是提高 lasso 调整的分层特异性估计量的效率,在外部数据与当前试验相似时降低样本量需求。方法上采用基于参数的迁移学习,先在各层内估计回归系数并校正源域与目标域之间的偏差,再构造迁移学习估计量。理论上推导了回归系数估计的收敛速度,并建立了迁移学习估计量的渐近正态性。为便于推断,提出了一致的非参数方差估计量,对模型误设稳健,适用于多种随机化程序。数值研究验证了估计量的有效性和稳健性。对您而言,该文将迁移学习与因果推断中的处理效应估计结合,其分层估计和方差估计思路可联系到您的因果推断与半参数理论兴趣。
  • 关键技术: transfer learning, lasso-adjusted estimator, covariate-adaptive randomization, asymptotic normality, nonparametric variance estimation
  • 为什么对您有用: 该文直接关联您的因果推断兴趣,特别是处理效应估计在分层随机化下的效率提升问题。您可以用 very_familiar 的估计理论(如 M-估计、半参数效率)来审视其迁移学习估计量的渐近性质,或探讨其方差估计量在更一般设定下的表现。属于立即可做的方向。

6. jmlr:v27/25-1140 · arXiv — Clustering and Pruning in Causal Data Fusion

  • 作者: Otto Tabell, Santtu Tikka, Juha Karvanen
  • 期刊/来源: JMLR
  • 机构: University of Jyväskylä
  • 分类: JMLR v27
  • 相关性 8/10 · novelty: new_method
  • 摘要: 本文研究因果数据融合中的模型简化问题,即在结合观测与实验数据以识别因果效应时,通过剪枝(移除无关变量)和聚类(合并变量)来减小因果图规模,同时保持效应可识别性。作者将先前针对单一数据源的结果推广到多数据源场景,给出了在较小图上推断较大图上因果效应可识别或不可识别的充分条件,并展示了如何为可识别效应构造相应的识别泛函。方法基于 do-calculus 和因果图的结构性质,旨在缓解变量增多时 do-calculus 的计算负担。文中通过流行病学和社会科学的例子演示了所提方法的实用性。对您而言,该工作为因果数据融合中的图简化提供了理论保证,与您关注的识别理论和纵向因果推断方向直接相关。
  • 关键技术: do-calculus, causal data fusion, graph pruning, graph clustering, identifiability
  • 为什么对您有用: (1) 直接对应 primary interest 中的 causal inference 识别理论,特别是多数据源融合场景;(2) 可用您 very_familiar 的 estimation theory in causal inference 和 nonparametric statistics 来审视其识别泛函的统计性质(如效率),或用 moderately_familiar 的 identification theory 来验证其充分条件是否可放宽;(3) 中期可做:需先在 moderately_familiar 的 identification theory 上加深对 do-calculus 和图结构操作的理解,才能在此基础上提出新的简化准则或扩展。

7. jmlr:v27/25-1223 · arXiv — Embedding Network Autoregression for Time Series Analysis and Causal Peer Effect Inference

  • 作者: Jae Ho Chang, Subhadeep Paul
  • 期刊/来源: JMLR
  • 机构: The Ohio State University
  • 分类: JMLR v27
  • 相关性 7/10 · novelty: new_method
  • 摘要: 本文提出嵌入网络自回归模型(Embedding Network Autoregressive Model),用于多元网络化纵向数据,统一了网络时间序列建模与因果同伴效应推断两个问题。模型假设网络由潜在变量生成,这些未观测变量同时进入结构同伴效应模型或网络自回归模型,从而在有限时间纵向数据下处理由同质性(homophily)导致的混杂。估计策略为先从观测网络估计潜在变量,再对网络自回归模型进行最小二乘估计。作者证明在顶点数 N 增长、时间点数 T 增长(时间序列问题)或 T 有限(同伴效应问题)的设定下,动量和同伴效应参数估计量具有相合性和渐近正态性,并允许潜在向量维数 K 以适当速率增长。文章还发展了 K 未知时的选择准则,证明其不会欠选,并研究了 K 误设时的偏差率。实证部分使用来自 23 所学校 7000 多名学生的数据研究冲突和学校氛围感知中的同伴效应。对您而言,该文将潜在变量网络模型与因果推断结合,其有限 T 下的同伴效应识别策略与您关注的纵向因果推断和识别理论直接相关。
  • 关键技术: latent variable network model, network autoregression, least squares estimation, asymptotic normality, model selection criterion, peer effect inference
  • 为什么对您有用: 该文直接连接您 primary interest 中的纵向因果推断与识别理论:在有限时间点下利用网络结构处理同质性混杂,是您 moderately_familiar 中 identification theory 的一个具体应用场景。您可用 very_familiar 的估计理论(最小二乘、渐近正态)快速评估其识别假设与估计量性质,属于立即可做的 follow-up 方向。

8. jmlr:v27/25-1595 · arXiv — Learning general conditional independence structures via the neighbourhood lattice

  • 作者: Arash A. Amini, Bryon Aragam, Qing Zhou
  • 期刊/来源: JMLR
  • 分类: JMLR v27
  • 相关性 7/10 · novelty: new_method
  • 摘要: 本文研究非参数高维设定下多元依赖结构的学习问题,涵盖但不限于图模型。作者引入邻域格分解(neighbourhood lattice decomposition)作为条件独立(CI)结构的紧凑非图表示,该表示在缺乏忠实性(faithfulness)假设时依然有效。他们证明该分解存在于任何图模型中,并可在高维下以非参数方式一致估计,同时避免维数灾难。方法核心是递归地利用局部邻域信息,通过条件独立性检验构建格结构,无需预先知道图类型或图本身。理论结果包括估计的一致性以及在高维稀疏条件下的收敛速率。作为特例,该框架为任意图模型的高维 CI 结构非参数估计提供了通用解。对您而言,该文与因果推断中结构学习(如 DAG 学习)和半参数理论中的非参数估计紧密相关,其邻域格思想可能为处理非忠实性分布下的因果发现提供新视角。
  • 关键技术: neighbourhood lattice decomposition, conditional independence testing, nonparametric estimation, high-dimensional consistency, graphical models
  • 为什么对您有用: 本文直接关联您的因果推断兴趣中的结构学习与条件独立识别,尤其在不满足 faithfulness 的设定下,为因果发现提供了新表示。您可尝试用 very_familiar 的高维渐近工具分析其估计量的收敛速率,或结合 moderately_familiar 的识别理论探讨其与 proximal CI 中 negative control 假设的联系。中期可做:需在非参数条件独立检验的有限样本性质上加强,属于 moderately_familiar 的 M-估计理论范畴。

9. jmlr:v27/25-2221 — Doubly Debiased Robust Subsampling for Transfer Learning

  • 作者: Tao Wang, Weng Kee Wong
  • 期刊/来源: JMLR
  • 分类: JMLR v27
  • 相关性 7/10 · novelty: new_method
  • 摘要: 本文针对迁移学习中大规模源数据无法全量使用、而朴素子采样导致估计偏差并叠加源-目标分布漂移的转移偏差问题,提出双重去偏稳健子采样框架。方法通过逆概率加权消除子采样偏差,使子样本估计代表完整源分布;再通过基于目标的一步修正将估计重新居中于目标分布,缓解转移偏差。两种修正嵌入分布鲁棒优化设计中,以最大均值差异(MMD)同时控制最坏情形目标风险并强制源-目标对齐。为优化子采样分布,提出标量化粒子群算法,通过调节单一参数探索鲁棒性-对齐前沿。理论性质包括渐近正态性、泛化界、oracle不等式及分布不确定性下的极小极大最优性。模拟与文本情感、图像识别实证表明方法优于均匀子采样、仅目标训练和对齐方法,且两种去偏机制对可靠迁移均不可或缺。对您而言,其双重去偏思想与一步修正技术可迁移至因果推断中的传输学习或分布漂移下的效应估计问题。
  • 关键技术: inverse probability weighting, one-step debiasing, distributionally robust optimization, maximum mean discrepancy, particle swarm optimization
  • 为什么对您有用: 本文属于因果推断与统计计算交叉领域,其双重去偏(IPW + one-step)与分布鲁棒优化设计可直接启发您在proximal CI或IV中处理分布漂移与子采样偏差;您very_familiar的软件开发和minimax bounds工具可用于验证其oracle不等式与极小极大最优性,或实现其粒子群算法。中期可做:需在semiparametric theory上进一步熟悉one-step估计的influence function推导,以严格比较其与DML的异同。

10. jmlr:v27/23-1235 · arXiv — Efficient Modeling of Surrogates to Improve Multi-source High-dimensional Integrative Regression

  • 作者: Yue Liu, Molei Liu, Zijian Guo, Tianxi Cai
  • 期刊/来源: JMLR
  • 机构: Harvard University · Columbia University · Rutgers Sexual and Reproductive Health and Rights
  • 分类: JMLR v27
  • 相关性 7/10 · novelty: new_method
  • 摘要: 本文提出 SASH 方法,用于多源高维整合回归中利用代理变量(surrogate)提升小样本金标准标签下的模型估计效率。在 semi-supervised 框架下,目标是通过多个本地站点的错误代理结果辅助估计高维回归系数。方法先获得初步监督估计量,再通过正则化单指标模型(SIM)拟合代理变量,并利用偏差校正将 SIM 损失近似为一系列凸且稀疏的回归,从而避免局部极小值问题,并消除初步估计量误差的影响。同时,通过汇总统计量聚合本地信息,保护个体级隐私。理论上证明了估计量的渐近性质,模拟显示优于现有方法,并在 UK Biobank 和 Mass General Brigham 的 2 型糖尿病遗传风险模型中应用。对您而言,该方法结合了半监督学习、高维回归和代理变量,与您的因果推断中代理结果和纵向数据兴趣相关,其偏差校正和汇总统计思路可迁移至 proximal CI 的估计中。
  • 关键技术: single-index model, bias correction, regularized sparse regression, semi-supervised learning, summary statistics aggregation, high-dimensional integrative regression
  • 为什么对您有用: 本文涉及代理变量辅助的高维回归,与您的 causal inference 中 proximal CI 的 negative control 设定有概念联系;其偏差校正和汇总统计方法可借鉴到您的 semiparametric 估计中。技术层面,您熟悉的 high-dimensional asymptotics 和 M-estimation 可用于分析其估计量,但核心的 SIM 近似和偏差校正机制需要进一步理解,属于中期可做方向。

11. jmlr:v27/24-1752 · arXiv — Causal Falsification of Digital Twins

  • 作者: Rob Cornish, Muhammad Faaiz Taufiq, Arnaud Doucet, Chris Holmes
  • 期刊/来源: JMLR
  • 机构: University of Oxford · The Alan Turing Institute
  • 分类: JMLR v27
  • 相关性 7/10 · novelty: new_method
  • 摘要: 本文在数字孪生(digital twin)的验证框架下,将孪生模型的正确性定义为对干预后潜在结果的预测与真实分布一致,从而将验证问题转化为因果推断中的可检验性(testability)问题。作者指出,由于未观测混杂的存在,观测数据无法在无额外假设下证实(certify)孪生模型的正确性,因此转而提出一种寻找反例(falsification)的通用统计程序。该方法仅需观测轨迹的 i.i.d. 样本,即使在数据存在混杂的情况下也能保持有效性,通过构造检验统计量来检测孪生模型预测与观测数据之间的系统性偏差。作者在 Pulse Physiology Engine 的脓毒症建模案例中,利用 MIMIC-III 数据集进行了大规模实证评估,展示了方法的可操作性和实用性。对您而言,本文的核心价值在于将因果推断中的识别与检验思想引入模型验证,特别是其反例搜索框架与敏感性分析中的部分识别思想有深刻联系,可能启发您思考 proximal causal inference 中负对照假设的可检验性推广。
  • 关键技术: causal falsification, digital twin validation, observational trajectories, confounding robustness, hypothesis testing, MIMIC-III
  • 为什么对您有用: 本文直接关联您 primary interest 中的 causal inference 子方向(特别是 identification 与 hypothesis testing 的交界),其核心问题——在未观测混杂下如何用观测数据检验模型正确性——与 proximal CI 的 negative control 设定高度相关。您可以用 very_familiar 的 minimax 检验理论来审视其检验统计量的最优性,或思考其反例搜索框架是否能推广到 proximal 设定下的部分识别区域检验,属于立即可做的方向。

12. jmlr:v27/23-0910 · arXiv — Causal Influences over Social Learning Networks

  • 作者: Mert Kayaalp, Ali H. Sayed
  • 期刊/来源: JMLR
  • 机构: École Polytechnique Fédérale de Lausanne
  • 分类: JMLR v27
  • 相关性 5/10 · novelty: application
  • 摘要: 本文研究社交网络上的因果影响,在分布式社会学习模型中,目标是刻画成对智能体之间的因果影响并识别高影响力节点。作者基于网络拓扑和智能体对推断问题的信息水平,推导出影响流动的解析表达式,揭示因果关系的结构依赖。方法上,利用线性社会学习动态的传递函数,将影响量化为脉冲响应或谱度量,并提出基于这些度量的排序算法。此外,作者还提供了从观测数据中学习模型参数的估计方法,使算法可应用于实际数据。实验部分使用合成数据和真实社交媒体数据验证了方法的有效性。对您而言,该工作将因果推断与网络动态结合,其影响度量思路可能对您关注的纵向因果推断中的干预传播分析有启发。
  • 关键技术: social learning dynamics, causal influence quantification, network topology analysis, parameter estimation from observational data, influence ranking algorithm
  • 为什么对您有用: 本文属于因果推断在网络动态中的应用,连接您对因果推断中干预传播和纵向设定的兴趣。您可以用 very_familiar 的估计理论(如逆问题、最小二乘)来审视其参数估计步骤的统计性质,或将其影响度量与您熟悉的因果推断框架(如干预传播)对比。中期可做:若想深入其网络动态模型,需在 moderately_familiar 的识别理论上加强。

13. jmlr:v27/24-0711 · arXiv — Better Simulations for Validating Causal Discovery with the DAG-Adaptation of the Onion Method

  • 作者: Bryan Andrews, Erich Kummerfeld
  • 期刊/来源: JMLR
  • 机构: University of Minnesota
  • 分类: JMLR v27
  • 相关性 5/10 · novelty: application
  • 摘要: 本文针对因果发现(causal discovery)算法验证中模拟研究设计缺乏规范、性质不明、结果冲突的问题,提出了一种新的模拟设计方法:DAG-adaptation of the Onion (DaO) 方法。DaO 方法以有向无环图(DAG)为输入,随机生成线性模型的系数和误差方差参数,其中加性误差项可服从任意有限方差分布。与现有模拟不同,DaO 方法优先采样与 DAG 马尔可夫相关的相关矩阵空间,而非线性效应分布,从而实现对相关矩阵空间的均匀采样。作者将 DaO 与两种替代模拟设计进行比较,并提供 Python 和 R 实现。作者主张 DaO 方法具有均匀性、完备性、良好刻画性和公平性,建议作为领域模拟标准。
  • 关键技术: causal discovery simulation, DAG-adaptation of the Onion (DaO), Markov random correlation matrices, uniform sampling, linear structural equation models
  • 为什么对您有用: 本文属于因果推断中结构学习验证的模拟设计问题,与您对因果推断(identification, estimation)的兴趣直接相关,但更偏向于模拟方法论而非识别或估计理论。您可以用 very_familiar 的软件开发和计算技能快速复现其 Python/R 实现,评估其均匀采样性质;但若要深入分析其统计性质(如均匀性证明),可能需要补充相关矩阵采样理论。总体而言,本文作为因果发现验证的入门读物有价值,但方法学新颖性一般,属于应用/方法改进类。

14. jmlr:v27/25-1766 · arXiv — Domain Adaptation Targeting Heterogeneous and Imbalanced Subgroups

  • 作者: Doudou Zhou, Mengyan Li, Yun Wang, Tianxi Cai, Molei Liu
  • 期刊/来源: JMLR
  • 机构: National University of Singapore · Bentley University · Department of Mathematical Sciences · Harvard University · Cancer Research And Biostatistics
  • 分类: JMLR v27
  • 相关性 5/10 · novelty: new_method
  • 摘要: 本文研究域适应问题,目标域由异质且样本稀疏的子群组成,且缺乏金标准标签。方法结合模型辅助去偏步骤以校正协变量偏移,并采用自适应知识引导的稀疏化过程缓解样本不均衡,同时提出新的模型选择策略以避免负迁移。理论上证明了该方法对干扰模型误设的稳健性以及对子群异质性的自适应性。数值实验和两个真实应用(2型糖尿病遗传风险建模、突变诱导蛋白稳定性预测)展示了实际优势。对您而言,其去偏与稳健性思想与您的因果推断和半参数效率理论兴趣相关。
  • 关键技术: domain adaptation, covariate shift correction, model-assisted debiasing, knowledge-guided sparsification, model selection
  • 为什么对您有用: 本文属于因果推断中的迁移学习与异质性处理,与您的因果推断(特别是协变量偏移下的估计)和半参数理论(去偏与稳健性)直接相关。您可以用 very_familiar 的非参数统计和最小最大界工具来评估其理论保证的紧性,或将其去偏步骤与您的 HOIF 知识结合,探索高阶影响函数在域适应中的应用。中期可做:需先熟悉迁移学习中的领域自适应理论。

高维统计 / 随机矩阵 (high_dim_rmt, 8 篇)

1. jmlr:v27/25-0196 · arXiv — Canonical Correlation Analysis as Reduced Rank Regression in High Dimensions

  • 作者: Claire Donnat, Elena Tuzhilina
  • 期刊/来源: JMLR
  • 机构: University of Chicago · University of Toronto
  • 分类: JMLR v27
  • 相关性 8/10 · novelty: new_method
  • 摘要: 本文研究高维典型相关分析(CCA)的估计问题,设定为一个数据集高维、另一个低维,目标是在稀疏性假设下估计典型方向。作者提出将 CCA 估计转化为降秩回归(reduced rank regression)问题,从而利用高维回归的丰富理论工具,并易于扩展以纳入多种结构先验。估计器在计算上保持高效,即使在超高维数据下也能保持准确性。通过模拟实验,该方法相比现有稀疏 CCA 方法在精度上有显著提升,并在三个真实数据集上展示了实际效用。对您而言,该文将高维 CCA 与降秩回归联系起来,其理论分析可能涉及随机矩阵或高维渐近,与您的高维统计兴趣相关。
  • 关键技术: reduced rank regression, sparse CCA, high-dimensional regression, structural priors, simulation study
  • 为什么对您有用: 该文属于高维统计方法,连接您的高维统计与随机矩阵理论兴趣,但更偏向方法应用而非理论创新。您可用 very_familiar 的高维渐近工具审视其估计量的收敛性,或考虑其与降秩回归的联系是否可推广到更高阶结构。中期可做:若想深入其理论保证,需在 moderately_familiar 的 semiparametric 理论上加强。

2. jmlr:v27/24-1413 · arXiv — Differentially Private Estimation and Inference in High-Dimensional Regression with FDR Control

  • 作者: Zhanrui Cai, Sai Li, Xintao Xia, Linjun Zhang
  • 期刊/来源: JMLR
  • 分类: JMLR v27
  • 相关性 7/10 · novelty: new_method
  • 摘要: 本文研究高维线性回归中的差分隐私(DP)估计与推断问题,目标是在保护隐私的同时实现稀疏回归系数的选择、推断以及FDR控制。作者首先提出DP-BIC准则,用于在DP稀疏线性回归(DP-SLR)中自动选择未知的稀疏度参数,避免了现有方法需要预先知道模型稀疏度的限制。其次,开发了DP去偏算法,利用高维线性回归的固有稀疏性,对特定回归参数子集进行隐私保护的推断。此外,针对高维回归中的特征选择,提出了DP多重检验程序,在控制FDR的同时识别显著预测变量。通过大量模拟和真实数据分析,验证了所提方法在隐私保护下进行高维线性模型推断和FDR控制的有效性。对您而言,本文结合了差分隐私与高维推断,其DP-BIC和DP去偏方法可能对您在高维统计与假设检验方面的研究有参考价值。
  • 关键技术: differential privacy, DP-BIC, debiased lasso, multiple testing, FDR control
  • 为什么对您有用: 本文属于高维统计与推断方向,与您的高维统计和假设检验兴趣直接相关。您可以用您熟悉的minimax界和高维渐近工具来评估其DP-BIC的稀疏选择一致性以及DP去偏估计的推断效率,特别是其隐私预算与统计精度之间的权衡。中期可做:需先熟悉差分隐私的机制(如拉普拉斯/高斯机制)及其在高维问题中的具体应用,这属于moderately_familiar之外的领域。

3. jmlr:v27/25-0437 — High-dimensional Parameter Transfer With Fused-Regularizer

  • 作者: Zelin He, Ying Sun, Jingyuan Liu, Runze Li
  • 期刊/来源: JMLR
  • 分类: JMLR v27
  • 相关性 7/10 · novelty: new_method
  • 摘要: 本文研究高维 M-估计器在异构源数据下的参数迁移问题,目标是利用相关源数据提升目标参数的估计精度,同时应对多种分布偏移。作者提出一种带 fused-regularizer 和目标数据导向约束的单步估计器,能稳健地从源数据中提取参数信息。理论方面给出了目标参数估计误差的非渐近界,证明在分布偏移下仍能有效迁移,且保证不劣于仅用目标数据的任何估计器。进一步,该估计器在比现有方法更弱的条件下达到 minimax 最优速率。方法还扩展到分布式设置,仅需一轮通信即可保持集中式版本的估计精度。大量模拟和真实数据分析验证了方法的有效性。对您而言,该文的高维 M-估计与 minimax 速率分析直接关联您的高维统计与效率理论兴趣,其 fused-regularizer 的约束设计也可能启发因果推断中高维 nuisance 参数的估计策略。
  • 关键技术: fused-regularizer, one-step estimator, nonasymptotic bounds, minimax optimal rate, distributed estimation
  • 为什么对您有用: 该文属于高维统计与 minimax 理论,直接对应您 primary interests 中的 high-dimensional statistics 和 efficiency theory。您可尝试用 very_familiar 的 minimax bounds 工具检验其声称的速率是否紧,或将其 fused-regularizer 思想迁移到高维因果推断中的 nuisance 估计。中期可做:需在 moderately_familiar 的 semiparametric theory 上进一步熟悉以处理更复杂的约束。

4. jmlr:v27/25-0591 — Statistical Inference for High-dimensional Partially Linear Models via Debiased Rank Lasso

  • 作者: Songshan Yang, Delin Zhao, Runze Li
  • 期刊/来源: JMLR
  • 分类: JMLR v27
  • 相关性 7/10 · novelty: new_method
  • 摘要: 本文研究高维部分线性模型中的统计推断,目标是在无需调参且对重尾误差稳健的前提下,对线性分量系数进行估计和推断。作者基于部分残差方法,提出数据分裂(DS)秩 Lasso 估计器,其使用部分预测残差而非传统模型拟合残差,从而保持秩 Lasso 的近最优收敛速率。理论分析表明,DS 秩 Lasso 具有免调参、对重尾误差稳健以及近最优速率等性质。进一步,作者结合去偏 Lasso 技术构造去偏 DS 秩 Lasso 估计器,用于单个系数的推断,并证明数据分裂不会导致渐近效率损失。此外,作者基于乘子自助法建立同时推断程序,并通过蒙特卡洛模拟和真实数据实证验证了所提方法的有限样本性能。
  • 关键技术: rank Lasso, data-splitting, partial residual, debiased Lasso, multiplier bootstrap, near-oracle rate
  • 为什么对您有用: 该论文属于高维统计推断与稳健估计的交叉方向,与您的高维统计和假设检验兴趣直接相关。其去偏 Lasso 与自助法推断技术可迁移至您熟悉的因果推断中的高维协变量调整问题。您可用 very_familiar 的高维渐近理论来验证其近最优速率声明的紧性,或探索将数据分裂思想应用于您关注的 U-统计量推断中。

5. jmlr:v27/26-0672 · arXiv — High-Dimensional Analysis of Gradient Flow for Extensive-Width Quadratic Neural Networks

  • 作者: Simon Martin, Giulio Biroli, Francis Bach
  • 期刊/来源: JMLR
  • 机构: Département d'Informatique · Laboratoire de Physique de l'Ecole Normale Supérieure
  • 分类: JMLR v27
  • 相关性 6/10 · novelty: new_theory
  • 摘要: 本文研究浅层二次激活神经网络在 teacher-student 设定下的高维训练动力学,聚焦 extensive-width 区域,即网络宽度与输入维度成比例、样本量二次增长,旨在刻画过参数化下特征学习仍起核心作用的场景。在高维极限下,作者借助 dynamical mean-field theory (DMFT) 推导出梯度流的动力学方程,并在 ℓ2 正则化下分析长时间行为,给出估计器的性能与谱性质。结果定量揭示了过参数化对学习与泛化的影响,并在标签噪声下发现双下降现象,即泛化在插值之后继续改善。在小正则化极限下,作者得到完美恢复阈值的精确表达式,作为网络宽度的函数,精确刻画了过参数化如何影响恢复能力。对您而言,该文将高维随机矩阵技术与神经网络动力学结合,其 DMFT 方程和谱分析思路或可迁移至您在高维统计与随机矩阵理论中的研究。
  • 关键技术: dynamical mean-field theory (DMFT), teacher-student setup, extensive-width regime, gradient flow dynamics, spectral analysis, double descent
  • 为什么对您有用: 本文属于高维统计与随机矩阵理论的应用,直接关联您的主要兴趣。其 DMFT 方程和谱分析技术可能用到您熟悉的随机矩阵工具(如 Marchenko-Pastur 定律)来验证或扩展理论结果。作为 gateway reading,本文对统计学家友好,但涉及神经网络动力学,可能需要补充相关背景。武器库中的高维渐近和随机矩阵知识足以支撑理解,但若要深入推导 DMFT 方程,可能需要学习非平衡统计物理方法,属于中期可做。

6. jmlr:v27/24-0751 · arXiv — Simultaneous Identification of Sparse Structures and Communities in Heterogeneous Graphical Models

  • 作者: Dapeng Shi, Tiandong Wang, Zhiliang Ying
  • 期刊/来源: JMLR
  • 机构: Fudan University · Columbia University
  • 分类: JMLR v27
  • 相关性 6/10 · novelty: new_method
  • 摘要: 本文在 Gaussian graphical model 框架下研究异质图模型中的稀疏结构与社区结构联合识别问题。作者将图邻接矩阵分解为低秩对角块(刻画非重叠社区)与稀疏分量(刻画社区内外连接),并给出两种建模视角的动机。估计采用三阶段流程:第一阶段获得初始估计,第二阶段用自适应 L1 惩罚估计稀疏分量,第三阶段用 K-means 聚类恢复社区。理论方面,作者构造有效范数将传统 irrepresentability 条件推广为自适应形式,保证第二阶段模型选择一致性,并给出第三阶段 K-means 的聚类误差界。数值实验和股票收益数据应用验证了方法有效性。对您而言,该文的低秩加稀疏分解与自适应惩罚理论可联系到您在高维统计与随机矩阵理论方面的兴趣,其聚类误差界分析也可能与您对 U-统计量投影技术的熟悉度相关。
  • 关键技术: low-rank plus sparse decomposition, adaptive L1 penalized estimation, irrepresentability condition, K-means clustering, model selection consistency
  • 为什么对您有用: 该文属于高维统计中的结构化图模型估计,直接对应您 primary interest 中的 high-dimensional statistics 方向;其低秩加稀疏分解与自适应惩罚的模型选择一致性分析,可尝试用您 very_familiar 的 minimax bounds 工具检验其率是否最优,或结合您 moderately_familiar 的 HOIF 理论探索去偏估计。中期可做:需在 semiparametric theory 上稍加熟悉以处理低秩分量的非正则性。

7. jmlr:v27/23-1344 · arXiv — Sparse Topic Modeling via Spectral Decomposition and Thresholding

  • 作者: Huy Tran, Yating Liu, Claire Donnat
  • 期刊/来源: JMLR
  • 机构: University of Chicago
  • 分类: JMLR v27
  • 相关性 5/10 · novelty: new_method
  • 摘要: 本文研究概率潜在语义索引(pLSI)模型下主题-词矩阵的估计问题,目标是在词频服从 Zipf 定律的稀疏结构下恢复主题-词分布。作者提出一种谱估计方法,在分解前对稀有词进行自适应阈值化处理,并证明该估计器在 ℓ1 误差上仅依赖词汇量 p 的对数阶。误差界适用于包括极大词汇量的高维场景,且不要求可分离性或锚定词假设。实验表明该方法计算高效、统计可靠,适用于不同维度和稀疏度的数据。对您而言,该工作将稀疏假设与谱方法结合,可能为高维统计中的结构化估计提供新视角。
  • 关键技术: spectral decomposition, adaptive thresholding, sparse matrix estimation, ℓ1 error bounds, probabilistic latent semantic indexing
  • 为什么对您有用: 本文属于高维统计与谱方法交叉领域,与您的高维统计兴趣相关。您可尝试用您熟悉的非参数估计或极小极大界工具分析其阈值选择的适应性,或探讨其在高维协方差矩阵估计中的推广。中期可做,需先熟悉谱方法的具体分析技巧。

8. jmlr:v27/25-0031 — Transfer Learning via Regularized Random-effects Linear Discriminant Analysis

  • 作者: Hongzhe Zhang, Arnab Auddy, Hongzhe Li
  • 期刊/来源: JMLR
  • 分类: JMLR v27
  • 相关性 5/10 · novelty: new_method
  • 摘要: 本文提出一种基于正则化随机效应线性判别分析(random-effects LDA)的迁移学习方法,用于高维小样本分类问题。目标模型的判别方向被估计为目标与源模型岭估计的加权组合,权重可通过最小化判别向量的估计风险或分类误差来确定。利用随机矩阵理论,作者在高维渐近框架下(p/n → γ)显式推导了最优权重的渐近值及相应的分类错误率。数值实验包括模拟、蛋白质组学心血管风险分类和基因型脂质性状分类,验证了方法的有效性。该方法为高维迁移学习提供了理论保证,并展示了随机矩阵理论在分类问题中的实际应用。
  • 关键技术: random-effects LDA, ridge estimation, transfer learning, random matrix theory, high-dimensional asymptotics
  • 为什么对您有用: 本文直接关联您的高维统计与随机矩阵理论兴趣,特别是利用RMT推导高维分类中迁移学习的渐近性质。您可运用熟悉的随机矩阵工具(如Marchenko-Pastur定律)验证其权重推导的严谨性,并考虑将方法扩展到其他分类器或异质源场景。中期可做:结合您的半参数理论,探索更灵活的权重选择策略。

非参数 / 半参数 (nonparam_semipara, 20 篇)

1. jmlr:v27/24-0494 · arXiv — Minimax density estimation in the adversarial framework under local differential privacy

  • 作者: Mélisande Albert, Juliette Chevallier, Béatrice Laurent, Ousmane Sacko
  • 期刊/来源: JMLR
  • 机构: Université Toulouse III - Paul Sabatier · Institut National des Sciences Appliquées de Toulouse · Institut de Mathématiques de Toulouse · Université Paris Nanterre · Modélisation aléatoire de Paris Nanterre · MODAL: MOdel for Data Analysis and Learning
  • 分类: JMLR v27
  • 相关性 8/10 · novelty: new_method
  • 摘要: 本文研究局部差分隐私(LDP)约束下的非参数密度估计,在对抗性框架下考虑 Sobolev 空间上的 minimax 率。作者首先推导了隐私约束下的下界,量化了隐私对估计精度的影响。然后提出一种新的坐标块隐私机制(Coordinate block privacy mechanism),结合投影估计器达到 minimax 最优率。最后开发了自适应程序,在 minimax 意义下达到对数项以内的最优。该工作将经典非参数密度估计的 minimax 理论推广到隐私保护设定,为隐私约束下的统计推断提供了理论基础。对您而言,这与您的高维统计和 minimax 估计兴趣相关,且隐私机制的设计可能启发新的统计计算问题。
  • 关键技术: local differential privacy, minimax lower bounds, Sobolev spaces, projection estimator, adaptive estimation
  • 为什么对您有用: 本文属于非参数估计与 minimax 理论,直接关联您的主要兴趣(非参数/半参数理论)。您可以用非常熟悉的 minimax 下界技术(如 Fano 不等式)验证其下界是否紧,或探索隐私机制对估计器的影响。中期可做:若想深入隐私统计,需在 moderately_familiar 的 M-估计理论上加强。

2. jmlr:v27/25-0516 · arXiv — Deconvolution in unlinked linear models

  • 作者: Balabdaoui, Fadoua, Di Noia, Antonio, Durot, Cécile
  • 期刊/来源: JMLR
  • 机构: ETH Zurich · Seminar for Statistics · Centre National de la Recherche Scientifique · Université Paris Nanterre
  • 分类: JMLR v27
  • 相关性 8/10 · novelty: new_method
  • 摘要: 本文研究 unlinked linear regression 框架下的非参数反卷积问题:协变量与响应变量分别观测、对应关系未知,目标是从带加性噪声的观测中估计潜在变量 Z 的分布,并假设 Z 是观测协变量的线性函数。作者利用这一线性结构约束,提出 Z 的分布函数的非参数估计量,在 1-Wasserstein 距离下达到参数收敛速率 n^{-1/2},且该速率不受噪声分布光滑性的影响,突破了经典反卷积中噪声光滑性决定速率的限制。此外,还构造了 Z 的无条件密度和给定响应下 Z 的条件密度的非参数估计量,用于估计潜在线性预测子的值。模拟实验验证了估计量的快速收敛性和条件估计量在不同场景下的表现。对您而言,该文将线性结构约束引入反卷积,为半参数效率理论中利用结构假设突破非参数速率提供了一个新范例,且其估计量的构造与您熟悉的 M-估计和非参数理论直接相关。
  • 关键技术: unlinked regression, deconvolution, linear structural constraint, Wasserstein distance, parametric rate, nonparametric density estimation
  • 为什么对您有用: 该文属于非参数/半参数理论方向,直接关联您的 primary interest 中的 semiparametric and nonparametric theory。其核心思想——利用线性结构约束使反卷积问题达到参数速率——可视为半参数效率理论的一个新应用场景。您可以用 very_familiar 的 minimax bounds 工具来检验其速率是否最优,或用 moderately_familiar 的 semiparametric theory 分析其估计量的效率界。中期可做:若想推广到非线性结构,需在非参数回归的 sieve 方法上加强。

3. jmlr:v27/25-1832 · arXiv — Adaptive Nonparametric Perturbations of Parametric Models with Generalized Bayes

  • 作者: Bohan Wu, Eli N. Weinstein, Sohrab Salehi, Yixin Wang, David M. Blei
  • 期刊/来源: JMLR
  • 机构: Columbia University · Memorial Sloan Kettering Cancer Center · University of Michigan
  • 分类: JMLR v27
  • 相关性 8/10 · novelty: new_method
  • 摘要: 本文提出一类新的半参数修正方法,用于参数贝叶斯模型在目标推断为真实数据分布的泛函(如因果效应)时的模型误设问题。作者首先考虑一个完全贝叶斯方法,显式地对参数模型可能错误进行建模,渐近分析表明该方法对模型误设稳健且数据高效,当参数模型接近真值时收敛速度快。然而完全贝叶斯方法因非参数模型的推断和贝叶斯因子计算困难而实用性受限。为此,他们提出基于广义贝叶斯的模型修正,完全避免计算非参数贝叶斯因子,同时保留稳健性和效率。方法在单细胞RNA测序数据上估计基因表达的因果效应。总体而言,该文为参数模型的稳健贝叶斯推断提供了一种新的高效途径。
  • 关键技术: generalized Bayes, semiparametric correction, model misspecification, Bayes factor, causal effect estimation
  • 为什么对您有用: 本文属于半参数与非参数理论方向,直接关联您对效率理论和模型误设下推断的兴趣。其广义贝叶斯修正框架可能为因果推断中的稳健估计提供新视角。您可用非常熟悉的非参数统计和估计理论工具来审视其渐近性质,中期可尝试将其中思想与您的HOIF或半参数效率理论结合,探索新的稳健估计量。

4. jmlr:v27/24-1819 · arXiv — Node Regression on Latent Position Random Graphs via Local Averaging

  • 作者: Martin Gjorgjevski, Nicolas Keriven, Simon Barthelme, Yohann De Castro
  • 期刊/来源: JMLR
  • 机构: Centre National de la Recherche Scientifique · GIPSA-Lab · Centre Inria de l'Université de Rennes · COMPACT: Compression de donn'ees visuelles massives · École Centrale de Lyon · Institut Universitaire de France · Institut Camille Jordan
  • 分类: JMLR v27
  • 相关性 7/10 · novelty: new_method
  • 摘要: 本文研究潜在位置随机图(Latent Position Model)上的节点回归问题:每个节点有潜在位置,连接概率依赖于潜在位置间的距离,目标是利用其他节点的标签预测某节点的标签。作者首先分析最简单的估计量——对节点所有邻居的标签取平均,证明在潜在位置模型下该估计量渐近等价于潜在空间中的 Nadaraya-Watson 估计,且收敛速率相同。然而,该估计量平均的区域由图的邻域结构决定,可能过大或过小,导致速率退化。为此,作者提出先估计潜在位置间的“真实”距离,再将其注入经典的 Nadaraya-Watson 估计,从而允许平均区域独立于图邻域大小。理论结果表明,即使图邻域过大或过小,该方法仍能达到标准非参数速率。该工作连接了图上的局部平均与经典非参数回归,为图数据上的非参数估计提供了新的视角。对您而言,其非参数速率分析与非参数回归理论直接相关,且潜在位置模型的设定可作为您非参数方法在图上应用的切入点。
  • 关键技术: Latent Position Model, Nadaraya-Watson estimator, local averaging, distance estimation, nonparametric rates
  • 为什么对您有用: 本文属于非参数与非半参数理论方向,直接涉及 Nadaraya-Watson 估计的收敛速率分析,与您的 primary interest 中的非参数理论高度相关。您可以用 very_familiar 的非参数估计与 minimax 速率工具来检验其速率是否最优,或考虑将更高阶的局部多项式方法引入该设定。中期可做:若想深入,需在 moderately_familiar 的 semiparametric theory 上加强,以处理潜在位置估计带来的不确定性。

5. jmlr:v27/25-2864 · arXiv — Near-optimal Delta-convex Estimation of Lipschitz Functions

  • 作者: Gábor Balázs
  • 期刊/来源: JMLR
  • 机构: Universidad Politécnica de Cartagena
  • 分类: JMLR v27
  • 相关性 7/10 · novelty: new_method
  • 摘要: 本文研究从带噪观测中估计未知 Lipschitz 函数的可计算算法,目标是在随机设计、平方损失和次高斯分布下达到关于数据内在维度的 minimax 收敛率(至多差对数因子)。方法将凸形状约束回归中的 max-affine 方法推广到更一般的 Lipschitz 设定,核心是构造一个非线性特征映射,将 max-affine 函数嵌入 delta-convex 函数的一个子类,该子类能逼近 Lipschitz 函数且保持 Lipschitz 常数。估计器结合自适应划分以捕捉内在维度、基于惩罚的正则化以避免已知 Lipschitz 常数,以及两阶段优化(凸初始化加局部精化)。理论部分给出了收敛率上界,实验表明与最近邻和核回归等理论上有依据的方法相比具有竞争力。该框架也易于适应凸形状约束回归。对您而言,其自适应划分与内在维度捕捉机制可能对高维非参数估计的 minimax 理论有参考价值。
  • 关键技术: max-affine regression, delta-convex functions, adaptive partitioning, penalty-based regularization, two-stage optimization
  • 为什么对您有用: 该论文属于非参数估计理论,直接关联您的主要兴趣之一(semiparametric and nonparametric theory)。其核心是达到 minimax 率,与您的 minimax bounds 工具高度相关;自适应划分和内在维度捕捉机制可能启发您在高维设定下的新问题。从武器库看,您对非参数统计和 minimax 界非常熟悉,因此可立即评估其率是否紧,或尝试将 delta-convex 方法推广到其他形状约束。

6. jmlr:v27/24-0838 · arXiv — Extrapolation-Aware Nonparametric Statistical Inference

  • 作者: Niklas Pfister, Peter Bühlmann
  • 期刊/来源: JMLR
  • 机构: University of Copenhagen
  • 分类: JMLR v27
  • 相关性 7/10 · novelty: new_method
  • 摘要: 本文在非参数回归框架下正式定义外推(extrapolation)为在条件变量支撑集之外评估条件函数(如条件期望或条件分位数)的统计推断问题,并指出这种外推若不加以处理可能使结论失效。作者扩展了非参数统计模型以显式允许外推,并引入一类外推假设,要求条件函数在每个方向上的最小和最大方向导数在观测支撑内达到。该假设可与现有推断技术结合,产生对外推敏感的结论,适用于预测和不确定性量化等应用。作者提出了一致估计程序,通过给出下界和上界外推区间来调整现有非参数估计。模拟和真实数据实验验证了方法的有效性。
  • 关键技术: extrapolation bounds, directional derivatives, nonparametric regression, conditional quantile, uncertainty quantification
  • 为什么对您有用: 本文直接关联您的非参数与半参数理论兴趣,特别是非参数估计在支撑外推时的推断问题。您可以用非常熟悉的非参数统计和极小极大界工具来审视其外推假设的合理性,并探索更紧的界或扩展到高维情形。中期可做:结合您中等熟悉的半参数理论,研究外推假设下的效率界。

7. jmlr:v27/24-2004 · arXiv — Conditional Regression for the Nonlinear Single-Variable Model

  • 作者: Yantao Wu, Mauro Maggioni
  • 期刊/来源: JMLR
  • 机构: Johns Hopkins University
  • 分类: JMLR v27
  • 相关性 7/10 · novelty: new_theory
  • 摘要: 本文研究非线性单变量模型 F(X)=f(Π_γ X),其中 γ 是未知正则曲线,Π_γ 为最近点坐标,f 为一维未知链接函数;目标是避免维数灾难地回归 F。与线性 g 的单指标模型不同,非线性 g 的估计难度显著增加,且 X 可在曲线管状邻域内具有全维变化。作者提出基于响应切片、局部主成分分析、数据自适应切片分配和一维局部多项式回归的非参数估计器。在 f 的粗单调性和垂直于曲线的充分变差条件下,估计器达到(至多对数因子)一维均方误差的极小极大最优率,直至显式的几何与噪声相关饱和水平;去掉法向变差条件时,给出宽切片情形的互补保证。算法复杂度为 O(d^2 n log n),常数和样本量阈值对维数 d 至多多项式依赖。该工作为非线性降维结构下的非参数估计提供了新的理论保证,与您在半参数/非参数理论及高维统计的兴趣直接相关。
  • 关键技术: response slicing, local principal component analysis, local polynomial regression, minimax optimal rate, curse of dimensionality
  • 为什么对您有用: 该论文直接关联您的主要兴趣——非参数/半参数理论,特别是高维结构下的非参数估计。其核心是处理非线性低维结构,与您熟悉的极小极大界和局部方法(如局部多项式)紧密相连。从技术武器库看,您对非参数统计和极小极大界的熟悉程度足以理解主要定理和证明策略,但局部 PCA 和切片方法可能需要一些学习。因此,这属于中期可做:可先用您非常熟悉的极小极大界工具验证其率的最优性,或探索将切片思想与您的高阶 U 统计量工作结合,但需先熟悉局部 PCA 的几何分析。

8. jmlr:v27/25-0545 · arXiv — Deep Neural Expected Shortfall Regression with Tail-Robustness

  • 作者: Myeonghun Yu, Kean Ming Tan, Huixia Judy Wang, Wen-Xin Zhou
  • 期刊/来源: JMLR
  • 分类: JMLR v27
  • 相关性 7/10 · novelty: new_method
  • 摘要: 本文在非参数框架下研究期望短缺(ES)回归,目标是估计给定协变量下响应变量尾部的条件期望,将条件分位数函数视为 nuisance 参数,采用两步估计。利用前馈 ReLU 网络的表示能力构造两步 ES 估计量,在底层函数具有层次组合结构时可缓解维数灾难。针对重尾响应或误差分布,将适当调节的 Huber 损失融入网络训练,得到稳健的深度 ES 估计量,在非渐近意义上对重尾具有鲁棒性,且对第一阶段分位数估计误差一阶不敏感。模拟研究和厄尔尼诺对极端降水影响的实证分析展示了方法的准确性和稳健性。对您而言,该文将深度网络与半参数两步估计结合,其非渐近鲁棒性分析思路可迁移至您熟悉的因果推断中的 nuisance 估计问题。
  • 关键技术: two-step estimation, deep ReLU networks, Huber loss, non-asymptotic robustness, hierarchical composition structure
  • 为什么对您有用: 该文属于非参数/半参数理论方向,与您的 primary interest 中的 semiparametric and nonparametric theory 直接相关;其两步估计中处理 nuisance 参数(条件分位数)的思路可类比于因果推断中的 double robustness,您可用 very_familiar 的非参数统计和 minimax 界工具来审视其收敛速率是否最优;立即可做的是将其两步框架与您熟悉的 influence function 方法对比,中期可做的是将 Huber 稳健化技巧引入您 moderately_familiar 的 HOIF 框架。

9. jmlr:v27/25-1896 · arXiv — Locally Private Estimation with Public Features

  • 作者: Yuheng Ma, Hanfang Yang, Ke Jia
  • 期刊/来源: JMLR
  • 分类: JMLR v27
  • 相关性 7/10 · novelty: new_method
  • 摘要: 本文首次在局部差分隐私(LDP)框架下引入“公共特征”设定,提出半特征LDP模型,其中部分特征公开,其余特征与标签需在LDP下保护。针对非参数密度估计、分类和回归三个基本问题,在光滑性假设下推导了minimax收敛速率,证明相比经典LDP有显著提升。提出HistOfTree估计器,充分利用公共与私有特征信息,理论上达到minimax最优速率,实验验证其优越性。还探讨了用户可手动选择保护特征的场景,提出相应估计器及数据驱动的参数调节策略。对您而言,该文将非参数估计的minimax理论与隐私约束结合,且涉及高维特征处理,与您的高维统计和minimax界研究兴趣直接相关。
  • 关键技术: local differential privacy, minimax rate, nonparametric density estimation, HistOfTree estimator, smoothness assumption
  • 为什么对您有用: 本文属于非参数估计与隐私约束的交叉,直接关联您的非参数/半参数理论兴趣,特别是minimax速率推导。您可用very_familiar的minimax bounds工具验证其速率是否紧,或探索公共特征对高维估计的影响。中期可做:结合您的higher-order U-statistics工具分析HistOfTree的统计性质。

10. jmlr:v27/23-1592 — Kernel-based Distributed Learning Beyond Least Squares

  • 作者: Heng Lian, Xu Guo
  • 期刊/来源: JMLR
  • 分类: JMLR v27
  • 相关性 6/10 · novelty: new_theory
  • 摘要: 本文研究再生核希尔伯特空间(RKHS)框架下的一次性(one-shot)分布式学习问题,目标是在一般凸损失下估计回归函数并刻画其收敛速率。现有结果仅限于最小二乘损失,本文通过引入由损失诱导的 Bregman 散度上的新型经验过程,在无穷维空间中实现了二次近似,从而将最优速率推广到满足温和假设的凸损失类。该经验过程通过将 Bregman 散度与函数的 sup 范数和 L2 范数相联系来界定,覆盖了强光滑损失以及 Lipschitz 连续损失(如分位数损失)。理论结果表明,在适当的通信预算下,分布式估计可以达到与集中式估计相同的 minimax 最优速率。对您而言,该文将非参数估计的经典速率理论与分布式计算约束结合,与您对统计计算和计算约束下统计推断的兴趣直接相关。
  • 关键技术: one-shot distributed learning, reproducing kernel Hilbert space, Bregman divergence, empirical process, quadratic approximation, minimax optimal rate
  • 为什么对您有用: 本文属于非参数/半参数理论(primary interest),具体连接点是非参数回归在分布式计算下的 minimax 速率。您武器库中的非参数统计和 minimax 界技术(very_familiar)可直接用于验证其速率紧性,或扩展至其他损失。中期可做:需在经验过程理论(moderately_familiar 中未列出,但可归入非参数统计)上稍加巩固。

11. jmlr:v27/25-0247 · arXiv — Exogenous Randomness Empowering Random Forests

  • 作者: Tianxing Mei, Yingying Fan, Jinchi Lv
  • 期刊/来源: JMLR
  • 机构: University of Southern California
  • 分类: JMLR v27
  • 相关性 6/10 · novelty: new_theory
  • 摘要: 本文研究随机森林中与训练数据无关的外生随机性(如特征子采样和分裂时的平局打破)对预测性能的影响。作者为单棵树和森林的均方误差(MSE)建立了非渐近展开式,并给出了其一致性的充分必要条件。在线性回归且特征独立的特殊设定下,MSE 展开式更为显式,可导出树和森林的显式一致性速率。理论发现表明,特征子采样能同时降低森林的偏差和方差,起到自适应平衡偏差-方差的作用;此外,噪声特征的存在反而可能通过特征子采样提升森林性能,即所谓的“blessing”现象。该工作为理解随机森林的机制提供了新的理论视角,其非渐近展开技术对您研究非参数估计的有限样本性质或有参考价值。
  • 关键技术: non-asymptotic MSE expansion, random forests, feature subsampling, bias-variance decomposition, consistency conditions
  • 为什么对您有用: 本文属于非参数与半参数理论中集成学习方法的理论分析,与您的 primary interest 中非参数理论直接相关。其非渐近 MSE 展开和偏差-方差分解技术,可尝试用您 very_familiar 的 minimax bounds 工具来检验其速率是否最优,或探索将外生随机性思想推广到其他非参数估计器。中期可做:需先熟悉随机森林的算法细节和现有理论框架(moderately_familiar 中的 M-estimation 理论可辅助),再考虑扩展。

12. jmlr:v27/25-0543 · arXiv — Statistical Learning Theory for Neural Operators

  • 作者: Niklas Reinhardt, Sven Wang, Jakob Zech
  • 期刊/来源: JMLR
  • 机构: Heidelberg University · Humboldt-Universität zu Berlin
  • 分类: JMLR v27
  • 相关性 6/10 · novelty: new_theory
  • 摘要: 本文研究无限维空间之间非线性映射(神经算子)的统计学习理论。设定为从 n 个带噪输入-输出对 (x_i, y_i) 中恢复映射 G_0: X→Y,其中 X、Y 为可分 Hilbert 空间,噪声为白噪声或次高斯随机变量。作者对紧回归类 G 上的最小二乘经验风险最小化器给出了通用收敛结果,其速率由逼近性质和度量熵刻画,并利用经验过程技术推导,将经典有限维非参数回归结果推广到无限维。作为具体应用,作者分析了一种编码器-解码器结构的神经算子架构 FrameNet,在 G_0 为全纯函数的假设下证明了关于样本量 n 的代数收敛速率,从而克服维数灾难。文中以参数化椭圆偏微分方程的非线性解算子学习作为典型例子说明其广泛适用性。该工作为神经算子的泛化理论提供了系统框架,与您在高维统计和半参数理论中的兴趣有直接关联。
  • 关键技术: empirical process theory, metric entropy bounds, least-squares empirical risk minimization, neural operator, encoder-decoder architecture, holomorphic regularity
  • 为什么对您有用: 该论文属于非参数与半参数理论方向,直接关联您对无限维回归和维数灾难问题的兴趣。您可以用非常熟悉的非参数统计和极小极大界工具来审视其收敛速率是否最优,并利用您对高阶 U-统计量的计算视角分析 FrameNet 架构中编码器-解码器的复杂度。中期可做:若想深入神经算子的计算复杂度,需在统计计算方向补充对神经网络训练动态的理解。

13. jmlr:v27/25-0507 · arXiv — Optimal Convergence Rates for Neural Operators

  • 作者: Mike Nguyen, Nicole Mücke
  • 期刊/来源: JMLR
  • 机构: Technische Universität Braunschweig
  • 分类: JMLR v27
  • 相关性 6/10 · novelty: new_theory
  • 摘要: 本文在两层神经算子的神经正切核(NTK)框架下研究其泛化性质,目标是学习偏微分方程(PDE)解算子这类无穷维输入输出映射。作者针对早停梯度下降(GD)算法,在再生核希尔伯特空间(RKHS)的非参数回归框架下推导出快速收敛率,并证明该收敛率是极小极大最优的。文中给出了实现泛化所需的隐藏神经元数量和第二阶段样本数量的上界。为证明NTK框架的合理性,作者还证明了任何可由神经算子逼近的算子也可由RKHS中的算子逼近。以标准Poisson方程为例进行数值模拟,验证了理论结果。对您而言,本文的收敛率分析与非参数回归的极小极大理论直接相关,且其RKHS视角可能为您的半参数效率理论提供新的思考角度。
  • 关键技术: neural tangent kernel (NTK), early-stopped gradient descent, minimax optimal rates, RKHS regression, neural operators
  • 为什么对您有用: 本文属于非参数回归与极小极大理论,直接连接您的非参数/半参数理论兴趣。您可以用非常熟悉的极小极大界工具来验证其收敛率是否紧,并考虑其RKHS框架与您熟悉的半参数效率理论之间的潜在联系。中期可做:若想深入神经算子的统计计算方面,需在统计计算(如算法复杂度)上稍作提升。

14. jmlr:v27/23-1392 — Global Fréchet Manifold Learning for Random Objects, With Application to Low-Dimensional Wasserstein Representations of Distributional Data

  • 作者: Álvaro Gajardo, Hans-Georg Müller
  • 期刊/来源: JMLR
  • 分类: JMLR v27
  • 相关性 5/10 · novelty: new_method
  • 摘要: 本文研究度量空间取值的随机对象的流形学习,提出一种全局 ISOMAP 版本,将样本映射到低维欧氏表示空间,并利用全局 Fréchet 回归将表示空间中的凸集元素映射回原始度量空间,称为 Fréchet 流形学习。重点特例是一维分布配备 Wasserstein 度量,得到的低维表示模仿参数分布族的参数表示,但完全由数据驱动,无需参数模型假设。该方法可视为分布数据的经验参数化,其效用依赖于从低维表示空间到分布空间的映射。作者在婴儿名字、自行车租赁和年龄金字塔等分布数据上展示了方法,并进一步将其应用于以分布为预测变量的新型分布回归。对您而言,本文的非参数流形学习与 Fréchet 回归框架与您的非参数/半参数理论兴趣相关,且其 Wasserstein 表示可能为分布数据提供新的建模视角。
  • 关键技术: ISOMAP, Fréchet regression, Wasserstein metric, manifold learning, multidimensional scaling
  • 为什么对您有用: 本文属于非参数/半参数理论方向,具体涉及度量空间数据的流形学习与 Fréchet 回归,与您的非参数理论兴趣相关。您可以用 very_familiar 的非参数统计和 minimax 界工具来评估其估计量的收敛性质,或探索其与更高阶 U 统计量的联系。中期可做:若想深入其理论保证,需在 moderately_familiar 的 M 估计理论上加强。

15. jmlr:v27/24-0314 — Optimal Approximation and Generalization Errors for Deep Convolutional Neural Networks

  • 作者: Jinxin Wang, Shao-Bo Lin
  • 期刊/来源: JMLR
  • 分类: JMLR v27
  • 相关性 5/10 · novelty: new_theory
  • 摘要: 本文研究带零填充和最大池化的深度卷积神经网络(CNN)的逼近与泛化误差。在目标函数为 r-光滑的假设下,作者证明深度为 L 的 CNN 的逼近率为 (L/log L)^{-2r/d},该率在 log 因子意义下最优。进一步,他们推导了在 CNN 假设空间上实施经验风险最小化(ERM)的几乎最优泛化误差界。理论结果通过数值实验验证,展示了卷积结构、零填充和最大池化的作用。该工作属于非参数逼近与学习理论,与您的非参数/半参数理论兴趣相关,但方法学上更偏向函数逼近与深度学习的理论分析。
  • 关键技术: deep convolutional neural networks, zero-padding, max-pooling, approximation theory, empirical risk minimization, generalization bounds
  • 为什么对您有用: 该论文属于非参数函数逼近与学习理论,与您的非参数/半参数理论兴趣直接相关。您可以用您非常熟悉的非参数统计和极小极大界工具来审视其逼近率的最优性,例如验证其 log 因子是否可去除,或将其与经典的非参数估计(如核估计、样条)的极小极大率进行对比。中期可做:若想深入,需在深度学习的泛化理论(如 Rademacher 复杂度)上稍作提升,但当前武器库已足够支撑初步的批判性阅读。

16. jmlr:v27/24-0554 · arXiv — A Mean-Field Analysis of Neural Stochastic Gradient Descent-Ascent for Functional Minimax Optimization

  • 作者: Yuchen Zhu, Yufeng Zhang, Zhaoran Wang, Zhuoran Yang, Xiaohong Chen
  • 期刊/来源: JMLR
  • 机构: Georgia Institute of Technology · Northwestern University · Yale University
  • 分类: JMLR v27
  • 相关性 5/10 · novelty: new_method
  • 摘要: 本文研究定义在过参数化两层神经网络无限维函数类上的极小极大优化问题,目标是由条件期望定义的线性泛函方程(如非参数IV回归、策略评估、资产定价)的估计。作者在平均场机制下考虑连续时间、无限宽极限,将随机梯度下降-上升算法对应为参数空间上概率测度的Wasserstein梯度流。他们证明该梯度流全局收敛到极小极大目标的驻点,收敛率为O(T^{-1} + α^{-1}),其中T为时间、α为网络缩放参数;当正则项强凸时,还能找到泛函方程的解。在表示学习方面,结果显示网络诱导的特征表示与初始表示的Wasserstein距离以O(α^{-1})阶偏离。该工作为神经网络的极小极大估计提供了非渐近收敛保证,并连接了非参数估计与深度学习优化理论。对您而言,其将半参数效率理论与神经网络优化结合,可能为您的非参数/半参数理论兴趣提供新的视角,但方法学上更偏向优化与PDE,而非统计推断效率。

  • 关键技术: mean-field limit, Wasserstein gradient flow, stochastic gradient descent-ascent, over-parameterized neural networks, functional minimax optimization, nonparametric instrumental variable regression
  • 为什么对您有用: 本文属于非参数/半参数理论方向,具体涉及非参数IV回归的神经网络求解,与您的primary interest中的非参数理论相关,但更偏优化而非统计推断。技术核心是平均场极限和Wasserstein梯度流,不在您的技术武器库中(您熟悉的是U统计量、经验过程、RMT等),因此属于中期可做:需先熟悉平均场优化理论。作为gateway reading,它展示了深度学习如何用于求解泛函方程,但方法学novelty对您而言有限,主要是应用了已有框架。

17. jmlr:v27/25-0093 · arXiv — Semi-supervised learning for linear extremile regression

  • 作者: Rong Jiang, Jiangfeng Wang, Keming Yu
  • 期刊/来源: JMLR
  • 分类: JMLR v27
  • 相关性 5/10 · novelty: new_method
  • 摘要: 本文提出线性极值回归(linear extremile regression)的新定义及估计方法,作为分位数回归的最小二乘类比,用于刻画分布极端尾部。在非参数极值回归面临高维数据稀疏、计算低效和过拟合风险的背景下,线性模型因其简单、可解释和易实现而成为基础。所提回归系数估计量达到根号 n 一致性,这是非参数极值回归通常无法提供的。进一步,作者提出半监督学习方法,利用未标记数据提高估计效率,即使线性极值回归模型被错误指定也有效。模拟和真实数据分析验证了有限样本性能。该方法与您在半参数/非参数理论及高维统计中的兴趣相关,特别是其半监督框架下的效率提升值得关注。
  • 关键技术: linear extremile regression, semi-supervised learning, root-n consistency, high-dimensional regression, misspecified model
  • 为什么对您有用: 本文属于半参数/非参数理论方向,具体涉及极值回归的线性化与半监督效率提升。您可用 very_familiar 的非参数统计和 minimax 界工具来审视其根号 n 一致性的最优性,或探讨半监督下效率增益的理论极限。中期可做:结合 moderately_familiar 的 semiparametric theory 分析其影响函数。暂不可做:若涉及高维稀疏性,需补充高维推断工具。

18. jmlr:v27/24-1780 · arXiv — Sliced Wasserstein Regression

  • 作者: Han Chen, Yidong Zhou, Hans-Georg Müller
  • 期刊/来源: JMLR
  • 机构: University of California, Davis
  • 分类: JMLR v27
  • 相关性 5/10 · novelty: new_method
  • 摘要: 本文针对多元分布作为响应变量、欧氏向量作为预测变量的分布回归问题,提出基于切片 Wasserstein 距离的回归方法。由于多元 Wasserstein 距离计算复杂且统计性质难处理,作者引入切片变换(以 Radon 变换为例)将多元分布映射到切片分布空间,从而将问题转化为一维分布回归。方法上提出两种回归途径:一是直接在多元分布空间使用切片 Wasserstein 距离的全局/局部 Fréchet 回归;二是基于新的逐切片距离,对每个切片进行一元分布回归。作者建立了切片变换的理论框架,并研究了样本估计量的渐近性质。模拟和实际数据应用(如欧洲国家冬季超额死亡率与温度异常的联合分布对基础冬季温度的回归,以及金融数据)验证了方法的有效性。对您而言,本文的切片变换思想与 Fréchet 回归框架可能对非参数回归和分布数据建模有启发,但方法论核心与您的主要兴趣(因果推断、高维统计、U-统计量)关联较弱。
  • 关键技术: sliced Wasserstein distance, Radon transform, Fréchet regression, distributional data analysis, asymptotic normality
  • 为什么对您有用: 本文属于非参数/半参数回归领域,与您的 primary interest 中的 semiparametric & nonparametric theory 有部分重叠,但核心是分布数据回归而非因果推断或高维统计。从技术武器库看,您熟悉的非参数统计和渐近理论可用于理解其估计量的收敛性质,但切片 Wasserstein 距离和 Fréchet 回归并非您 arsenal 中的核心工具,因此属于中期可做:需先熟悉分布数据分析和 Fréchet 回归的基本概念。作为 gateway reading,本文对分布回归领域是一个不错的入门,但若您时间有限,可先读摘要和结论。

19. jmlr:v27/25-0163 — Kernel Mean Embedding Deviation Subspace for Unsupervised Learning with Heterogeneous Data

  • 作者: Luoyao Yu, Lixing Zhu, Ruoqing Zhu, Xuehu Zhu
  • 期刊/来源: JMLR
  • 分类: JMLR v27
  • 相关性 4/10 · novelty: new_method
  • 摘要: 本文针对高维异质数据的无监督降维问题,提出一种基于核均值嵌入偏差子空间的方法,目标是在变点检测和聚类分析中保留分布变化信息。核心策略是采用修正的核主成分分析(CKPCA)构造该子空间,并证明在降维子空间中变点的位置和数量与原数据一致,从而保证降维不丢失关键结构。作者还解释了经典KPCA无法识别该偏差子空间的原因,凸显了CKPCA的必要性。方法被扩展到聚类分析,通过非线性低维嵌入提升聚类性能。数值实验表明,降维后的变点检测和聚类方法在有限样本下显著优于现有方法。对您而言,该方法将核方法、降维与无监督推断结合,其理论分析(如子空间一致性)与您在高维统计和半参数理论方面的兴趣相关,但更偏向应用方法而非因果推断或效率理论。
  • 关键技术: Corrected Kernel PCA, kernel mean embedding, dimension reduction, change point detection, clustering
  • 为什么对您有用: 本文属于高维统计与无监督学习的交叉,与您的高维统计和半参数/非参数理论兴趣相关,但并非因果推断或效率理论的核心。作为方法学论文,其理论保证(子空间一致性)和数值改进值得关注,但方法本身不涉及您武器库中的具体工具(如U统计量或因果推断框架)。因此,本文可作为了解核方法在高维无监督推断中应用的参考,但可能不是优先精读对象。

20. jmlr:v27/25-2364 · arXiv — End-to-End Deep Learning for Predicting Metric Space-Valued Outputs

  • 作者: Yidong Zhou, Su I Iao, Hans-Georg Müller
  • 期刊/来源: JMLR
  • 机构: University of California, Davis
  • 分类: JMLR v27
  • 相关性 4/10 · novelty: new_method
  • 摘要: 本文提出 E2M(End-to-End Metric regression)框架,用于预测取值于一般度量空间的输出(如概率分布、网络、对称正定矩阵)。该方法通过神经网络学习训练输出的权重,并计算加权 Fréchet 均值作为预测,从而避免代理嵌入和参数化假设,保持输出空间的固有几何结构。理论方面,作者证明了模型的普适逼近定理,并分析了熵正则化训练目标的收敛性。大量模拟实验表明,E2M 在分布、网络和 SPD 矩阵预测上均达到最先进性能,且样本量越大优势越明显。真实数据应用(人类死亡率分布、纽约出租车网络)展示了其实用性。对您而言,该方法将非参数回归与深度学习结合,其加权 Fréchet 均值的估计思路可能对您在高维或半参数框架下的非欧输出建模有启发。
  • 关键技术: Fréchet mean, weighted Fréchet regression, neural network, universal approximation, entropy regularization
  • 为什么对您有用: 本文属于非参数回归在非欧空间中的扩展,与您的非参数/半参数理论兴趣相关。其加权 Fréchet 均值估计可视为一种非参数估计器,您可以用 minimax 理论分析其收敛速度,或用 U-统计量视角研究其高阶性质。具体而言,您熟悉的非参数统计和 minimax 界工具可用于检验其理论保证是否最优。

效率理论 / Debiased ML (efficiency_dml, 1 篇)

1. jmlr:v27/25-2717 · arXiv — Efficient Inference under Label Shift in Unsupervised Domain Adaptation

  • 作者: Seong-ho Lee, Yanyuan Ma, Jiwei Zhao
  • 期刊/来源: JMLR
  • 分类: JMLR v27
  • 相关性 7/10 · novelty: new_method
  • 摘要: 本文研究无监督域适应中的标签偏移问题,目标是在目标域无标签数据下,对目标总体的一般参数进行有效推断。核心思想是对源域(有标签)与目标域(无标签)之间的结果密度比建模,并据此构建估计量。作者提出一个三阶段的渐进估计策略:初始启发式猜测、一致估计、最终有效估计,该自演化过程在统计文献中具有新颖性。文章建立了估计量的渐近性质,并证明了其相对于现有方法的优越性。此外,文章还揭示了该方法与预测驱动推断(PPI)之间的联系,后者利用机器学习模型改进相关设定下的统计推断。模拟和多个真实数据应用验证了理论贡献和实际效益。对您而言,该三阶段估计策略与半参数效率理论中的渐近有效估计思想紧密相关,且与您熟悉的去偏机器学习(DML)和影响函数方法有潜在联系。
  • 关键技术: label shift, density ratio modeling, progressive estimation, semiparametric efficiency, prediction-powered inference
  • 为什么对您有用: 该文属于半参数效率理论在迁移学习/域适应中的应用,直接连接您的效率理论(semiparametric efficiency bounds)和去偏机器学习兴趣。您可以用非常熟悉的半参数影响函数和效率界工具来审视其三阶段估计量的最优性,并可能将其与您熟悉的HOIF方法结合,探索高阶效率改进。中期可做:需先熟悉PPI框架的具体细节(属于moderately_familiar的semiparametric theory范畴)。

数理统计 / 假设检验 (hypothesis_testing, 12 篇)

1. jmlr:v27/23-0126 · arXiv — Inference with non-differentiable surrogate loss in a general high-dimensional classification framework

  • 作者: Muxuan Liang, Yang Ning, Maureen A Smith, Ying-Qi Zhao
  • 期刊/来源: JMLR
  • 机构: Cancer Research And Biostatistics · Cornell University · University of Wisconsin–Madison · Cape Town HVTN Immunology Laboratory / Hutchinson Centre Research Institute of South Africa · Fred Hutch Cancer Center
  • 分类: JMLR v27
  • 相关性 7/10 · novelty: new_method
  • 摘要: 本文研究高维分类问题中,使用非光滑代理损失(如分段线性损失)估计线性决策规则后的统计推断问题。目标是对决策规则的系数进行假设检验和区间估计,这在代理损失梯度不连续、Hessian 非正则时具有挑战性。作者提出核平滑去相关得分(kernel-smoothed decorrelated score),通过核近似平滑不连续梯度并逼近非正则 Hessian,从而构造检验统计量。针对含额外 nuisance 参数的情形,提出交叉拟合(cross-fitted)版本,以兼容灵活的 nuisance 估计和核近似。在高维设定下建立了所提得分及其交叉拟合版本的渐近分布。模拟和真实数据分析验证了方法的有效性和优越性。该方法对您在高维假设检验方向有直接参考价值,特别是处理非光滑损失函数的推断问题。
  • 关键技术: kernel smoothing, decorrelated score, cross-fitting, high-dimensional inference, non-differentiable surrogate loss
  • 为什么对您有用: 直接关联您的高维统计与假设检验兴趣,特别是非光滑损失下的推断问题。可用您非常熟悉的非参数统计和 minimax 工具分析其核平滑的偏差-方差权衡,或检验其去相关得分的渐近有效性是否达到半参数效率界。中期可做:结合您 moderately_familiar 的 M-估计理论,探讨其交叉拟合版本在更复杂 nuisance 结构下的推广。

2. jmlr:v27/24-1899 — Transfer Conformal Predictive Inference for Regression

  • 作者: Ce Zhang, Ting Li, Jinhan Xie, Linglong Kong, Bei Jiang
  • 期刊/来源: JMLR
  • 分类: JMLR v27
  • 相关性 7/10 · novelty: new_method
  • 摘要: 本文研究迁移学习框架下的共形预测问题,目标是在目标数据量不足时,利用相关辅助源数据集构建更窄的预测区间,同时保持覆盖率的有效性。作者允许源与目标数据之间潜在的非可交换性,提出了两种迁移共形预测算法,分别适用于已知或未知信息性源数据的情形。方法使用条件KL散度来识别相关源数据集,并给出了算法的非渐近理论性质,包括上下界和预测区间宽度的分析。理论结果表明,在保持覆盖精度的前提下,迁移可以显著提高区间效率。大量模拟和真实数据实验验证了方法的有效性。对您而言,该工作将迁移学习与共形预测结合,其非渐近分析和KL散度选择机制可能对您在高维统计和假设检验中的研究有启发。
  • 关键技术: conformal prediction, transfer learning, conditional KL divergence, non-exchangeability, non-asymptotic bounds
  • 为什么对您有用: 该论文属于假设检验与预测区间构建的交叉领域,与您对 hypothesis testing 和 nonparametric theory 的兴趣相关。其非渐近界和KL散度选择机制可联系到您熟悉的 minimax bounds 和 empirical process 工具,但核心方法(共形预测)并非您的主要武器,属于中期可做的方向,需先熟悉共形预测的交换性理论。

3. jmlr:v27/23-0998 · arXiv — Model-free generalized fiducial inference

  • 作者: Jonathan P Williams
  • 期刊/来源: JMLR
  • 机构: North Carolina State University
  • 分类: JMLR v27
  • 相关性 7/10 · novelty: new_method
  • 摘要: 本文在无模型框架下建立 conformal prediction (CP) 与 generalized fiducial (GF) inference 之间的形式化联系,目标是对一般事件类提供具有有限样本保证的推断。作者利用 imprecise probability 理论中的 lower/upper probability 函数,构造了 imprecise GF 分布,从而在 CP 框架之外提供后验式的 prescriptive inference。文中证明在特定条件下,认识论驱动的 GF 概率与频率学派概率一致,并综合了与 nonparametric predictive inference (NPI)、conformal predictive systems 以及 inferential models (IMs) 的联系。该方法不依赖模型假设,适用于任意事件类,但未给出具体估计量的收敛速率或效率性质。对您而言,该工作将 CP 的有限样本保证与 fiducial 推断的哲学结合,可能为 hypothesis testing 提供新的非参数推断视角,但方法学 novelty 主要在于概念综合而非新理论突破。
  • 关键技术: conformal prediction, generalized fiducial inference, imprecise probability, lower and upper probability functions, nonparametric predictive inference, inferential models
  • 为什么对您有用: 本文属于 hypothesis testing 与 nonparametric inference 的交叉,直接关联您对 mathematical statistics 中 hypothesis testing 的兴趣。您可尝试用 very_familiar 的 nonparametric statistics 工具(如经验过程理论)分析其 lower/upper probability 函数的有限样本性质,或检验其与经典置信区间的关系。中期可做:若需深入其与 inferential models 的联系,需先在 moderately_familiar 的 semiparametric theory 上加强。

4. jmlr:v27/25-2123 · arXiv — Feedback-Enhanced Online Multiple Testing with Applications to Conformal Selection

  • 作者: Lin Lu, Yuyang Huo, Haojie Ren, Zhaojun Wang, Changliang Zou
  • 期刊/来源: JMLR
  • 机构: Nankai University · Shanghai Jiao Tong University
  • 分类: JMLR v27
  • 相关性 7/10 · novelty: new_method
  • 摘要: 本文研究在线多重检验中的反馈机制,其中假设的真实状态在决策后(即时或延迟、全反馈或 bandit 反馈)被揭示。作者提出广义 alpha-investing with feedback (GAIF) 及其自适应变体,利用已揭示的结果动态调整阈值,并保证有限样本 FDR/mFDR 控制。进一步将 GAIF 扩展到在线 conformal testing,通过构造有效的 conformal p 值并开发带反馈的检验规则,实现有限样本 mFDR 控制。此外,提出一种反馈驱动的得分选择准则,自适应地选择对检验过程最有效的候选得分,并给出其最优性的理论分析。数值模拟和真实数据应用验证了方法的有效性。对您而言,该工作将在线假设检验与反馈学习结合,其阈值调整机制和 conformal p 值构造可能对您在高维或因果推断中的多重检验问题有启发。
  • 关键技术: alpha-investing, online multiple testing, conformal p-values, bandit feedback, FDR control
  • 为什么对您有用: 本文属于假设检验方向,直接对应您的主要兴趣之一。其在线决策与反馈机制可视为一种序贯决策问题,您可以用 very_familiar 的 minimax 界或高维渐近工具来分析其阈值调整的最优性;也可用 moderately_familiar 的 M-estimation 理论来理解其估计量的性质。中期可做:若想深入其 bandit 反馈下的 regret 分析,需在 moderately_familiar 的 identification 理论之外补充强化学习或 bandit 算法知识。

5. jmlr:v27/25-2325 · arXiv — Pointwise Confidence Estimation in the Non-linear \(\ell^2\)-regularized Least Squares

  • 作者: Ilja Kuzborskij, Yasin Abbasi Yadkori
  • 期刊/来源: JMLR
  • 分类: JMLR v27
  • 相关性 7/10 · novelty: new_method
  • 摘要: 本文研究固定设计下非线性 ℓ2 正则化最小二乘问题中局部极小点的高概率非渐近置信估计。目标是对任意固定测试输入 x 的预测值构造逐点置信区间,其宽度由目标函数逆 Hessian 加权的范数控制,这是线性情形 x^T Cov^{-1} x 的推广,能自然反映测试点与训练数据在隐式特征空间中的相似度。作者将经典 MLE 渐近正态置信区间推广为非渐近版本,并给出高效计算该加权范数的方法,其计算成本仅略高于一次梯度计算。实验表明,与神经网络等非线性预测器常用的 bootstrap 置信区间相比,所提方法在覆盖率和区间宽度上有更好的权衡。该工作为非线性回归的不确定性量化提供了理论保证,并兼顾了计算可行性。
  • 关键技术: non-asymptotic confidence intervals, inverse-Hessian weighted norm, regularized least squares, local minimizers, high-probability bounds
  • 为什么对您有用: 该文属于假设检验与不确定性量化方向,与您对数学统计和假设检验的兴趣直接相关;其非渐近置信区间构造可视为经典 MLE 渐近理论的有限样本推广。您可用 very_familiar 的非参数统计和极小极大界工具来审视其置信区间的最优性,或将其与您熟悉的高维统计中的去偏估计方法对比,判断是否可中期拓展到高维非线性设定。

6. jmlr:v27/25-0107 · arXiv — Deep Nonparametric Conditional Independence Tests for Images

  • 作者: Marco Simnacher, Xiangnan Xu, Hani Park, Christoph Lippert, Sonja Greven
  • 期刊/来源: JMLR
  • 机构: Humboldt-Universität zu Berlin · Hasso Plattner Institute
  • 分类: JMLR v27
  • 相关性 6/10 · novelty: new_method
  • 摘要: 本文提出深度非参数条件独立性检验(DNCITs),用于处理高维复杂变量(如图像)的条件独立性检验问题。方法将嵌入映射(embedding maps)与经典非参数CIT相结合:先用嵌入提取高维变量的特征表示,再对特征表示应用合适的非参数检验。作者推导了嵌入映射参数估计量需满足的一般性质以保证检验的有效性,并证明这些性质涵盖通过(条件)无监督或迁移学习得到的嵌入。模拟研究考察了不同嵌入映射和非参数CIT在不同混淆维度及关系下的表现。在UK Biobank数据上,作者将DNCITs应用于脑MRI扫描与行为特质的条件独立性检验,以更大的样本量和更有效的检验确认了若干人格神经科学研究的零结果;另在混淆控制研究中检验了混淆集的充分性。文章提供了R包实现。对您而言,该工作将非参数假设检验推广到高维图像数据,其嵌入加检验的框架与您在高维统计和假设检验方面的兴趣直接相关。
  • 关键技术: conditional independence test, embedding maps, transfer learning, nonparametric testing, UK Biobank application
  • 为什么对您有用: 该论文属于假设检验方向,具体是条件独立性检验在高维图像数据上的扩展,与您primary interest中的hypothesis testing直接相关。您可以用very_familiar中的非参数统计和minimax理论来审视其检验的power和有效性条件,例如检查嵌入映射估计误差对检验水平的影响是否被充分刻画。中期可做:若要深入分析其嵌入估计的收敛性对检验的影响,可能需要先在semiparametric theory上加强。

7. jmlr:v27/23-0511 · arXiv — Adversarial Rademacher Complexity of Deep Neural Networks

  • 作者: Jiancong Xiao, Yanbo Fan, Ruoyu Sun, Zhi-Quan Luo
  • 期刊/来源: JMLR
  • 机构: Chinese University of Hong Kong, Shenzhen · Nanjing University
  • 分类: JMLR v27
  • 相关性 6/10 · novelty: new_method
  • 摘要: 本文研究深度神经网络在对抗攻击下的泛化保证,聚焦于对抗 Rademacher 复杂度(ARC)的上界。此前 ARC 仅对线性函数和两层网络有界,深层网络因对抗样本的动态性和无闭式解而难以处理。作者引入“中间对抗样本”概念,并建立与之兼容的覆盖数计算框架,从而首次给出深层网络的 ARC 上界,其量级与标准 Rademacher 复杂度界相当。实验表明权重范数是影响鲁棒泛化差距的关键因素。该工作为鲁棒学习的统计学习理论提供了新工具,但属于学习理论而非因果推断或高维统计,与您的主要兴趣关联较弱。
  • 关键技术: adversarial Rademacher complexity, covering number, intermediate adversarial examples, deep neural networks, generalization bounds
  • 为什么对您有用: 本文属于统计学习理论中的泛化界分析,与您的主要兴趣(如假设检验、非参数理论)有方法论上的间接联系,但并非直接相关。您可以用 very_familiar 的 minimax 界技术审视其覆盖数框架的紧性,但核心问题(对抗鲁棒性)不在您的武器库中,属于暂不可做的方向。

8. jmlr:v27/25-0680 · arXiv — Nonparametric Spectral Density Estimation using Interactive Mechanisms under Local Differential Privacy

  • 作者: Cristina Butucea, Karolina Klockmann, Tatyana Krivobokova
  • 期刊/来源: JMLR
  • 机构: Centre de Recherche en Économie et Statistique · Institut Polytechnique de Paris · ENSAE Paris · University of Kassel
  • 分类: JMLR v27
  • 相关性 6/10 · novelty: new_method
  • 摘要: 本文研究在局部差分隐私约束下,估计平稳高斯时间序列的谱密度函数的问题。作者针对三个任务提出了新的交互式隐私机制:估计单个协方差系数、估计固定频率处的谱密度以及全局恢复。方法的核心是两阶段过程:先对截断值应用拉普拉斯机制,再利用得到的私有化样本学习时间序列的依赖机制,从而获得更快的收敛速率。对于 Hölder 和 Sobolev 光滑类谱密度,所提算法在隐私参数 α 较小时优于 Kroll (2024) 的非交互式机制,因为逐点速率依赖于 nα² 而非 nα⁴。此外,作者证明了对于非交互式机制,估计协方差系数的速率 (nα⁴)^{-1} 是最优的,但交互式估计器的 L₂ 速率慢于逐点速率。最后,作者展示了如何利用这些过程构造整个协方差矩阵的 bona fide 局部差分隐私估计器,并通过模拟研究验证了理论结果。
  • 关键技术: local differential privacy, Laplace mechanism, interactive privacy mechanisms, spectral density estimation, Hölder and Sobolev smoothness classes, minimax rates
  • 为什么对您有用: 本文属于高维统计与统计计算交叉领域,涉及隐私约束下的非参数估计,与您对非参数/半参数理论及统计计算(算法设计)的兴趣直接相关。您可以用 very_familiar 的 minimax 界工具来验证其声称的速率改进是否紧,并考虑将交互式机制思想迁移到您熟悉的因果推断或高维推断问题中。

9. jmlr:v27/24-0880 · arXiv — Differentially Private Best-Arm Identification

  • 作者: Achraf Azize, Marc Jourdan, Aymen Al Marjani, Debabrota Basu
  • 期刊/来源: JMLR
  • 机构: Centre National de la Recherche Scientifique · Institut national de recherche en sciences et technologies du numérique · Université de Lille · Centre de Recherche en Informatique, Signal et Automatique de Lille · SCOOL: Prise de décision séquentielle dans l'incertain · Centrale Lille Institut · École Normale Supérieure de Lyon · Unité de Mathématiques Pures et Appliquées
  • 分类: JMLR v27
  • 相关性 5/10 · novelty: new_method
  • 摘要: 本文研究固定置信度下的最佳臂识别(BAI)问题在局部和中心差分隐私模型下的样本复杂度。作者推导了任何 δ-正确且满足 ε-DP 的 BAI 算法的样本复杂度下界,揭示高隐私和低隐私两种机制:高隐私机制下难度由隐私与总变差距离耦合决定,低隐私机制下退化为非私有下界。他们提出两种 Top Two 算法变体:局部 DP 的 CTB-TT 使用随机化响应估计均值并达到渐近最优;全局 DP 的 AdaP-TT* 采用自适应分段加 Laplace 噪声,在高隐私机制下渐近达到下界(至多常数因子)。该工作将隐私约束引入序贯决策问题,对您而言,其下界推导与信息论量的耦合分析可能对您在高维统计与假设检验中的隐私-效用权衡研究有参考价值。
  • 关键技术: Best Arm Identification, Differential Privacy, Top Two algorithms, Randomised Response, Laplace mechanism, sample complexity lower bounds
  • 为什么对您有用: 本文属于 hypothesis testing 与统计计算交叉领域,涉及隐私约束下的序贯决策与样本复杂度下界,与您对假设检验和统计计算(算法设计)的兴趣相关。您可用 very_familiar 的 minimax 下界技术审视其隐私-效用权衡的紧性,或探索将隐私机制引入您熟悉的 U-统计量估计问题。

10. jmlr:v27/24-1905 · arXiv — Generalized Resubstitution for Regression Error Estimation

  • 作者: Diego Marcondes, Ulisses Braga-Neto
  • 期刊/来源: JMLR
  • 机构: Universidade de São Paulo · Texas A&M University
  • 分类: JMLR v27
  • 相关性 5/10 · novelty: minor
  • 摘要: 本文提出一类广义重代入(generalized resubstitution)误差估计器用于回归模型,每个估计器由经验概率测度和损失函数的选择决定;标准平方损失加经验测度即退化为传统残差平方和。作者证明在宽泛假设下这些估计器具有一致性,并基于矩方法和最大伪似然提出选择经验测度的程序。实验采用多项式回归,展示了所提估计器在有限样本偏差和方差上的优越性。对您而言,该工作涉及非参数估计与模型选择中的误差估计,与您的非参数/半参数理论兴趣相关,但其方法学新颖性有限,主要是对经典重代入思想的推广与实证验证。
  • 关键技术: generalized resubstitution, empirical probability measure, method of moments, maximum pseudo-likelihood, polynomial regression
  • 为什么对您有用: 该论文属于非参数回归误差估计,与您的非参数/半参数理论兴趣相关,但方法学贡献较温和。作为统计估计理论的一个变体,可提供误差估计器构造的参考,但不太可能直接推进您的主要研究方向。

11. jmlr:v27/25-1631 — Statistical Test for Attention in Transformers for Images and Time Series

  • 作者: Tomohiro Shiraishi, Daiki Miwa, Teruyuki Katsuoka, Vo Nguyen Le Duy, Shuichi Nishino, Kouichi Taji et al.
  • 期刊/来源: JMLR
  • 分类: JMLR v27
  • 相关性 5/10 · novelty: new_method
  • 摘要: 本文针对 Transformer 模型中注意力权重作为特征重要性解释的可靠性问题,提出一个基于选择性推断(selective inference, SI)的统计检验框架。目标是检验高注意力区域(如图像块或时间序列区间)是否具有统计显著性,以纠正因选择这些区域而产生的选择偏差。核心贡献是开发了一种计算有效的方法,将 SI 推广到自注意力的复杂非线性,从而为高注意力区域计算有效的 p 值。方法通过数值实验以及脑图像诊断和脑电图(EEG)数据分析验证了其有效性和实用性。该工作连接了假设检验与深度学习可解释性,为高维或非参数推断提供了新的应用场景。
  • 关键技术: selective inference, p-value computation, transformer attention, nonlinearity handling, brain image analysis, EEG data analysis
  • 为什么对您有用: 本文属于假设检验方向,与您对 hypothesis testing 的兴趣直接相关。选择性推断是处理数据窥探偏差的重要工具,您可以用 very_familiar 的非参数统计和 minimax 理论来审视其有效性,或探索其在高维设定下的扩展。该工作为深度学习模型的可解释性提供了统计保证,可能启发您将选择性推断与您熟悉的高阶 U 统计量结合,用于更复杂的模型诊断。

12. jmlr:v27/22-0358 · arXiv — The Role of Contextual Information in Best Arm Identification

  • 作者: Masahiro Kato, Kaito Ariu
  • 期刊/来源: JMLR
  • 机构: The University of Tokyo · CyberAgent (Japan)
  • 分类: JMLR v27
  • 相关性 4/10 · novelty: new_method
  • 摘要: 本文研究随机 bandit 中带固定置信度的最优臂识别问题,在每轮观测到上下文(协变量)后选择臂,目标是识别在上下文分布上边际化的平均奖励最大的臂,而非条件于上下文的臂。作者首先推导了在上下文信息下的实例特定样本复杂度下界,然后提出上下文感知的 Track-and-Stop 策略,其中臂的抽取比例追踪最优分配集合,并证明其期望样本数渐近匹配下界。与 Garivier 和 Kaufmann (2016) 的无上下文结果相比,上下文信息能提升识别边际化最优臂的效率,并通过实验验证了上下文信息加速最优臂识别。该问题本质上是带协变量的假设检验/序贯决策问题,其下界推导和渐近最优策略与您的假设检验和效率理论兴趣相关。
  • 关键技术: best-arm identification, fixed-confidence setting, Track-and-Stop strategy, sample-complexity lower bound, contextual bandits, asymptotic optimality
  • 为什么对您有用: 本文属于假设检验/序贯决策范畴,其样本复杂度下界和渐近最优策略与您的 hypothesis testing 和 efficiency theory 兴趣相关;您可以用 very_familiar 的 minimax bounds 和 asymptotic efficiency 工具来审视其下界是否紧,以及策略的渐近最优性是否可推广到更一般的上下文分布。中期可做:若想深入 bandit 的 regret 分析,需在 moderately_familiar 的 M-estimation 理论上加强。

统计计算 / 算法 (stat_computing, 35 篇)

1. jmlr:v27/24-1484 · arXiv — Asymptotics of Stochastic Gradient Descent with Dropout Regularization in Linear Models

  • 作者: Jiaqi Li, Johannes Schmidt-Hieber, Wei Biao Wu
  • 期刊/来源: JMLR
  • 机构: University of Chicago · University of Twente
  • 分类: JMLR v27
  • 相关性 6/10 · novelty: new_theory
  • 摘要: 本文针对线性回归中带 dropout 正则化的随机梯度下降(SGD)迭代,建立了在线推断的渐近理论。作者首先证明常数步长 dropout 递归函数满足几何矩收缩(GMC),从而保证唯一平稳分布的存在性。基于 GMC 性质,利用函数型相依测度(functional dependence measure)推导出 dropout SGD 迭代的淬火中心极限定理(quenched CLT)。进一步,对 Ruppert-Polyak 平均 GD(AGD)和平均 SGD(ASGD)的 dropout 迭代也建立了 CLT。基于这些渐近正态性结果,作者提出一个长程协方差矩阵的在线估计器,用于递归推断,在计算时间和内存上高效。数值实验表明,在大样本下,ASGD dropout 的置信区间能达到名义覆盖概率。
  • 关键技术: geometric-moment contraction, functional dependence measure, quenched central limit theorem, Ruppert-Polyak averaging, online covariance estimation
  • 为什么对您有用: 本文属于统计计算方向,与您对 SGD 推断和算法渐近性的兴趣相关。您熟悉的非参数统计和马尔可夫链工具(如几何遍历性)可用于验证或扩展其 GMC 条件;但核心的淬火 CLT 和函数型相依测度技术不在您的武器库中,属于中期可做。

2. jmlr:v27/25-0008 · arXiv — Cheap Bootstrap for Fast Uncertainty Quantification of Stochastic Gradient Descent

  • 作者: Henry Lam, Zitong Wang
  • 期刊/来源: JMLR
  • 机构: Columbia University
  • 分类: JMLR v27
  • 相关性 6/10 · novelty: new_method
  • 摘要: 本文研究随机梯度下降(SGD)解的统计推断问题,目标是在不增加大量计算成本的前提下构造置信区间。作者提出两种基于重抽样的廉价自助法:一种是对数据做有放回重抽样并并行运行少量SGD,另一种是在线版本。这些方法是对已有自助法的改进,大幅减少了重抽样次数,同时避免了现有批处理方法所需的复杂混合条件。理论贡献在于利用廉价自助法思想并改进了SGD的Berry-Esseen型界,从而保证了置信区间的渐近有效性。数值实验验证了方法的计算效率和覆盖精度。对您而言,本文展示了在计算受限环境下进行不确定性量化的新思路,与您对统计计算和计算-统计权衡的兴趣相关。
  • 关键技术: cheap bootstrap, stochastic gradient descent, Berry-Esseen bound, resampling, online inference
  • 为什么对您有用: 本文属于统计计算方向,直接关联您对统计计算和计算-统计权衡的兴趣。它提出的廉价自助法在计算效率与统计精度之间取得平衡,您可以用您熟悉的非参数统计和渐近理论来评估其方法的适用条件。作为gateway reading,本文对计算-统计权衡的入门者友好,但武器库中的工具(如非参数统计、U统计量)足以支撑理解其核心思想,值得一读。

3. jmlr:v27/25-1474 — STDE++: Polynomial-Time Amortization for Linear Differential Operators

  • 作者: Zekun Shi, Zheyuan Hu, Min Lin, Kenji Kawaguchi
  • 期刊/来源: JMLR
  • 分类: JMLR v27
  • 相关性 6/10 · novelty: new_method
  • 摘要: 本文针对含高阶微分算子的损失函数(如 PINN 训练)在反向传播中因导数张量尺寸 O(d^k) 和计算图 O(2^{k-1}L) 导致的指数级开销问题,提出 STDE++ 方法。核心思想是将多元函数任意阶导数张量的任意收缩,通过构造合适的输入切向量转化为一元高阶自动微分(Taylor mode AD)来计算,从而在优化过程中实现多项式时间的摊销。该方法可与随机化技术结合,高效地随机化任意微分算子,解决高维(d 大)和高阶(k 大)的双重挑战。在三个 10 万维不可分离 PDE 基准上,相比原始 PyTorch SDGD 实现,平均获得约 1.34×10^3 倍加速和 31.8 倍内存缩减,并能在单张 A100 GPU 上 8 分钟求解 100 万维 PDE。此外,作者还提出了计算混合偏导数的 Taylor mode AD 新方法,其复杂度随导数阶数多项式增长。对您而言,该工作将张量收缩的图论/计算复杂度视角(与您高阶 U-统计量的 einsum 复杂度研究直接相关)与自动微分和随机化摊销技术结合,为大规模高维计算提供了新工具。
  • 关键技术: Taylor mode automatic differentiation, tensor contraction, randomized amortization, Physics-Informed Neural Networks (PINNs), polynomial-time algorithms
  • 为什么对您有用: 该论文直接连接您 statistical computing 兴趣,且其核心的张量收缩/计算图复杂度视角与您 very_familiar 武器库中“高阶 U-统计量的 treewidth / tensor contraction / einsum 复杂度”高度契合——您可立即用该视角分析其摊销策略的复杂度下界或提出更优的收缩顺序。中期可做:若想将此类摊销技术推广到更一般的统计估计量(如高阶 influence function 的计算),需在 moderately_familiar 的 HOIF 理论上加强。

4. jmlr:v27/24-0815 · arXiv — Online Generalized Sparse Regression: How Does Overparametrization Help?

  • 作者: Shuoguang Yang, Qiang Sun
  • 期刊/来源: JMLR
  • 机构: Hong Kong University of Science and Technology · University of Toronto · Mohamed bin Zayed University of Artificial Intelligence
  • 分类: JMLR v27
  • 相关性 6/10 · novelty: new_method
  • 摘要: 本文研究在线广义稀疏回归问题,聚焦于在线基数约束线性回归和低秩矩阵感知。与在线正则化回归不同,约束形式避免了每轮动态调整正则化参数的需要。作者提出一种在线硬阈值算法,通过闭式更新仅需存储汇总统计量,在计算、内存和存储上均高效。尽管问题非凸且组合,但在投影集适当过参数化时,算法能以最优统计速率实现全局收敛。数值实验表明该方法优于现有最先进方法。该工作对您可能有用,因为它涉及统计计算与算法设计,且与您对统计-计算权衡的兴趣相关。
  • 关键技术: online hard-thresholding, cardinality-constrained regression, low-rank matrix sensing, closed-form updates, overparameterization
  • 为什么对您有用: 本文属于统计计算与算法设计,直接关联您的统计计算兴趣。它探讨过参数化如何帮助在线非凸优化达到全局收敛,这与您对统计-计算权衡的兴趣相关。您可以用 very_familiar 的软件开发和 minimax 界工具来验证其收敛速率是否最优,或分析其算法复杂度。中期可做:需在 moderately_familiar 的 M-estimation 理论上加强,以深入理解其统计保证。

5. jmlr:v27/25-2424 · arXiv — OptunaHub: A Platform for Black-Box Optimization

  • 作者: Yoshihiko Ozaki, Shuhei Watanabe, Toshihiko Yanase
  • 期刊/来源: JMLR
  • 机构: Preferred Networks (Japan)
  • 分类: JMLR v27
  • 相关性 6/10 · novelty: application
  • 摘要: 本文介绍 OptunaHub,一个面向黑箱优化(BBO)的社区驱动、去中心化平台,旨在统一分散的算法与基准实现。平台基于 Optuna 兼容接口,提供轻量级 Python 模块、贡献者驱动的注册表和可搜索的 Web 界面,支持独立发布、发现和复用优化组件。核心贡献在于基础设施设计,而非新算法或理论。对您而言,该平台可作为统计计算工具链的补充,便于快速获取和比较各类优化算法与基准问题。
  • 关键技术: black-box optimization, Optuna-compatible interface, decentralized registry, benchmark problems, community-driven platform
  • 为什么对您有用: 本文属于统计计算(statistical computing)方向,与您的主要兴趣之一直接相关。作为软件工具,OptunaHub 可扩展您的计算武器库,尤其适合在因果推断或高维统计中需要调参或优化目标函数时使用。由于是平台介绍,无新方法学,但可作为入门读物了解 BBO 生态。

6. jmlr:v27/26-0434 · arXiv — A Library for Learning Neural Operators

  • 作者: Jean Kossaifi, Nikola Kovachki, Zongyi Li, David Pitt, Miguel Liu-Schiaffini, Robert J. George et al.
  • 期刊/来源: JMLR
  • 机构: California Institute of Technology
  • 分类: JMLR v27
  • 相关性 6/10 · novelty: application
  • 摘要: 本文介绍 NeuralOperator,一个用于算子学习的开源 Python 库,属于 PyTorch 官方生态系统。算子学习将神经网络推广为函数空间之间的映射,可在不同离散化下训练和推理,并满足离散化收敛性质。库中集成了多种前沿算子学习模型(如 FNO、DeepONet 等),并提供训练、部署和开发新模型的完整工具链。文章强调其高质量、经过测试的代码库设计,以及对新用户友好的接口和可定制性。作为 JMLR 的软件论文,其核心贡献在于工程实现与生态整合,而非新的统计理论。对您而言,该库可作为处理函数空间回归或 PDE 相关问题的计算工具,但其方法论与您的核心兴趣(因果推断、高维统计等)关联较弱。
  • 关键技术: operator learning, neural operators, Fourier neural operator, DeepONet, PyTorch ecosystem
  • 为什么对您有用: 本文属于统计计算方向的软件工具,与您的 primary interest 中的 statistical computing 有直接关联,但并非方法论创新。作为 gateway reading,它展示了算子学习库的工程实现,但您作为统计学家,更关注的是其背后的泛化理论或计算复杂度,而本文未深入。您的武器库(如非参数统计、U-统计量)足以理解其基本思想,但若要深入算子学习的理论,可能需要补充泛函分析或神经网络逼近论。总体而言,本文值得快速浏览以了解工具,但不值得深入精读。

7. jmlr:v27/24-1025 · arXiv — Stochastic Differential Equations models for Least-Squares Stochastic Gradient Descent

  • 作者: Adrien Schertzer, Loucas Pillaud-Vivien
  • 期刊/来源: JMLR
  • 机构: École nationale des ponts et chaussées · CERMICS
  • 分类: JMLR v27
  • 相关性 5/10 · novelty: new_theory
  • 摘要: 本文研究最小二乘问题中随机梯度下降(SGD)的连续时间随机微分方程(SDE)模型,涵盖有限样本训练损失与在线(总体)两种设定。核心动力学特征是存在一个完美插值器(无论样本量大小),这使得平稳分布可能退化。作者给出了收敛到(可能退化的)平稳分布的非渐近速率,并刻画了该渐近分布:提供其均值、偏差估计,并证明重尾现象的出现与步长大小相关。数值模拟验证了理论结果。该工作为理解SGD的隐式正则化与重尾行为提供了理论工具,对统计计算与优化算法的理论分析有参考价值。
  • 关键技术: Stochastic Differential Equations (SDE), continuous-time SGD, non-asymptotic convergence rates, stationary distribution analysis, heavy-tail analysis
  • 为什么对您有用: 本文属于统计计算方向,直接关联您对算法与数值方法的兴趣。您熟悉的非参数统计与高维渐近工具可用于验证其非渐近速率是否最优,或扩展至非二次损失。中期可做:利用您 moderately_familiar 的 M-估计理论分析其 SDE 近似的误差界。

8. jmlr:v27/25-0632 · arXiv — A Single-Loop Stochastic Proximal Quasi-Newton Method for Large-Scale Nonsmooth Convex Optimization

  • 作者: Yongcun Song, Zimeng Wang, Xiaoming Yuan, Hangrui Yue
  • 期刊/来源: JMLR
  • 机构: City University of Hong Kong · University of Hong Kong · Nankai University
  • 分类: JMLR v27
  • 相关性 5/10 · novelty: new_method
  • 摘要: 本文提出一种单循环随机近端拟牛顿方法,用于求解由大量光滑函数平均与一个非光滑凸函数之和构成的大规模凸优化问题。方法结合了单循环 SVRG(L-SVRG)梯度采样与随机有限记忆 BFGS(L-BFGS)Hessian 近似,在温和假设下证明了全局线性收敛率。该方法涵盖近端 L-SVRG 作为特例,并可推广至 SAGA 或 SEGA 等方差缩减技术,形成新的随机近端拟牛顿方法。作者细致分析了每步迭代产生的非光滑子问题,利用 L-BFGS 矩阵的紧凑表示与辅助矩阵存储,设计了算术复杂度仅为 O(d) 的半光滑牛顿内层求解器。数值实验在正则化逻辑回归问题上验证了方法的效率。对您而言,该文的半光滑牛顿内层求解器与紧凑表示技巧,可迁移到您统计计算中涉及大规模非光滑估计问题的算法设计。
  • 关键技术: stochastic proximal quasi-Newton, L-SVRG, L-BFGS, semismooth Newton method, compact representation, variance reduction
  • 为什么对您有用: (1) 直接对应 statistical computing 兴趣,且属于优化算法设计,与您熟悉的软件开发和数值方法相关;(2) 可用您 very_familiar 的软件开发和算法实现能力,快速复现其 O(d) 内层求解器,并测试在您的统计估计问题上的表现;(3) 立即可做:该文算法框架清晰,您可基于现有优化库实现并验证。

9. jmlr:v27/25-1660 · arXiv — Robust training of implicit generative models for multivariate and heavy-tailed distributions with an invariant statistical loss

  • 作者: José Manuel de Frutos, Manuel A. Vázquez, Pablo M. Olmos, Joaquín Míguez
  • 期刊/来源: JMLR
  • 机构: Universidad Carlos III de Madrid · Instituto de Investigación Sanitaria Gregorio Marañón
  • 分类: JMLR v27
  • 相关性 5/10 · novelty: new_method
  • 摘要: 本文研究隐式生成模型的鲁棒训练问题,提出基于不变统计损失(ISL)的非对抗性训练框架。ISL 通过比较真实与生成样本的经验秩来定义损失,被正式刻画为连续分布上的一个真散度,并证明其连续可微,从而支持稳定的梯度优化,避免了对抗训练的不稳定和模式崩溃。为增强对重尾数据的表达能力,作者引入 Pareto-ISL,用广义 Pareto 潜变量替代高斯噪声,改善典型与极端事件的建模。为扩展到高维多元数据,提出 ISL-slicing,将样本投影到随机一维子空间并平均秩损失,计算高效且能捕捉高维结构。实验表明 Pareto-ISL 提升尾部保真度,ISL-slicing 在高维下有效,且 ISL 可独立使用或作为对抗微调的预训练目标。
  • 关键技术: invariant statistical loss, rank-based divergence, Pareto latent distribution, random slicing, gradient-based optimization
  • 为什么对您有用: 本文属于统计计算方向,涉及基于秩的散度估计和随机投影技术,与您的统计计算兴趣相关;其散度性质分析(连续性、可微性)可联系您的非参数与半参数理论背景,但方法本身并非您核心研究领域。作为 gateway reading,本文对统计计算中的非对抗生成模型训练提供了清晰框架,但武器库(如 U-统计量、经验过程)足以理解其理论,无需额外工具。值得花时间读全文以了解秩统计在生成模型中的应用。

10. jmlr:v27/25-2192 · arXiv — Mixing times of data-augmentation Gibbs samplers for high-dimensional probit regression

  • 作者: Filippo Ascolani, Giacomo Zanella
  • 期刊/来源: JMLR
  • 机构: Duke University · Bocconi University
  • 分类: JMLR v27
  • 相关性 5/10 · novelty: new_theory
  • 摘要: 本文研究高维贝叶斯 probit 回归中数据增强 Gibbs 采样器的混合时间。利用针对 log-concave 目标分布的 Gibbs 采样器最新结果,作者给出了 Kullback-Leibler 散度下混合时间的显式非渐近上界。这些界依赖于设计矩阵和先验精度,且对响应向量一致成立。在 n 和 p 都趋于无穷的统计感兴趣场景下,作者识别了混合时间有界和无界的条件,并证明这些界在响应最坏情况下是紧的。结果为先验选择提供了指导,以确保可证明的快速混合。基于耦合技术的实证分析表明这些界能有效预测实际观测行为。对您而言,该文连接了统计计算与高维统计,其非渐近混合时间分析可为您的 MCMC 算法设计提供理论基准。
  • 关键技术: data-augmentation Gibbs sampler, log-concave target distributions, non-asymptotic mixing time bounds, Kullback-Leibler divergence, coupling techniques
  • 为什么对您有用: 该文属于统计计算方向,直接对应您的 primary interest 中的 statistical computing。它提供了高维 probit 回归中 Gibbs 采样器的显式混合时间界,与您熟悉的高维渐近和 minimax 理论可形成互补。从问题发现角度看,您可以用 very_familiar 的软件开发和计算 U-statistics 的经验来复现或扩展其耦合分析,属于立即可做的范畴;同时,其 log-concave 目标下的收敛分析也可能启发您在高阶 U-统计量推断中的计算可行性研究。

11. jmlr:v27/25-0385 · arXiv — Have ASkotch: A Neat Solution for Large-Scale Kernel Ridge Regression

  • 作者: Pratik Rathore, Zachary Frangella, Jiaming Yang, Michał Dereziński, Madeleine Udell
  • 期刊/来源: JMLR
  • 机构: Stanford University · University of Michigan
  • 分类: JMLR v27
  • 相关性 5/10 · novelty: new_method
  • 摘要: 本文针对大规模核岭回归(KRR)的计算瓶颈,提出了一种新的可扩展加速迭代求解器 ASkotch。与直接法(如 Cholesky)和迭代法(如 PCG)相比,ASkotch 在存储和计算上更高效,且能获得比基于诱导点的近似 KRR 更好的预测性能。ASkotch 在适当条件下可证明获得线性收敛,且收敛速度与条件数无关,其分析依赖于岭杠杆分数和行列式点过程理论。在 23 个大规模回归和分类任务上,ASkotch 优于现有最先进的 KRR 求解器,展示了全 KRR 相对于诱导点 KRR 的优势。这项工作为全 KRR 在多个学科中的新应用开辟了可能性。
  • 关键技术: kernel ridge regression, accelerated iterative method, linear convergence, ridge leverage scores, determinantal point processes
  • 为什么对您有用: 本文属于统计计算方向,与您的 primary interest 中的 statistical computing 直接相关。您可以用 very_familiar 的软件开发和数值方法经验来复现或扩展其算法,例如在您的 einsum 库中实现 ASkotch 的核矩阵向量乘法优化。中期可做:若想深入其收敛性分析,需在 moderately_familiar 的 M-estimation 理论上加强。

12. jmlr:v27/25-0639 · arXiv — Sublinear Variational Optimization of Gaussian Mixture Models with Millions to Billions of Parameters

  • 作者: Sebastian Salwig, Till Kahlke, Florian Hirschberger, Dennis Forster, Jörg Lücke
  • 期刊/来源: JMLR
  • 分类: JMLR v27
  • 相关性 5/10 · novelty: new_method
  • 摘要: 本文针对大规模高斯混合模型(GMM)的训练计算瓶颈,提出一种亚线性变分优化算法。传统GMM的EM迭代复杂度为O(NCD^2),在数据点N和维度D很大时不可行;作者通过变分近似将复杂度降至与D线性、与NC亚线性,并集成到因子分析混合模型(MFA)中。算法核心是利用变分下界和稀疏化技巧,避免显式计算完整的协方差矩阵及其逆。实验表明,在大型基准上相比现有方法有数量级的加速,并成功在单CPU上以不到9小时训练了超过100亿参数的GMM(约1亿图像)。此外,该方法在零样本图像去噪任务上达到了有竞争力的性能。对您而言,该文展示了大规模统计模型的高效计算策略,与您对统计计算和算法优化的兴趣直接相关,可作为处理高维数据时计算瓶颈的参考。
  • 关键技术: variational approximation, Gaussian Mixture Models, mixture of factor analyzers, sublinear complexity, large-scale optimization
  • 为什么对您有用: 本文属于统计计算方向,直接对应您的primary interest中的'statistical computing (numerical methods, algorithm)'。其核心贡献是降低GMM训练的复杂度,这与您熟悉的计算工具(如einsum、张量收缩)有潜在联系——虽然本文未使用这些工具,但您可以用very_familiar的软件开发和算法设计能力来复现或扩展其变分技巧。中期可做:若想深入,需在'high-dimensional asymptotics'上加强,以分析亚线性近似的理论性质。暂不可做:本文不涉及计算复杂性理论,因此与您的statistical-computational tradeoff兴趣关联较弱。

13. jmlr:v27/23-0359 · arXiv — Knowledge Cascade: Reverse Knowledge Distillation on Nonparametric Multivariate Functional Estimation

  • 作者: Luyang Fang, Haoran Lu, Yongkai Chen, Wenxuan Zhong, Ping Ma
  • 期刊/来源: JMLR
  • 机构: University of Georgia
  • 分类: JMLR v27
  • 相关性 4/10 · novelty: new_method
  • 摘要: 本文提出 Knowledge Cascade,一种反向知识蒸馏框架,用小而廉价的 student 模型的信息指导复杂 teacher 模型的构建,以解决 teacher 本身训练成本过高的问题。在非参数多元函数估计的 RKHS 平滑样条设定下,多平滑参数选择是主要计算瓶颈;作者通过渐近标度律将 student 选择的平滑参数迁移到全样本 regime,大幅降低高维大规模数据的计算成本,同时保留理论保证。方法还推广到核密度估计和深度学习超参数迁移。模拟和真实数据实验表明,该方法在保持统计性能的同时实现显著计算节省,有时甚至优于全样本过程。
  • 关键技术: reverse knowledge distillation, smoothing splines, RKHS, asymptotic scaling laws, hyperparameter transfer, kernel density estimation
  • 为什么对您有用: 本文属于统计计算方向,直接关联您的主要兴趣之一。其核心思想——利用小样本估计的渐近行为外推全样本最优参数——与您熟悉的高维渐近和极小极大理论有交集,可作为计算-统计权衡的入门案例。您可以用 very_familiar 的高维渐近工具分析其标度律的精度,或探索将其与您的高阶 U 统计量计算结合的可能性。

14. jmlr:v27/24-1035 · arXiv — A Fully Parameter-Free Second-Order Algorithm for Convex-Concave Minimax Problems

  • 作者: Jun-Lin Wang, Zi Xu, Hui-Ling Zhang
  • 期刊/来源: JMLR
  • 机构: Shanghai University · Chinese Academy of Sciences · Academy of Mathematics and Systems Science
  • 分类: JMLR v27
  • 相关性 4/10 · novelty: new_method
  • 摘要: 本文研究凸-凹极小极大优化问题的二阶算法,目标是在不依赖问题参数(如 Lipschitz 常数)的情况下高效求解。作者提出 Lipschitz-free cubic regularization (LF-CR) 算法,无需已知 Lipschitz 常数,并证明其达到 ε-最优解(关于受限 primal-dual gap)的迭代复杂度为 O(ρ^{2/3}‖z0-z‖² ε^{-2/3})。进一步提出完全无参数 cubic regularization (FF-CR) 算法,连初始点到最优解的距离上界也不需知道,其关于梯度范数终止准则的迭代复杂度为 O(ρ^{2/3}‖z0-z‖^{4/3} ε^{-2/3})。数值实验验证了两种算法的效率。据作者所知,FF-CR 是首个完全无参数的二阶算法,且在梯度范数准则下其 ε 依赖的迭代复杂度目前最优。对您而言,该算法中无参数自适应机制与您统计计算中数值方法的兴趣相关,其复杂度分析思路或可迁移至您关注的优化问题。
  • 关键技术: cubic regularization, parameter-free optimization, convex-concave minimax, iteration complexity, Lipschitz-free
  • 为什么对您有用: 本文属于统计计算(优化算法)方向,与您 primary interest 中的 statistical computing 直接相关。您武器库中 very_familiar 的软件开发和数值方法经验可帮助快速复现或扩展其算法;但该文核心是优化理论,与您 higher-order U-statistics 的 tensor 计算关联较弱。作为 gateway reading,本文对您了解无参数二阶优化前沿有一定价值,但非核心方向,建议快速浏览摘要与复杂度定理即可。

15. jmlr:v27/24-1560 · arXiv — Convergence of Noise-Free Sampling Algorithms with Regularized Wasserstein Proximals

  • 作者: Fuqun Han, Stanley Osher, Wuchen Li
  • 期刊/来源: JMLR
  • 机构: University of California, Los Angeles · University of South Carolina
  • 分类: JMLR v27
  • 相关性 4/10 · novelty: new_method
  • 摘要: 本文研究向后正则化Wasserstein近端(BRWP)方法对目标分布采样的收敛性质。BRWP可视为概率流ODE的半隐式时间离散化,其密度演化通过正则化Wasserstein近端算子的核表示近似。作者利用对偶公式和局部泰勒展开获得核公式的渐近展开,从而在强对数凹目标下建立了KL散度的收敛保证,并给出了最优和最大步长。数值实验表明,BRWP相比ULA等经典Langevin方法收敛更快且偏差更小。该工作为采样算法提供了新的理论视角,但主要面向计算统计与优化,与您的核心兴趣(因果推断、高维统计等)关联较弱。
  • 关键技术: regularized Wasserstein proximal, probability flow ODE, kernel representation, semi-implicit discretization, KL divergence convergence
  • 为什么对您有用: 本文属于统计计算方向,与您的统计计算兴趣相关,但并非您的主要研究领域。作为入门读物,它清晰展示了Wasserstein梯度流与采样算法的联系,但需要一定的优化和PDE背景。您的武器库(如非参数统计、高维渐近)不足以直接攻其核心,但可借鉴其收敛分析思路。暂不可做:核心机器(Wasserstein几何、正则化近端算子)不在您的武器库中。

16. jmlr:v27/25-1549 · arXiv — Vecchia-Inducing-Points Full-Scale Approximations for Gaussian Processes

  • 作者: Tim Gyger, Reinhard Furrer, Fabio Sigrist
  • 期刊/来源: JMLR
  • 机构: Institute of Mathematics and Mathematical Modeling · Lucerne University of Applied Sciences and Arts · ETH Zurich · Seminar for Statistics
  • 分类: JMLR v27
  • 相关性 4/10 · novelty: new_method
  • 摘要: 本文提出 Vecchia-inducing-points full-scale (VIF) 近似,用于大规模高斯过程建模,目标是在保持预测精度的同时突破计算瓶颈。VIF 结合了全局 inducing points 和局部 Vecchia 近似的优势:前者适合高维输入和平滑协方差,后者适合低维输入和中等平滑度。方法核心是用基于相关性的邻居搜索策略(通过改进的 cover tree 算法实现)对残差过程做 Vecchia 近似,从而在两种机制间取得平衡。作者进一步将框架扩展到非高斯似然,提出迭代求解器(含新型预条件子)替代 Cholesky 分解,使训练和预测的计算成本降低数个数量级,并给出理论收敛性保证。大量模拟和真实数据实验表明,VIF 在计算效率和数值稳定性上优于现有最先进方法。所有方法已在开源库 GPBoost 中实现,提供 C++ 核心及 Python/R 接口。
  • 关键技术: Vecchia approximation, inducing points, cover tree algorithm, Laplace approximation, preconditioned iterative solvers, Gaussian process regression
  • 为什么对您有用: 本文属于统计计算方向,与您 primary interest 中的 statistical computing 直接相关。您可以用 very_familiar 的软件开发和数值方法经验,快速评估其迭代求解器与预条件子的实现细节,或将其近似策略与您在高维统计中的计算复杂度分析(如 tensor-network 视角)进行对比。作为 gateway reading,本文对非高斯似然下的计算加速有清晰阐述,值得一读。

17. jmlr:v27/25-1634 — py/cuTAGI: An Open-Source Library for Tractable Approximate Gaussian Inference in Bayesian Neural Networks

  • 作者: Luong-Ha Nguyen, James-A. Goulet, Miquel Florensa-Montilla, Van-Dai Vuong
  • 期刊/来源: JMLR
  • 分类: JMLR v27
  • 相关性 4/10 · novelty: application
  • 摘要: 本文介绍 pyTAGI 与 cuTAGI,一个实现贝叶斯神经网络可处理近似高斯推断(TAGI)的开源库。TAGI 将所有网络量视为高斯随机变量,推导先验/后验期望、方差和协方差的闭式表达式,从而无需梯度下降或反向传播即可进行解析贝叶斯学习。该库模仿 PyTorch 的顺序接口,支持堆叠层定义模型,并量化认知不确定性和异方差偶然不确定性。cuTAGI 通过自定义 CPU/GPU 内核和 NCCL/MPI 分布式数据并行支持,提供有竞争力的运行时间;pyTAGI 提供 pip 安装的前端和 MIT 许可的 GitHub 仓库。版本 0.2.1 已支持多种层和激活函数,未来将添加 eager execution、注意力机制和高级协方差分解。对您而言,该库展示了在深度学习中实现解析推断的实用计算框架,与您对统计计算和算法实现的兴趣相关,可作为探索贝叶斯推断高效数值方法的参考。
  • 关键技术: Tractable Approximate Gaussian Inference (TAGI), closed-form Bayesian inference, CUDA kernels, distributed data-parallel (NCCL/MPI), heteroscedastic aleatoric uncertainty
  • 为什么对您有用: 本文属于统计计算方向,直接关联您对统计计算(数值方法、算法)的兴趣。作为软件库介绍,它提供了贝叶斯神经网络推断的实用实现,您可以用 very_familiar 的软件开发技能评估其数值稳定性或扩展性;但核心方法(TAGI 的闭式高斯推断)不在您的武器库中,属于中期可做的方向,需先熟悉贝叶斯推断的近似方法。

18. jmlr:v27/25-2122 · arXiv — Underdamped Langevin MCMC with third order convergence

  • 作者: Maximilian Scott, Dáire O'Kane, Andraž Jelinčič, James Foster
  • 期刊/来源: JMLR
  • 分类: JMLR v27
  • 相关性 4/10 · novelty: new_method
  • 摘要: 本文提出一种新的数值方法用于模拟欠阻尼 Langevin 扩散(ULD),并在目标分布强对数凹且具有不同光滑度假设下,给出 2-Wasserstein 距离下的非渐近采样误差分析。当梯度与 Hessian 均为 Lipschitz 连续时,算法达到 ε 误差分别需要 O(√d/ε) 和 O(√d/√ε) 步,与主流 Langevin MCMC 算法复杂度相当。若进一步假设三阶导数 Lipschitz 连续,则达到 ε 误差仅需 O(√d/ε^{1/3}) 步,据作者所知这是首个具有三阶收敛性的仅梯度 ULD 方法。理论之外,作者在多个真实数据集上进行贝叶斯逻辑回归,算法性能与现有 ULD 算法及 NUTS 相当。对您而言,该文属于统计计算方向,其高阶收敛性分析与您对数值方法和算法复杂度的兴趣相关,但并非您核心研究方向。
  • 关键技术: underdamped Langevin diffusion, third-order convergence, 2-Wasserstein distance, non-asymptotic analysis, strongly log-concave sampling
  • 为什么对您有用: 本文属于统计计算(MCMC 数值方法)方向,与您的 primary interest 中 statistical computing 直接相关,但并非核心的因果推断或高维理论。作为 gateway reading,它展示了如何通过更高阶光滑性假设获得更优的采样复杂度,对您了解当前 MCMC 理论前沿有一定价值。您现有的 very_familiar 工具(如非参数统计、高维渐近)足以理解其理论框架,但若要深入跟进,可能需要补充随机微分方程数值分析的知识。总体而言,值得一读但非高优先级。

19. jmlr:v27/25-0957 · arXiv — A Provably Convergent Plug-and-Play Framework for Stochastic Bilevel Optimization

  • 作者: Tianshu Chu, Dachuan Xu, Wei Yao, Chengming Yu, Jin Zhang
  • 期刊/来源: JMLR
  • 机构: Beijing University of Technology · Southern University of Science and Technology · Beijing University of Posts and Telecommunications
  • 分类: JMLR v27
  • 相关性 4/10 · novelty: new_method
  • 摘要: 本文提出一个即插即用的随机双层优化框架 PnPBO,统一了多种现代随机估计器(如 PAGE、ZeroSARAH 及混合策略)在单循环双层优化算法中的使用。框架允许对上下层变量独立选择不同的随机估计器,并对上层变量的无偏估计器引入移动平均技术以提升稳定性。理论分析给出了统一的收敛性和复杂度保证,证明在有限和设定下,采用不同估计器的 PnPBO 能达到最优样本复杂度,与单层优化的最优复杂度相匹配,解决了双层优化最优复杂度是否与单层相同这一开放问题。实验验证了框架在多个基准问题上的有效性。
  • 关键技术: stochastic bilevel optimization, plug-and-play framework, unbiased and biased stochastic estimators, moving average, sample complexity lower bound
  • 为什么对您有用: 本文属于统计计算方向,与您的 statistical computing 兴趣相关。虽然不直接涉及您的主要理论兴趣,但双层优化是许多统计估计(如超参数调优、隐变量模型)的核心计算工具。您可以用 very_familiar 的软件开发和算法实现能力快速复现其框架,并评估其在实际统计问题中的性能。

20. jmlr:v27/25-1399 · arXiv — Solving Nonlinear PDEs with Sparse Radial Basis Function Networks

  • 作者: Zihan Shao, Konstantin Pieper, Xiaochuan Tian
  • 期刊/来源: JMLR
  • 机构: Oak Ridge National Laboratory · University of California San Diego
  • 分类: JMLR v27
  • 相关性 4/10 · novelty: new_method
  • 摘要: 本文提出一种基于稀疏径向基函数(RBF)网络的非线性PDE求解框架,目标是在统一框架下结合传统RBF配点法、PINN和GP方法的优点。方法核心是使用稀疏促进正则化以避免过参数化、减少冗余特征,其理论基础是单隐层神经网络(可能无限宽)诱导的再生核Banach空间(RKBS)。作者证明了该稀疏优化问题在RKBS中存在有限维解(representer theorem),并建立了误差界,为经典数值分析提供了推广基础。算法采用三阶段流程:自适应特征选择、二阶优化、非活跃神经元剪枝,以保持计算效率。数值实验展示了方法有效性,并在某些情形下优于GP方法。对您而言,该工作将核方法、稀疏优化与PDE数值解结合,其RKBS理论框架和自适应算法设计对您的统计计算兴趣有参考价值。
  • 关键技术: radial basis function networks, sparsity-promoting regularization, reproducing kernel Banach spaces, representer theorem, adaptive feature selection, second-order optimization, pruning
  • 为什么对您有用: 本文属于统计计算方向,与您的 statistical computing 兴趣直接相关。它展示了如何将核方法(RKBS)与稀疏优化结合用于PDE求解,其理论(representer theorem、误差界)和算法(自适应特征选择、剪枝)设计值得借鉴。您可以用 very_familiar 的软件开发和数值方法经验快速理解其实现,并考虑将类似稀疏化策略应用于您熟悉的统计估计问题。中期可做:若想深入分析其算法收敛性,需在优化理论(如二阶方法)上稍作加强。

21. jmlr:v27/25-1999 — scikit-activeml: A Comprehensive and User-Friendly Active Learning Library

  • 作者: Marek Herde, Minh Tuan Pham, Daniel Kottke, Alexander Benz, Lukas Lührs, Pascal Mergard et al.
  • 期刊/来源: JMLR
  • 分类: JMLR v27
  • 相关性 4/10 · novelty: application
  • 摘要: 本文介绍 scikit-activeml,一个基于 scikit-learn 的开源 Python 主动学习库,覆盖池式和流式主动学习、分类与回归、单/多标注者等场景。库中实现了大量查询策略、模型和可视化工具,并设计了灵活的主动学习循环以适配不同学习场景。该库强调易用性和模块化,便于用户自定义查询策略和评估流程。作为软件工具论文,其方法学贡献在于系统整合和工程实现,而非新理论。对您而言,该库可作为统计计算和算法实验的现成工具,尤其适合在主动学习框架下测试因果推断或半参数估计的样本选择策略。
  • 关键技术: active learning, query strategies, pool-based sampling, stream-based sampling, scikit-learn API
  • 为什么对您有用: 本文属于统计计算/软件方向,与您 primary interest 中的 statistical computing 直接相关。作为软件库,它提供了丰富的主动学习算法实现,您可以用 very_familiar 的软件开发和统计计算技能快速上手,用于实验或教学。虽然不涉及新理论,但作为工具,中期可做的是将主动学习与您的因果推断或半参数估计结合,探索自适应采样策略,这需要 moderately_familiar 的 identification theory 支撑。总体而言,值得作为工具性阅读,但方法学 novelty 有限。

22. jmlr:v27/25-2560 — Gradient Estimation for Mixture Variational Inference

  • 作者: Javier Burroni, Daniel Sheldon
  • 期刊/来源: JMLR
  • 分类: JMLR v27
  • 相关性 4/10 · novelty: new_method
  • 摘要: 本文系统研究了混合变分推断(mixture variational inference)中离散成分选择带来的梯度估计问题。作者在统一记号下梳理了基于重参数化的估计器,给出了自包含的推导,并将若干方法推广到新设定。特别地,他们为单样本分层后估计器(post-stratified estimator)提供了初等推导(此前需借助输运方程),并证明了其相对简单随机抽样的方差缩减。此外,他们扩展了隐式重参数化(implicit reparameterization)的适用范围并降低了计算复杂度。实验表明,分层估计器在可行时稳健且常优于单样本方法,而隐式重参数化计算成本最高。本文为混合变分推断提供了实用的算法选择指南,对您而言,其方差缩减分析可联系到您在高阶U统计量中关于估计量效率的思考。
  • 关键技术: reparameterization gradient, post-stratified estimator, implicit reparameterization, variance reduction, mixture variational inference
  • 为什么对您有用: 本文属于统计计算方向,与您的 primary interest 中的 statistical computing 直接相关。您可以用 very_familiar 的软件开发和数值方法经验来复现其算法,并评估其计算复杂度;中期可做的是,利用您 moderately_familiar 的 M-estimation 理论分析其估计量的渐近性质。

23. jmlr:v27/26-0038 · arXiv — Symmetric Rank-k Methods

  • 作者: Chengchang Liu, Cheng chen, Luo Luo
  • 期刊/来源: JMLR
  • 机构: Chinese University of Hong Kong · Fudan University
  • 分类: JMLR v27
  • 相关性 4/10 · novelty: new_theory
  • 摘要: 本文提出一类新的块拟牛顿方法——对称秩-k(SR-k)方法,用于凸优化。每步迭代通过贪心或随机策略选取 k 个 Hessian-向量乘积来整合曲率信息。作者证明,对于光滑强凸函数的最小化,SR-k 方法具有局部超线性收敛率 O((1-k/d)^{t(t-1)/2}),其中 d 是维度,t 是迭代次数。这是块拟牛顿方法首个显式超线性收敛率,解释了实践中块方法为何比普通拟牛顿法更快。作者还将 SR-k 思想推广到块 BFGS 和块 DFP 方法,并展示了它们更优的收敛率。该结果对您可能有用,因为它提供了优化算法收敛率的精细刻画,与您对统计计算中数值方法的兴趣直接相关。
  • 关键技术: block quasi-Newton methods, symmetric rank-k updates, greedy and random Hessian-vector product selection, local superlinear convergence analysis
  • 为什么对您有用: 本文属于统计计算(数值优化算法)方向,直接对应您的 primary interest 中的 statistical computing。该结果给出了块拟牛顿方法的显式收敛率,可作为您熟悉的高维统计与优化交叉领域的参考。从问题发现角度看,您可以用 very_familiar 的软件开发和数值方法经验,快速复现或测试 SR-k 方法在统计估计问题(如 M-estimation)中的实际表现,属于立即可做的范畴。

24. jmlr:v27/26-0307 · arXiv — Bayesian Transfer Learning for Artificially Intelligent Geospatial Systems: A Predictive Stacking Approach

  • 作者: Luca Presicce, Sudipto Banerjee
  • 期刊/来源: JMLR
  • 机构: University of Milano-Bicocca · University of California, Los Angeles
  • 分类: JMLR v27
  • 相关性 4/10 · novelty: application
  • 摘要: 本文针对大规模空间数据的人工智能地理系统,提出了一种贝叶斯迁移学习框架,目标是在海量数据下实现快速、自动化的概率学习与不确定性量化。方法将大规模数据集分割成多个子集,通过流式处理传播学习信息,并采用预测堆叠(predictive stacking)来整合各子集的后验推断,适用于多变量空间数据。与传统的全数据贝叶斯空间模型相比,该方法在计算成本上大幅降低,同时模拟实验和植被指数大数据分析表明其推断结果与传统昂贵方法几乎不可区分。该工作属于统计计算与算法设计范畴,核心贡献在于将贝叶斯堆叠思想扩展到空间迁移学习场景,实现计算可行性与统计效率的平衡。对您而言,本文展示了如何用堆叠/集成策略处理大规模空间数据,可作为统计计算方向的一个应用案例,但方法学新颖性有限。
  • 关键技术: Bayesian predictive stacking, transfer learning, spatial data, massive data partitioning, streaming inference
  • 为什么对您有用: 本文属于统计计算方向,与您的 primary interest 中的 statistical computing 直接相关。您可以用 very_familiar 的软件开发和数值方法技能,快速复现其堆叠算法并评估其计算效率;但核心方法(贝叶斯堆叠)不在您的武器库中,属于 moderately_familiar 的贝叶斯计算范畴,因此中期可做,需先熟悉贝叶斯堆叠和空间模型的基础。

25. jmlr:v27/25-2146 · arXiv — Prob-GParareal: A Probabilistic Numerical Parallel-in-Time Solver for Differential Equations

  • 作者: Guglielmo Gattiglio, Lyudmila Grigoryeva, Massimiliano Tamborrino
  • 期刊/来源: JMLR
  • 机构: University of Warwick · University of St.Gallen
  • 分类: JMLR v27
  • 相关性 4/10 · novelty: new_method
  • 摘要: 本文提出 Prob-GParareal,一种用于常/偏微分方程并行时间积分(PinT)的概率数值求解器,在 GParareal 基础上引入高斯过程(GP)对 Parareal 校正函数建模,从而传播数值不确定性并给出系统演化的概率预测。方法支持概率初始条件,且与经典数值求解器兼容,易于嵌入现有 Parareal 框架。作者给出了计算复杂度的理论分析和误差界,并在五个基准 ODE 系统(含混沌、刚性、分岔问题)上验证了精度与鲁棒性。此外,通过用最近邻 GP 替换标准 GP 得到 Prob-nnGParareal 变体,在 PDE 算例上展示了更好的计算性能。该工作填补了 PinT 方法概率化发展的关键空白。对您而言,其概率数值框架与不确定性量化思路可迁移至统计计算中的复杂模拟问题,且 GP 校正函数的误差分析技术值得借鉴。
  • 关键技术: Gaussian processes, Parallel-in-Time (PinT) methods, probabilistic numerics, error bounds, nearest-neighbor Gaussian processes
  • 为什么对您有用: 本文属于统计计算方向,直接对应您的 primary interest 中的 statistical computing。其概率数值方法(用 GP 建模校正函数)与您熟悉的非参数/半参数工具(如核方法、GP)有交集,可作为统计计算中不确定性量化问题的参考。从问题发现角度看,您可用 very_familiar 的软件开发和数值方法经验快速复现其算法,并尝试将 GP 校正函数替换为其他非参数估计器(如 sieve 或 RKHS 方法),属于立即可做的探索;中期可考虑结合您 moderately_familiar 的 HOIF 理论分析其误差传播的更高阶影响。

26. jmlr:v27/24-1929 · arXiv — A Natural Primal-Dual Hybrid Gradient Method for Adversarial Neural Network Training on Solving Partial Differential Equation

  • 作者: Shu Liu, Stanley Osher, Wuchen Li
  • 期刊/来源: JMLR
  • 分类: JMLR v27
  • 相关性 3/10 · novelty: new_method
  • 摘要: 本文提出一种用于求解偏微分方程的可扩展预条件原始-对偶混合梯度算法。作者将 PDE 乘以对偶测试函数,转化为一个涉及低阶微分算子的 inf-sup 鞍点问题,并采用 PDHG 算法求解。通过引入合适的预条件算子到近端步骤,得到一种自然梯度上升-下降的优化方案来更新神经网络参数,并利用 Krylov 子空间方法(MINRES)高效计算自然梯度,避免了显式求逆。作者对一般线性 PDE 的时间连续版本建立了后验收敛性分析,并对散度形式的椭圆方程给出了改进的先验收敛结果。算法在 1 到 50 维的多种 PDE 上进行了测试,包括线性和非线性椭圆方程、反应扩散方程以及来自 L2 最优传输的 Monge-Ampere 方程,并与 PINNs、DeepRitz 和 WANs 等方法对比,数值结果表明所提方法更稳定、精度更高。
  • 关键技术: primal-dual hybrid gradient, natural gradient, preconditioning, Krylov subspace method (MINRES), neural network PDE solvers, a posteriori convergence analysis
  • 为什么对您有用: 本文属于统计计算方向,涉及优化算法与数值方法,与您的 primary interest 中的 statistical computing 直接相关。您可以用 very_familiar 的软件开发和数值方法经验,复现或扩展其算法,例如将预条件 PDHG 与您的 tensor-network 计算框架结合,探索在高维问题中的计算效率。

27. jmlr:v27/25-1452 · arXiv — The Within-Orbit Adaptive Leapfrog No-U-Turn Sampler

  • 作者: Nawaf Bou-Rabee, Bob Carpenter, Tore Selland Kleppe, Sifan Liu
  • 期刊/来源: JMLR
  • 机构: Rutgers, The State University of New Jersey · Rutgers Sexual and Reproductive Health and Rights · Department of Mathematical Sciences · Flatiron Health (United States) · University of Stavanger · Statistical and Applied Mathematical Sciences Institute · Duke University
  • 分类: JMLR v27
  • 相关性 3/10 · novelty: new_method
  • 摘要: 本文提出 WALNUTS,一种推广的 No-U-Turn Sampler,在 Hamiltonian Monte Carlo 的轨道演化过程中,按固定模拟时间间隔局部自适应地调整 leapfrog 步长,以应对多尺度后验分布(如 Neal's funnel 和随机波动率模型)中极端尺度变化带来的采样困难。算法在每个间隔内从二adic 步长调度中选择使能量误差低于用户指定阈值的最大的步长,同时保留 NUTS 的 biased progressive state selection 机制以偏好远离初始点的状态。经验评估表明,WALNUTS 在采样效率和鲁棒性上显著优于标准 NUTS。该工作解决了自 Hoffman 和 Gelman (2014) 以来 NUTS 中局部自适应步长这一长期未解决的问题,为 MCMC 的局部自适应提供了新思路。对您而言,其自适应策略和能量误差控制思想可能对您在高维统计计算中的算法设计有启发。
  • 关键技术: Hamiltonian Monte Carlo, No-U-Turn Sampler, adaptive leapfrog step size, energy error control, dyadic schedule, biased progressive state selection
  • 为什么对您有用: 本文属于统计计算方向,与您的 primary interest 中的 statistical computing 直接相关。您熟悉的软件开发和数值方法背景可用于复现或扩展其算法;其局部自适应步长策略可能对您在高维或复杂几何目标分布上的计算问题有借鉴意义。作为方法学论文,其 novelty 在于解决了 NUTS 中步长局部自适应的开放问题,值得关注。

28. jmlr:v27/25-1616 · arXiv — Accelerating Constrained Sampling: A Large Deviations Approach

  • 作者: Yingli Wang, Changwei Tu, Xiaoyu Wang, Lingjiong Zhu
  • 期刊/来源: JMLR
  • 分类: JMLR v27
  • 相关性 3/10 · novelty: new_method
  • 摘要: 本文研究约束域上的目标分布采样问题,聚焦于 skew-reflected non-reversible Langevin dynamics (SRNLD) 的长时间行为。作者在 skew-symmetric 矩阵与边界外法向量的乘积为零的特定选择下,建立了 SRNLD 经验测度的大偏差原理 (LDP),并显式刻画了速率函数。理论结果表明,该选择相比反射 Langevin 动力学 (RLD) 能加速收敛到目标分布并降低渐近方差。数值实验验证了基于该 skew-symmetric 矩阵的 SRNLMC 算法的优越性能。该工作为设计非可逆 Langevin 算法中的加速矩阵提供了理论指导,属于计算统计与随机算法的交叉方向。
  • 关键技术: large deviation principle, skew-reflected non-reversible Langevin dynamics, rate function characterization, asymptotic variance reduction, constrained sampling
  • 为什么对您有用: 该论文属于统计计算方向,与您的 primary interest 中的 statistical computing 直接相关。您可以用 very_familiar 的软件开发和数值方法技能,复现其数值实验或将其算法应用于您熟悉的因果推断中的后验采样问题。中期可做:若想深入理解 LDP 证明,需在 moderately_familiar 的 M-estimation 理论上加强。

29. jmlr:v27/25-2047 · arXiv — Approximation-Free Differentiable Oblique Decision Trees

  • 作者: Subrat Prasad Panda, Blaise Genest, Arvind Easwaran
  • 期刊/来源: JMLR
  • 机构: Nanyang Technological University · Centre National de la Recherche Scientifique · Image and Pervasive Access Laboratory · CREATe Centre · CNRS@CREATE Ltd (Singapore)
  • 分类: JMLR v27
  • 相关性 3/10 · novelty: new_method
  • 摘要: 本文提出 DTSemNet,一种将硬性斜决策树(oblique decision tree)表示为语义等价且可逆的神经网络的新方法,从而无需近似即可用标准梯度下降端到端训练。现有可微决策树方法要么通过概率软化边界(soft DTs),要么使用直通估计器(STE)等量化梯度,都存在近似误差。DTSemNet 在分类任务中自然适配,但在回归中因内部节点与叶回归器的联合优化而困难;作者分析了 STE 的局限,并提出退火 Top-k 方法提供无近似的准确梯度信号。在分类和回归基准上,DTSemNet 训练的斜决策树优于最先进的可微决策树,并可作为强化学习中的程序化策略。对您而言,本文的可微决策树表示与梯度训练方法,可作为统计计算中优化与算法设计的一个有趣案例,尽管与您的主要研究方向关联较弱。
  • 关键技术: differentiable decision trees, straight-through estimator, annealed Top-k, semantic equivalence, neural network representation
  • 为什么对您有用: 本文属于统计计算(算法与优化)方向,与您的主要兴趣中的 statistical computing 有直接关联,但并非核心方法学进展。作为 gateway reading,它展示了如何将离散结构(决策树)转化为可微形式,对您理解可微编程与优化之间的计算权衡或有启发。您的武器库(如软件开发和数值方法)足以支撑理解本文,但若要深入其理论(如收敛性分析),可能需要补充优化理论。总体而言,本文值得一读,但优先级不高。

30. jmlr:v27/23-1095 · arXiv — torchgfn: A PyTorch GFlowNet Library

  • 作者: Joseph D. Viviano, Omar G. Younis, Sanghyeok Choi, Victor Schmidt, Yoshua Bengio, Salem Lahlou
  • 期刊/来源: JMLR
  • 机构: Mohamed bin Zayed University of Artificial Intelligence · University of Edinburgh
  • 分类: JMLR v27
  • 相关性 3/10 · novelty: application
  • 摘要: 本文介绍 torchgfn,一个基于 PyTorch 的生成流网络(GFlowNets)库,旨在为不同背景的研究者提供标准化基准和快速原型开发环境。其核心贡献是模块化、解耦的架构,将环境、神经网络模块和训练目标视为可互换组件,提供简单而强大的 API。库中复现并统一了多个已发表结果,支持新训练损失和策略的测试。对于统计研究者,该库可作为探索 GFlowNets 在组合采样和概率推断中应用的实用工具,但其方法论贡献有限,主要价值在于工程实现和易用性。
  • 关键技术: GFlowNets, modular architecture, PyTorch library, benchmarking, rapid prototyping
  • 为什么对您有用: 本文属于统计计算方向,与您对统计计算(数值方法、算法)的兴趣相关。作为软件库论文,它提供了实现 GFlowNets 的现成工具,但方法论新颖性较低。您可将其视为入门 GFlowNets 的实用资源,但无需深入理论。武器库中的软件开发和计算技能足以支撑您使用或扩展该库,但若想深入 GFlowNets 理论,则需补充相关概率图模型知识。

31. jmlr:v27/25-0034 · arXiv — A Neural Network Approach to Learning Solutions of a Class of Elliptic Variational Inequalities

  • 作者: Amal Alphonse, Michael Hintermüller, Alexander Kister, Chin Hang Lun, Clemens Sirotenko
  • 期刊/来源: JMLR
  • 分类: JMLR v27
  • 相关性 3/10 · novelty: new_method
  • 摘要: 本文针对一类椭圆变分不等式(障碍问题),提出一种基于神经网络的弱对抗求解方法。作者利用(广义)正则化间隙函数将障碍问题转化为一个 minmax 问题,从而得到一个适合学习的自然表述,且不要求椭圆算子对称。他们给出了离散化误差分析,分别估计了逼近误差和统计误差。将解和检验函数参数化为神经网络后,采用修正的梯度下降上升算法求解,并在多个算例中验证了方法的有效性。该方法特别能处理具有双活动(缺乏严格互补性)的障碍问题,而这类问题对传统数值方法构成困难。对您而言,本文展示了如何将变分不等式转化为可学习的 minmax 问题,其误差分解思路(逼近误差与统计误差)与您在非参数估计中的偏差-方差权衡有相通之处,可作为统计计算方向的一个有趣案例。
  • 关键技术: weak adversarial approach, regularized gap functions, minmax reformulation, neural network parametrization, gradient descent ascent, error analysis
  • 为什么对您有用: 本文属于统计计算方向,与您对数值方法和算法的兴趣相关。其将变分问题转化为 minmax 并分析误差的思路,可借鉴到您熟悉的非参数估计或因果推断中的优化问题。从武器库看,您具备非参数统计和软件开发的技能,可尝试复现或扩展其算法,属于立即可做的范畴。

32. jmlr:v27/25-1621 · arXiv — On the Effectiveness of the z-Transform Method in Quadratic Optimization

  • 作者: Francis Bach
  • 期刊/来源: JMLR
  • 机构: SIERRA: Apprentissage Statistique et optimisation
  • 分类: JMLR v27
  • 相关性 3/10 · novelty: new_method
  • 摘要: 本文系统展示了 z-变换(生成函数)方法在二次优化问题分析中的威力,研究对象从最简单的梯度下降迭代出发,逐步扩展到 Nesterov 加速、平均化技巧和随机梯度下降。作者在无限维 Hilbert 空间中刻画了收敛行为,并引入谱维数(spectral dimension)这一概念来统一描述不同算法的渐近收敛速率。方法的核心在于将迭代序列的递推关系转化为生成函数的代数运算,再利用 Taylor 展开提取渐近信息,从而避免了传统谱分析中繁琐的特征值分解。文中结果按难度递进,既包含经典结论的新证明,也包含新的渐近结果,展示了 z-变换作为分析工具的多功能性和有效性。对您而言,该文提供了一种分析迭代算法收敛性的替代视角,尤其适合处理高维或无限维问题中的谱结构,可补充您在高维统计和统计计算方面的工具箱。
  • 关键技术: z-transform, generating functions, spectral dimension, gradient descent, Nesterov acceleration, stochastic gradient descent
  • 为什么对您有用: 本文属于统计计算方向,与您的 primary interest 中的 statistical computing 直接相关。您可以用 very_familiar 的软件开发和数值方法经验,快速实现文中算法并验证其渐近结果;同时,谱维数的概念可能对您在高维统计中的谱分析有启发。本文是入门级读物,适合作为进入优化算法渐近分析领域的起点,值得花时间读全文。

33. jmlr:v27/25-2467 · arXiv — torchsom: The Reference PyTorch Library for Self-Organizing Maps

  • 作者: Louis Berthier, Ahmed Shokry, Maxime Moreaud, Guillaume Ramelet, Eric Moulines
  • 期刊/来源: JMLR
  • 机构: École Polytechnique · Michelin (France) · Centre de Mathématiques Appliquées de l'École polytechnique
  • 分类: JMLR v27
  • 相关性 3/10 · novelty: application
  • 摘要: 本文介绍 torchsom,一个基于 PyTorch 的开源自组织映射(SOM)库,提供降维、聚类和数据可视化功能。该库利用 PyTorch 后端实现 GPU 加速训练,并与 PyTorch 生态无缝集成,同时遵循 scikit-learn API 以提升易用性和可扩展性。SOM 是一种无监督神经网络,通过竞争学习将高维数据映射到低维网格,保持拓扑结构。torchsom 作为参考实现,提供了标准化的 SOM 训练流程,包括初始化、邻域函数和更新规则。库以 Apache 2.0 许可发布,测试覆盖率达 90%,代码和文档公开。对您而言,该库可作为统计计算中降维和聚类任务的便捷工具,尤其适合需要 GPU 加速的大规模数据场景,但方法本身并非新颖理论贡献。
  • 关键技术: Self-Organizing Maps, GPU acceleration, scikit-learn API, dimensionality reduction, clustering
  • 为什么对您有用: 本文属于统计计算方向,直接对应您的 primary interest 中的 statistical computing。作为软件库介绍,它提供了可复用的 SOM 实现,您可以用 very_familiar 的软件开发和 Python 技能快速上手,用于探索性数据分析或作为降维基线方法。不过,其方法学 novelty 较低,主要是工程实现,因此 novelty_flag 为 application。

34. jmlr:v27/25-1030 · arXiv — Convergence of Decentralized Stochastic Subgradient-based Methods for Nonsmooth Nonconvex Optimization

  • 作者: Siyuan Zhang, Nachuan Xiao, Xin Liu
  • 期刊/来源: JMLR
  • 分类: JMLR v27
  • 相关性 2/10 · novelty: new_theory
  • 摘要: 本文研究去中心化随机次梯度方法在非光滑非凸优化(尤其是不满足 Clarke 正则性的非光滑神经网络训练)中的收敛性。作者提出一个统一框架,涵盖 DSGD、带梯度跟踪的 DSGD-T 和带动量的 DSGD-M 等方法。为建立收敛性,他们将离散迭代与连续时间微分包含的轨迹联系起来,假设存在一个具有稳定集 A 的强制 Lyapunov 函数。在足够小且递减的步长下,证明了迭代渐近收敛到稳定集 A,这为这些方法在目标函数不满足 Clarke 正则性时提供了首批收敛保证。初步数值实验表明,该框架在非光滑神经网络训练中能产生高效且具有收敛保证的去中心化随机次梯度方法。对您而言,本文的连续化分析技巧和 Lyapunov 论证可能对您在高维统计或因果推断中处理非光滑目标(如分位数回归或某些正则化估计)的算法收敛性分析有借鉴意义。
  • 关键技术: differential inclusion, Lyapunov function, decentralized stochastic subgradient descent, gradient tracking, momentum, nonsmooth nonconvex optimization
  • 为什么对您有用: 本文属于统计计算方向,与您的 primary interest 中的 statistical computing 直接相关。您可以用 very_familiar 的软件开发和数值方法经验,将本文的收敛性分析框架应用于您熟悉的非光滑估计问题(如高维正则化方法)的算法设计。中期可做:需在 moderately_familiar 的 M-estimation 理论上进一步熟悉,以将连续化分析推广到更一般的统计 M-估计器。

35. jmlr:v27/25-2553 · arXiv — MarkDiffusion: An Open-Source Toolkit for Generative Watermarking of Latent Diffusion Models

  • 作者: Leyi Pan, Sheng Guan, Zheyu Fu, Luyang Si, Huan Wang, Zian Wang et al.
  • 期刊/来源: JMLR
  • 分类: JMLR v27
  • 相关性 2/10 · novelty: application
  • 摘要: 本文介绍 MarkDiffusion,一个用于潜在扩散模型生成式水印的开源 Python 工具包。工具包包含三个核心组件:统一实现框架以简化水印算法集成并提供友好接口;机制可视化套件以直观展示水印嵌入与提取模式;以及综合评估模块,提供 24 个工具的标准实现和 8 条自动化评估流水线,用于评估可检测性、鲁棒性和输出质量。该工具包旨在帮助研究人员、提升公众对生成式水印的认识和参与、促进共识并推动研究与应用。代码已在 GitHub 上开源。对您而言,这是一个统计计算方向的软件工程贡献,其评估模块的设计思路(标准化基准与自动化流水线)可借鉴于您自己的方法评估实践。
  • 关键技术: generative watermarking, latent diffusion models, unified implementation framework, automated evaluation pipelines, robustness assessment
  • 为什么对您有用: 本文属于统计计算方向的软件工具贡献,与您的 statistical computing 兴趣直接相关。作为工具包,其评估模块的标准化设计可为您在开发自己的统计方法时提供参考,但方法学新颖性有限。武器库中的软件开发和 minimax 评估经验足以理解其评估逻辑,但本文不涉及新理论,属于应用/工具类,可快速浏览。

其他 (other, 65 篇)

1. jmlr:v27/23-1162 — Nonparametric generative modeling for time series via Schrödinger bridge

  • 作者: Mohamed Hamdouche, Pierre Henry-Labordère, Huyên Pham
  • 期刊/来源: JMLR
  • 分类: JMLR v27
  • 相关性 6/10 · novelty: new_method
  • 摘要: 本文提出一种基于 Schrödinger bridge (SB) 的时间序列生成模型,通过最优传输的熵插值,在路径空间上将参考概率测度与目标联合数据分布连接。解由有限时域上带路径依赖漂移项的随机微分方程刻画,从而保持时间序列的时序动态。作者用非参数核回归从数据中估计漂移函数,并模拟 SB 扩散生成新的合成样本。数值实验涵盖自回归模型、GARCH 模型和分数布朗运动,用边际分布、时序依赖指标和预测分数评估生成质量。最后将生成样本用于真实数据集上的深度对冲应用。
  • 关键技术: Schrödinger bridge, entropic optimal transport, stochastic differential equations, kernel regression, generative modeling
  • 为什么对您有用: 本文属于统计计算与生成建模方向,与您的主要兴趣(统计计算、非参数方法)有部分交集,但并非因果推断或高维统计的核心。作为入门读物,它清晰展示了 SB 在时间序列生成中的建模与计算流程,但需要随机分析和最优传输背景。您的武器库(非参数回归、数值方法)足以理解核心估计步骤,但 SB 的熵插值和 SDE 模拟并非您熟悉的工具,属于中期可探索的方向。

2. jmlr:v27/24-0771 · arXiv — Nonparametric Partial Disentanglement via Mechanism Sparsity: Sparse Actions, Interventions and Sparse Temporal Dependencies

  • 作者: Sébastien Lachapelle, Pau Rodríguez López, Yash Sharma, Katie Everett, Rémi Le Priol, Alexandre Lacoste et al.
  • 期刊/来源: JMLR
  • 机构: ServiceNow (United States) · Tübingen AI Center · University of Tübingen · Canadian Institute for Advanced Research · Mila - Quebec Artificial Intelligence Institute · Université de Montréal
  • 分类: JMLR v27
  • 相关性 6/10 · novelty: new_theory
  • 摘要: 本文提出一种新的解耦原则——机制稀疏正则化,适用于潜在因子对观测辅助变量或过去潜在因子的依赖是稀疏的情形。方法同时学习潜在因子及其稀疏因果图模型,通过正则化因果图的稀疏性来实现解耦。在无瞬时因果效应等假设下,建立了非参数可识别性理论,证明潜在因子可恢复至一种新的等价关系——一致性,允许部分因子保持纠缠(部分解耦)。引入纠缠图和保图函数来描述纠缠结构,并给出保证完全解耦(置换和逐元素变换意义下可识别)的图准则。通过多个实例展示机制稀疏原则的适用范围,包括利用未知目标的多节点干预来解耦潜在因子,并与指数族假设建立联系。估计过程基于变分自编码器和稀疏约束,在合成数据上验证了方法。
  • 关键技术: mechanism sparsity regularization, nonparametric identifiability, causal graphical models, variational autoencoders, sparse causal graph learning
  • 为什么对您有用: 本文属于因果表示学习领域,与您的因果推断兴趣中的识别理论有概念联系,但并非您主攻的统计推断方向。作为gateway reading,本文对非参数可识别性的处理方式(等价关系、图准则)可能对您思考因果识别问题有启发,但方法学上(VAE、深度学习)与您的技术武器库(非参数统计、U统计量)距离较远。可读性中等,若想了解因果表示学习的前沿可读,但非必需。

3. jmlr:v27/24-1191 · arXiv — Multi-relational Network Autoregression Model with Latent Group Structures

  • 作者: Yimeng Ren, Xuening Zhu, Ganggang Xu, Yanyuan Ma
  • 期刊/来源: JMLR
  • 机构: Fudan University · University of Miami · Pennsylvania State University
  • 分类: JMLR v27
  • 相关性 6/10 · novelty: new_method
  • 摘要: 本文提出分组张量网络自回归(GTNAR)模型,用于刻画多关系网络对张量值时间序列的影响,并同时处理网络效应的异质性和时间序列的高维性。模型假设每个网络内部实体具有潜在分组结构,同组实体共享参数,不同网络的参数不同。作者开发了迭代算法联合估计模型参数和潜在分组归属,并在分组数正确或过设定的情况下证明了分组参数和成员资格的一致性。此外,提出了信息准则以一致地选择每个网络的分组数。最后在Yelp数据集上展示了方法的实用性。
  • 关键技术: network autoregression, tensor-valued time series, latent group structure, iterative estimation, information criterion
  • 为什么对您有用: 本文涉及高维时间序列和张量数据,与您的高维统计和统计计算兴趣有一定关联,但核心是网络自回归和分组结构,而非您主要关注的因果推断或半参数理论。作为方法学论文,其迭代算法和分组一致性理论可能对您的统计计算兴趣有参考价值,但整体相关性中等。

4. jmlr:v27/25-1651 · arXiv — Gradient Span Algorithms Make Predictable Progress in High Dimension

  • 作者: Felix Benning, Leif Döring
  • 期刊/来源: JMLR
  • 机构: University of Mannheim
  • 分类: JMLR v27
  • 相关性 6/10 · novelty: new_theory
  • 摘要: 本文研究高维随机函数上梯度类优化算法的渐近确定性行为。作者证明,在维度趋于无穷时,所有'梯度跨度算法'(如梯度下降及其变体)在缩放的高斯随机函数上的优化轨迹几乎必然收敛到确定性极限。这是对随机二次函数和自旋玻璃相关结果的泛化,解释了大规模机器学习模型中不同随机初始化训练却得到近似相同损失曲线的反直觉现象。该结果也为AutoML社区'单次运行即可代表整体性能'的经验做法提供了理论依据。证明方法可能涉及随机矩阵理论和高斯过程的泛函极限,但具体技术细节在摘要中未展开。
  • 关键技术: gradient span algorithms, Gaussian random functions, high-dimensional asymptotics, deterministic limit, spin glass models
  • 为什么对您有用: 本文属于高维随机优化与随机矩阵理论的交叉,与您的高维统计和随机矩阵理论兴趣相关,但更偏向优化与概率极限,而非统计推断。作为gateway阅读,它可能帮助您了解高维随机函数上的优化行为,但方法上(如低度多项式、SoS)与您的统计-计算权衡兴趣关联较弱。武器库中的高维渐近工具可能有助于理解其证明,但核心问题并非您的主攻方向,建议作为拓展阅读,暂不深入。

5. jmlr:v27/22-0527 · arXiv — The Role of Pseudo-Labels in Self-Training Linear Classifiers on High-Dimensional Gaussian Mixture Data

  • 作者: Takashi Takahashi
  • 期刊/来源: JMLR
  • 机构: The University of Tokyo
  • 分类: JMLR v27
  • 相关性 6/10 · novelty: application
  • 摘要: 本文在二元高斯混合模型下,对线性分类器的迭代自训练(self-training)进行精确的渐近分析,其中输入维度和样本量同阶发散。目标是刻画自训练如何通过伪标签提升泛化性能,并解释其机制。作者推导了迭代自训练在岭正则化凸损失下的锐利刻画,发现少迭代时通过拟合较可靠的伪标签并大步更新参数来提升性能;多迭代时则通过软标签和小正则化逐步更新分类平面方向,以近乎无噪声的方式提取数据信息。然而在标签不平衡时,自训练性能劣于有监督学习,为此提出两种启发式方法使其接近有监督性能。该分析使用了随机矩阵理论中的工具,与您在高维统计和随机矩阵理论方面的兴趣直接相关,但其核心问题是半监督学习而非因果推断或假设检验。
  • 关键技术: random matrix theory, Gaussian mixture model, asymptotic analysis, ridge regularization, self-training
  • 为什么对您有用: 本文属于高维统计与随机矩阵理论的应用,与您 primary interest 中的 high-dimensional statistics (Random matrix theory) 直接相关。您可以用 very_familiar 的随机矩阵工具(如 Marchenko-Pastur 律)验证其渐近结果,或将其分析框架迁移到其他高维估计问题。但本文不涉及因果推断或假设检验,且属于方法分析而非新理论,因此 novelty 为 application。

6. jmlr:v27/25-0217 · arXiv — Pairwise Comparisons without Stochastic Transitivity: Model, Theory and Applications

  • 作者: Sze Ming Lee, Yunxiao Chen
  • 期刊/来源: JMLR
  • 机构: London School of Economics and Political Science
  • 分类: JMLR v27
  • 相关性 6/10 · novelty: new_method
  • 摘要: 本文提出一类不依赖随机传递性假设的成对比较统计模型,扩展了 Bradley-Terry 和 Thurstone 模型。模型假设成对比较概率由(近似)低秩的反对称矩阵决定,从而允许存在非全局排名的复杂比较结构。作者开发了基于似然的估计方法和计算算法,适用于只有少量配对被观测的稀疏数据。理论分析表明所提估计量达到 minimax 最优率,并能自适应数据的稀疏程度。反对称矩阵的谱理论在实现和理论分析中起关键作用。模拟和真实数据分析验证了该方法相对于 BT 模型的优越性及其广泛适用性。
  • 关键技术: skew-symmetric matrix, low-rank approximation, minimax optimality, spectral theory, likelihood-based estimation
  • 为什么对您有用: 本文属于成对比较与低秩矩阵估计的交叉领域,与您的高维统计和 minimax 理论兴趣相关,但并非您的主要研究方向。其低秩反对称矩阵模型和谱方法可能对您在高维统计中的矩阵估计问题有参考价值,但作为 gateway reading 的入门性一般,且与您的技术武器库(如 U-统计量、因果推断)直接关联较弱。

7. jmlr:v27/25-1522 · arXiv — Breaking the Curse of Dimensionality: Diffusion Models Efficiently Learn Low-Dimensional Distributions

  • 作者: Peng Wang, Huijie Zhang, Zekai Zhang, Siyi Chen, Yi Ma, Qing Qu
  • 期刊/来源: JMLR
  • 分类: JMLR v27
  • 相关性 6/10 · novelty: new_theory
  • 摘要: 本文研究扩散模型在有限样本下学习低维数据分布的理论性质,目标是在不遭受维度灾难的前提下估计混合低秩高斯分布。作者证明,在合适的网络参数化下,扩散模型的训练目标等价于经典的子空间聚类问题,其中每个子空间基对应一个高斯分量的低秩协方差。基于此等价性,他们推导出样本复杂度随数据内在维度线性增长,而非随环境维度指数增长。理论结果在合成和真实图像数据上得到验证,并观察到泛化中的相变现象。此外,学习到的子空间基与图像的语义属性对应,为可控图像生成提供了理论基础。对您而言,该文的样本复杂度分析框架与您熟悉的高维统计和极小极大界技术有潜在联系,但其核心设定(生成模型)与您的主要研究方向距离较远。
  • 关键技术: diffusion models, mixture of low-rank Gaussians, subspace clustering, sample complexity analysis, phase transition
  • 为什么对您有用: 本文属于生成模型的理论分析,与您的主要兴趣(因果推断、高维统计、U统计量等)无直接重叠。但其中关于低维结构下样本复杂度的分析,可能对您在高维统计中处理低秩结构问题有启发。作为gateway reading,本文对非生成模型领域的统计学家而言,入门门槛较高,需要一定的深度学习背景。您的武器库(如极小极大界、高维渐近)足以理解其样本复杂度推导,但核心的扩散模型机制不在您的熟悉范围内,因此暂不可直接开展后续工作。

8. jmlr:v27/24-1338 · arXiv — Demographic Parity in Regression and Classification Within the Unawareness Framework

  • 作者: Vincent Divol, Solenne Gaucher
  • 期刊/来源: JMLR
  • 机构: ENSAE Paris · Centre Inria de Saclay · FAIRPLAY: IA coopérative : équité, vie privée, incitations
  • 分类: JMLR v27
  • 相关性 5/10 · novelty: new_theory
  • 摘要: 本文在 unawareness 框架(禁止 disparate treatment)下研究公平回归与公平分类的理论基础,目标是在 demographic parity 约束下最小化二次损失,刻画最优公平回归函数。结果表明该函数是带最优传输代价的 barycenter 问题的解,将公平回归与 Wasserstein barycenter 联系起来。文章进一步研究最优公平 cost-sensitive 分类与最优公平回归之间的关系,证明分类器决策集的嵌套性是二者等价的充要条件。在嵌套性假设下,最优分类器可由最优公平回归函数的阈值化得到;反之,最优公平回归函数可由一族 cost-sensitive 分类器刻画。该工作为公平机器学习提供了新的理论视角,但属于机器学习理论而非统计推断。
  • 关键技术: demographic parity, unawareness framework, optimal transport, Wasserstein barycenter, cost-sensitive classification
  • 为什么对您有用: 本文属于公平机器学习理论,与您的主要兴趣(因果推断、高维统计、半参数理论)无直接交集,但其中 optimal transport 与 barycenter 的数学工具可能对您的统计计算兴趣有启发。作为 gateway reading,本文数学清晰,但需要 optimal transport 背景,武器库中缺乏该工具,暂不可做。

9. jmlr:v27/24-1538 · arXiv — Almost Sure Convergence of Linear Temporal Difference Learning with Arbitrary Features

  • 作者: Jiuqi Wang, Shangtong Zhang
  • 期刊/来源: JMLR
  • 机构: University of Virginia
  • 分类: JMLR v27
  • 相关性 5/10 · novelty: new_theory
  • 摘要: 本文研究强化学习中线性时序差分(linear TD)预测算法的几乎必然收敛性。传统理论要求特征线性无关,但实际中常不满足;本文首次在无此假设下证明权重迭代几乎必然收敛到一个有界集合,且该集合内权重对应的值估计几乎处处相同,并建立了权重迭代的局部稳定性概念。分析不依赖特征相关性的特殊假设,也不修改算法本身,核心工具是对线性 TD 均值 ODE 的有界不变集的新刻画。该结果对理解非独立特征下随机逼近算法的行为有理论意义。
  • 关键技术: linear temporal difference learning, almost sure convergence, bounded invariant sets, mean ODE, stochastic approximation
  • 为什么对您有用: 本文属于随机逼近与强化学习理论,与您的主要兴趣(数学统计、假设检验)无直接交集,但其中对迭代算法收敛性的分析(如 ODE 方法)与您熟悉的 M-估计理论有方法论上的相似性。作为 gateway reading,本文对统计学家而言入门门槛中等,需要一定随机逼近背景;武器库中的 M-估计理论可帮助理解其收敛框架,但核心问题(强化学习预测)并非您当前研究重点,暂不值得深入展开。

10. jmlr:v27/25-0807 · arXiv — Nested Subspace Learning with Flags

  • 作者: Tom Szwagier, Xavier Pennec
  • 期刊/来源: JMLR
  • 机构: Université Côte d'Azur · EPIONE: E-Patient : Images, données & mOdèles pour la médeciNe numériquE
  • 分类: JMLR v27
  • 相关性 5/10 · novelty: new_method
  • 摘要: 本文提出一种在子空间学习方法中强制嵌套性的通用原则,即把 Grassmann 流形上的优化准则提升到 flag 流形(嵌套子空间空间)上,通过嵌套投影算子实现。该方法适用于多种经典机器学习方法,如 PCA、LDA 等,解决了不同维度 q 下估计子空间不一致的问题。作者展示了 flag trick 在多个方法上的有效性,并提供了易于实现的算法。理论部分涉及流形优化和几何统计,但未涉及因果推断或高维统计的深层理论。对您而言,该文与您的统计计算兴趣相关,但方法学贡献有限,主要是一个实用的几何优化技巧。
  • 关键技术: flag manifold, nested projectors, Grassmannian optimization, subspace learning, geometric statistics
  • 为什么对您有用: 本文属于统计计算与流形优化方向,与您的 statistical computing 兴趣有交集,但并非核心领域。作为 gateway reading,它展示了如何将几何结构融入优化问题,但武器库中的工具(如 U-statistics、RMT)难以直接用于攻其问题。立即可做的可能性低,因为核心是流形几何而非您熟悉的统计理论。

11. jmlr:v27/25-1941 · arXiv — Minimax Optimal Convergence of Gradient Descent in Logistic Regression via Large and Adaptive Stepsizes

  • 作者: Ruiqi Zhang, Jingfeng Wu, Licong Lin, Peter L. Bartlett
  • 期刊/来源: JMLR
  • 机构: University of California, Berkeley
  • 分类: JMLR v27
  • 相关性 5/10 · novelty: new_theory
  • 摘要: 本文研究线性可分数据上逻辑回归的梯度下降(GD)收敛性,采用随当前风险自适应缩放的大步长(步长 = η/风险)。作者证明在至多 O(1/γ²) 的 burn-in 步后,风险以 exp(-Θ(η)) 上界衰减,且 η 可任意大,因此 burn-in 后风险可任意小,但风险演化可能非单调。同时构造了 margin 为 γ 的困难数据集,证明任何批量或在线一阶方法都需要 Ω(1/γ²) 步才能找到线性分隔超平面,从而说明大步长自适应 GD 在样本量不受限时匹配最坏情况下的 1/γ² 依赖。经典 Perceptron 算法也达到 1/γ² 的步复杂度,与 GD 常数匹配。分析还推广到更广的损失函数和某些两层网络。对您而言,本文属于优化理论而非统计推断,与您的主要兴趣(因果推断、高维统计、U-统计量等)无直接交集,但其中关于自适应步长和风险非单调演化的分析可能对统计计算中的算法设计有启发。
  • 关键技术: adaptive stepsize, gradient descent, logistic regression, margin-based analysis, worst-case lower bound
  • 为什么对您有用: 本文属于优化理论,与您的主要兴趣(因果推断、高维统计、U-统计量等)无直接交集。作为 gateway reading,它并非面向统计学家,但如果您关注统计计算中的算法行为,本文的自适应步长分析可能提供新视角。武器库方面,您熟悉的非参数统计和极小极大理论足以理解其下界构造,但核心是优化收敛分析,不属于您当前工具集。因此,本文不值得花时间读全文,除非您对优化算法有额外兴趣。

12. jmlr:v27/25-2383 · arXiv — The Sample Complexity of Parameter-Free Stochastic Convex Optimization

  • 作者: Jared Lawrence, Ari Kalinsky, Hannah Bradfield, Yair Carmon, Oliver Hinder
  • 期刊/来源: JMLR
  • 机构: University of Pittsburgh · Tel Aviv University
  • 分类: JMLR v27
  • 相关性 5/10 · novelty: new_method
  • 摘要: 本文研究随机凸优化中问题参数(如到最优点的距离和 Lipschitz 常数)未知时的样本复杂度。作者提出两种策略:一是可靠模型选择方法,避免对验证集过拟合,可通用地调节随机优化方法的学习率,使其样本复杂度匹配已知参数情形的最优值(至多差 log log 因子);二是针对仅距离未知的正则化方法,通过范数正则化经验风险最小化估计距离至常数因子,实现完全自适应,并展示了参数自由随机凸优化中样本复杂度与计算复杂度的分离。两种方法结合可同时适应多个问题结构。实验在 CIFAR-10 上微调 CLIP 模型和用 Gemini 计数形状,表明可靠模型选择有助于缓解小验证集过拟合。
  • 关键技术: model selection, regularized empirical risk minimization, sample complexity, stochastic convex optimization, adaptivity
  • 为什么对您有用: 本文属于优化理论,与您的主要兴趣(因果推断、高维统计、U-统计量等)无直接交集,但其中模型选择避免过拟合的思想与统计推断中的交叉验证/样本分裂有相通之处,可作为方法学参考。

13. jmlr:v27/24-0571 · arXiv — Singular-limit analysis of gradient descent with noise injection

  • 作者: Anna Shalova, André Schlichting, Mark Peletier
  • 期刊/来源: JMLR
  • 分类: JMLR v27
  • 相关性 5/10 · novelty: new_theory
  • 摘要: 本文研究过参数化回归中带噪声梯度下降的极限动力学,目标是在小学习率极限下刻画算法沿零损失集的缓慢演化。作者针对一大类噪声梯度下降系统,证明了其极限过程的形式以及演化时间尺度均依赖于噪声结构。具体地,对 Dropout、标签噪声和经典 SGD(小批量噪声)三种噪声,他们发现演化发生在两个不同的时间尺度上,而经典 SGD 在两个尺度上均退化为平凡演化,说明需要额外噪声才能实现正则化效果。理论结果适用于任何具有非平凡零损失集的损失函数,不限于神经网络。
  • 关键技术: singular perturbation, slow manifold, homogenization, stochastic differential equations, overparameterized regime
  • 为什么对您有用: 本文属于统计计算与算法动力学方向,与您对统计计算(numerical methods, algorithm)的兴趣相关,但并非您核心的因果推断或高维统计方向。作为 gateway reading,它提供了从动力系统视角理解 SGD 正则化效应的清晰框架,但需要一定的随机微分方程背景。您的武器库(如非参数统计、U-统计量)不足以直接切入其核心证明,但可帮助理解其结论对算法设计的启示。

14. jmlr:v27/25-0955 · arXiv — Particle Filter for Bayesian Inference on Privatized Data

  • 作者: Yu-Wei Chen, Pranav Sanghi, Jordan Awan
  • 期刊/来源: JMLR
  • 机构: Purdue University West Lafayette · University of Pittsburgh
  • 分类: JMLR v27
  • 相关性 5/10 · novelty: new_method
  • 摘要: 本文研究差分隐私(DP)下贝叶斯推断的后验采样问题,目标是在仅能访问加噪统计量的情况下,从私有后验分布中进行有效推断。现有方法(如基于MCMC的私有化后验采样)常受限于混合不良、假设过强或接受率低。作者提出一种新的粒子滤波算法,通过序贯重要性采样与重采样步骤,在无需严格模型假设的条件下逼近私有后验。该算法在温和正则条件下给出相合估计,并提供蒙特卡洛误差估计与渐近置信区间,同时保持计算效率。模拟实验与2021年加拿大人口普查数据的应用展示了其适应性和有效性。对您而言,该文涉及贝叶斯计算与隐私保护统计的交叉,虽非您核心兴趣,但其粒子滤波与渐近理论框架可作为统计计算方向的参考。
  • 关键技术: particle filter, differential privacy, Bayesian inference, sequential Monte Carlo, asymptotic normality
  • 为什么对您有用: 本文属于统计计算与隐私保护统计的交叉领域,与您的统计计算兴趣有部分重叠,但并非核心方向。作为入门读物,其粒子滤波算法和渐近理论对熟悉MCMC的统计学家较为友好,但隐私机制与贝叶斯推断的结合可能需要额外背景。武器库中的非参数统计和M估计理论可帮助理解其相合性与渐近性质,但若要深入DP机制的设计,可能需要补充隐私保护的专业知识。总体而言,值得快速浏览以了解DP下贝叶斯推断的现状,但不必精读。

15. jmlr:v27/25-1196 · arXiv — From learnable objects to learnable random objects

  • 作者: Aaron Anderson, Michael Benedikt
  • 期刊/来源: JMLR
  • 分类: JMLR v27
  • 相关性 5/10 · novelty: new_theory
  • 摘要: 本文研究从基础函数类的可学习性到其统计泛化类(如对分布取期望得到的函数类)的可学习性之间的传递关系。作者在 PAC 学习和在线学习两种框架下,分别考察了不可知学习与可实现学习的情形。对于不可知学习,他们给出了以基础类的组合维度表达的改进样本复杂度上界;对于可实现学习,则在 PAC 和在线两种设置下都构造了反例,表明可学习性并不总是传递。文中还引入了模型论中“随机化结构”的技术来建立联系。整体上这是一篇理论机器学习论文,核心工具是组合维度和模型论,而非统计推断或高维渐近理论。
  • 关键技术: PAC learning, online learning, agnostic learning, sample complexity, combinatorial dimensions, model-theoretic randomization
  • 为什么对您有用: 本文属于理论机器学习,与您的主要兴趣(因果推断、高维统计、U-统计量等)无直接交集,也不属于 gateway reading 范畴(非天文/经济/流行病学/计算复杂度)。武器库中的工具(如 minimax 界、经验过程)与本文的 PAC/在线学习框架差异较大,暂不可做。

16. jmlr:v27/25-2240 · arXiv — Unveiling the Statistical Foundations of Chain-of-Thought Prompting Methods

  • 作者: Xinyang Hu, Fengzhuo Zhang, Siyu Chen, Zhuoran Yang
  • 期刊/来源: JMLR
  • 机构: Yale University · National University of Singapore
  • 分类: JMLR v27
  • 相关性 5/10 · novelty: new_theory
  • 摘要: 本文从统计视角分析链式思考(CoT)提示方法,提出一个多步潜变量模型来刻画推理过程,证明CoT提示诱导的估计量近似于从提示示例中推断后验分布的贝叶斯估计量。作者将CoT估计量的统计误差分解为提示误差和预训练误差两部分,并证明提示误差随提示示例数量指数衰减。对于预训练LLM,他们构造了一个显式逼近目标分布的Transformer模型类,并在Pac-Bayes框架下建立了泛化误差界。该工作为理解“预训练LLM+CoT提示”为何有效提供了理论依据,并分析了Transformer架构和中间推理步骤的作用。
  • 关键技术: Chain-of-Thought prompting, latent variable model, Bayesian estimation, Pac-Bayes generalization bound, transformer architecture
  • 为什么对您有用: 本文属于LLM推理的理论分析,与您的主要兴趣(因果推断、高维统计、U统计量等)无直接交集,但其中对多步推理的潜变量建模和误差分解思路,可能对您思考纵向或中介分析中的多阶段估计问题有启发。作为gateway reading,本文对统计学家较为友好,但方法学新颖性一般,属于应用理论分析。

17. jmlr:v27/23-1102 · arXiv — Do We Need to Penalize Variance of Losses for Learning with Label Noise?

  • 作者: Yexiong Lin, Yu Yao, Yuxuan Du, Jun Yu, Bo Han, Mingming Gong et al.
  • 期刊/来源: JMLR
  • 机构: Hunan University · The University of Sydney · University of Science and Technology of China · Hong Kong Baptist University · The University of Melbourne
  • 分类: JMLR v27
  • 相关性 4/10 · novelty: application
  • 摘要: 本文研究带噪声标签学习中的损失方差正则化问题。传统上,基于统计一致性设计的算法通过最小化噪声数据上的期望风险来逼近干净数据上的最优解;有限样本下,惩罚损失方差可减小平均损失与期望风险的偏差,从而降低参数估计误差。但作者发现,在标签噪声场景下,鼓励损失方差增大反而有益:它增强了模型对正确标签的记忆效应,并降低错误标签的危害。作者设计了简单正则项以鼓励大方差,可即插即用地集成到现有算法中。在合成和真实数据集上的实验表明,该方法能提升基线模型的泛化能力。
  • 关键技术: variance regularization, label noise learning, memorization effect, risk minimization
  • 为什么对您有用: 本文属于机器学习鲁棒性方向,与您的主要兴趣(因果推断、高维统计、U-统计量等)无直接交集,但其中关于损失方差与有限样本偏差的讨论,可能对您在统计计算或非参数估计中的方差-偏差权衡有所启发。作为一般科学阅读,本文方法简单、实验充分,但理论深度有限,不值得深入阅读。

18. jmlr:v27/23-1381 · arXiv — Probabilistic Rainfall Downscaling: Joint Generalized Neural Models with Censored Spatial Gaussian Copula

  • 作者: David Huk, Rilwan A. Adewoyin, Ritabrata Dutta
  • 期刊/来源: JMLR
  • 分类: JMLR v27
  • 相关性 4/10 · novelty: application
  • 摘要: 本文提出一种新的概率性降雨降尺度方法,旨在从粗尺度确定性天气变量生成细尺度、具有时空依赖的降雨条件分布。方法分两步:首先用联合广义神经模型(扩展广义线性模型与深度神经网络)对每个位置的边际分布参数进行联合建模;其次用带删失的潜在高斯 copula 学习空间依赖结构,其中距离矩阵通过高斯过程核转化为相关矩阵,参数少。为估计 copula 参数,作者提出一个基于评分规则(scoring rules)的通用估计框架,衡量分布间散度。在大型英国数据集上,该方法优于现有方法。对您而言,本文的评分规则估计框架和空间 copula 建模思路可能对您在高维统计或统计计算方面的兴趣有参考价值,但整体主题与您的主要研究方向关联较弱。
  • 关键技术: generalized neural models, censored latent Gaussian copula, scoring rules, Gaussian process kernel, spatial dependence modeling
  • 为什么对您有用: 本文属于应用统计方法,与您的主要兴趣(因果推断、高维统计、U-统计量等)无直接重叠。但其中的评分规则估计框架和空间 copula 建模可能对您的统计计算兴趣有启发。作为 gateway reading,本文对非气象领域的统计学家较为友好,数据与模型描述清晰,但方法学新颖性一般,不值得深入阅读。

19. jmlr:v27/24-0188 · arXiv — Bayes-Optimal Fair Classification with Linear Disparity Constraints via Pre-, In-, and Post-processing

  • 作者: Xianli Zeng, Kevin Jiang, Guang Cheng, Edgar Dobriban
  • 期刊/来源: JMLR
  • 机构: Xiamen University · Xiamen University of Technology · University of Pennsylvania · University of California, Los Angeles
  • 分类: JMLR v27
  • 相关性 4/10 · novelty: new_method
  • 摘要: 本文研究在给定群体公平约束下(如 demographic parity、equality of opportunity、predictive equality)的贝叶斯最优公平分类问题。作者引入线性差异度量(linear disparity measures)和双线性差异度量(bilinear disparity measures)的概念,并证明多种流行的公平度量属于双线性类。通过建立与 Neyman-Pearson 引理的联系,他们推导出在单一线性差异度量下的贝叶斯最优分类器的形式;对于双线性度量,则得到显式的分组阈值规则,并给出阈值的解析表达式。方法覆盖预处理(fair up/down-sampling)、处理中(fair cost-sensitive classification)和后处理(fair plug-in rule)三种主流公平分类途径,并扩展到多类保护属性和 equalized odds 情形。理论结果支撑了所提算法,实验表明在低差异水平下,其预处理方法在准确率上优于现有方法。对您而言,本文虽非您核心兴趣领域,但其将约束优化与 Neyman-Pearson 理论结合的分析思路,以及显式阈值规则的形式,可能对您在高维或半参数框架下处理带约束的估计问题有所启发。
  • 关键技术: Neyman-Pearson lemma, group-wise thresholding, linear disparity measures, pre/in/post-processing, fair classification
  • 为什么对您有用: 本文属于公平机器学习领域,与您的主要兴趣(因果推断、高维统计等)无直接重叠,但其中将约束优化问题转化为显式阈值规则的方法,可能对您在因果推断中处理带约束的估计问题(如敏感性分析中的最坏情况界)有借鉴意义。作为 gateway reading,本文对公平分类的三种处理框架有清晰阐述,适合作为了解该领域的入门读物。您的技术武器库(如非参数统计、M-估计)足以支撑理解其理论推导,但若想深入该领域,可能需要补充优化与博弈论相关知识。总体而言,本文值得一读,但优先级不高。

20. jmlr:v27/24-0808 · arXiv — Corruptions of Supervised Learning Problems: Typology and Mitigations

  • 作者: Laura Iacovissi, Nan Lu, Robert C. Williamson
  • 期刊/来源: JMLR
  • 机构: Tübingen AI Center · University of Tübingen
  • 分类: JMLR v27
  • 相关性 4/10 · novelty: survey
  • 摘要: 本文提出一个统一的监督学习数据污染(corruption)理论框架,将所有对监督学习问题的修改(包括模型类和损失的变化)纳入考虑,并聚焦于通过 Markov kernel 对底层概率分布的修改。作者构建了一个可证明穷尽的污染类型分类体系,统一了现有模型并建立了命名法。通过比较干净与污染场景下的 Bayes risk,系统分析了各类污染对学习任务的影响:标签污染只影响损失函数,而属性污染还影响假设类。基于此,作者将标签污染的损失校正方法推广到依赖型污染,并指出经典框架需推广到更弱假设的新范式,给出了属性与联合污染情形下的损失校正公式。对您而言,该工作虽非直接的方法论贡献,但其对数据污染的系统分类和风险分析视角,对您在高维统计和因果推断中处理测量误差或代理变量问题有参考价值。
  • 关键技术: Markov kernel corruption model, Bayes risk analysis, loss correction, hypothesis class modification, corruption typology
  • 为什么对您有用: 本文属于统计学习理论中关于数据污染的系统性综述与理论框架,与您的主要兴趣(如高维统计、因果推断中的测量误差)有间接关联。它提供了一个统一的视角来理解数据污染对学习问题的影响,可能启发您在因果推断中处理未观测混杂或测量误差时的建模思路。从武器库看,您熟悉的非参数统计和风险分析工具足以理解本文,但直接的方法迁移有限。作为 gateway reading,本文可读性较好,适合了解数据污染问题的全貌,但若时间有限,可先读摘要和结论。

21. jmlr:v27/24-0885 · arXiv — Vector-Valued Gaussian Processes for Approximating Divergence- or Rotation-free Vector Fields

  • 作者: Quoc Thong Le Gia, Ian Hugh Sloan, Holger Wendland
  • 期刊/来源: JMLR
  • 分类: JMLR v27
  • 相关性 4/10 · novelty: new_theory
  • 摘要: 本文研究用于逼近无散度或无旋度向量场的向量值高斯过程。作者建立了这类高斯过程的理论基础,并将其与多元逼近理论联系起来,最后在各种设定下给出了预测均值的误差估计。具体而言,他们利用矩阵值核函数来编码向量场的微分约束,并分析了在无噪声和有噪声情况下预测均值的收敛率。该工作为在物理和工程应用中利用高斯过程进行结构保持的向量场逼近提供了理论保证。
  • 关键技术: vector-valued Gaussian processes, matrix-valued kernels, divergence-free, rotation-free, error estimates
  • 为什么对您有用: 本文属于统计计算与核方法领域,与您的主要兴趣(统计计算)有间接关联,但并非直接推进您的主要研究方向。作为入门读物,它展示了如何将微分结构嵌入核函数,但武器库中的工具(如高阶U统计量)在此问题上的直接应用有限。因此,暂不可做,但可作为了解结构保持逼近方法的参考。

22. jmlr:v27/24-1429 · arXiv — Beyond Unconstrained Features: Neural Collapse for Shallow Neural Networks with General Data

  • 作者: Wanli Hong, Shuyang Ling
  • 期刊/来源: JMLR
  • 分类: JMLR v27
  • 相关性 4/10 · novelty: new_theory
  • 摘要: 本文研究浅层 ReLU 神经网络在训练终期出现的神经坍缩(NC)现象,即同类特征坍缩到样本均值且类均值呈单纯形等角紧框架(ETF)。与主流基于无约束特征模型(UFM)的分析不同,作者直接分析两层和三层 ReLU 网络的正则化经验风险最小化问题,刻画全局极小点何时呈现 NC 结构。对两层网络,NC 出现的充分条件依赖于数据维度、样本量和信噪比(SNR),而非网络宽度;对三层网络,只要第一层足够宽,NC 即出现。进一步,作者证明 NC 与泛化性能并非简单对应:即使 NC 发生,若数据 SNR 过低,泛化仍可能很差。结果显著扩展了 UFM 下的理论分析,揭示了网络架构和数据统计性质对 NC 的影响。
  • 关键技术: neural collapse, shallow ReLU networks, regularized empirical risk minimization, signal-to-noise ratio analysis, simplex equiangular tight frame
  • 为什么对您有用: 本文属于深度学习的理论分析,与您的主要兴趣(因果推断、高维统计、U-统计量等)无直接交集,但其中对数据 SNR 与泛化关系的刻画,以及网络宽度、深度对优化景观的影响,可能对您在高维统计中理解信噪比阈值与估计性能的关系有类比启发。作为非核心领域的论文,本文可作为了解神经网络理论前沿的入门读物,但无需深入精读。

23. jmlr:v27/24-1612 · arXiv — Best Arm Identification with Minimal Regret

  • 作者: Junwen Yang, Vincent Y. F. Tan, Tianyuan Jin
  • 期刊/来源: JMLR
  • 机构: National University of Singapore · Institute of Operations Research and Analytics
  • 分类: JMLR v27
  • 相关性 4/10 · novelty: new_method
  • 摘要: 本文提出“最小遗憾的最优臂识别”(BAI with minimal regret)问题,融合多臂老虎机中遗憾最小化与最优臂识别两个目标:在给定置信水平 δ 下识别最优臂,同时最小化到停止时刻的累计遗憾。在单参数指数族分布设定下,利用信息论技术建立期望累计遗憾的实例相关下界,并给出一个不可能性结果,揭示固定置信 BAI 中累计遗憾与样本复杂度之间的张力。作者设计并分析 Double KL-UCB 算法,该算法采用两个不同的置信界以随机方式引导臂选择,在置信水平趋于零时达到渐近最优。该结果阐明了遗憾最小化与 BAI 之间的内在联系。
  • 关键技术: multi-armed bandit, best arm identification, regret minimization, KL-UCB, information-theoretic lower bound, asymptotic optimality
  • 为什么对您有用: 本文属于多臂老虎机理论,与您的主要兴趣(因果推断、高维统计、U-统计量等)无直接重叠,但其中信息论下界与渐近最优性证明技术可能对您在高维假设检验或效率理论中的工作有启发。作为 gateway reading,本文对非老虎机专家较为友好,但需要一定概率论基础。武器库中的 minimax 界与经验过程工具可帮助理解其下界论证,但核心的 bandit 分析框架不在您的常用工具中,因此暂不可做直接跟进。

24. jmlr:v27/24-1748 · arXiv — On the Relevance of Byzantine Robust Optimization Against Data Poisoning

  • 作者: Sadegh Farhadkhani, Rachid Guerraoui, Nirupam Gupta, Rafael Pinot
  • 期刊/来源: JMLR
  • 机构: Idaho Commission for Libraries · Sorbonne Université
  • 分类: JMLR v27
  • 相关性 4/10 · novelty: new_theory
  • 摘要: 本文研究分布式机器学习中 Byzantine 鲁棒优化与数据投毒威胁模型之间的关系。作者证明,尽管 Byzantine 鲁棒性容忍更广泛的恶意行为(worker 任意偏离算法),但在仅本地数据集被投毒的较弱威胁模型下,Byzantine 鲁棒方案仍能取得最优解。进一步,作者考虑一个通用数据投毒模型:部分 worker 的本地数据完全可被污染,其余 worker 的本地数据仅部分可被污染,并证明 Byzantine 鲁棒方案对这两种投毒形式均最优,且当 worker 数据异构时,完全投毒危害更大。理论结果基于对鲁棒聚合规则(如 coordinate-wise median/trimmed mean)的 worst-case 误差分析,给出了精确的 minimax 型界。
  • 关键技术: Byzantine-robust aggregation, data poisoning threat model, minimax optimality, distributed SGD
  • 为什么对您有用: 本文属于分布式鲁棒优化,与您的主要兴趣(因果推断、高维统计等)无直接交集,但其中对 worst-case 误差的 minimax 分析思路与您熟悉的 minimax 理论有方法论上的呼应。作为 gateway reading,本文对统计计算与算法鲁棒性领域提供了清晰的威胁模型对比,但武器库(如经验过程、U-统计量)难以直接迁移,暂不可做后续研究。

25. jmlr:v27/24-1885 · arXiv — Towards Convexity in Anomaly Detection: A New Formulation of SSLM with Unique Optimal Solutions

  • 作者: Hongying Liu, Hao Wang, Haoran Chu, Yibo Wu
  • 期刊/来源: JMLR
  • 机构: Beihang University · ShanghaiTech University
  • 分类: JMLR v27
  • 相关性 4/10 · novelty: new_method
  • 摘要: 本文针对异常检测中广泛使用的 SVDD 和 SSLM 方法存在的非凸性问题,提出了一种新的凸 SSLM 公式,该公式在感兴趣的参数范围内可转化为凸二次规划问题。利用凸性,作者深入分析了超参数对最优解的影响,指出了可平凡求解最优解的情形以及不适定问题,并建立了与传统方法的联系,明确给出了最优解唯一性的判定条件——这是传统非凸方法无法实现的。此外,还推导了 ν-性质,用以阐明超参数与正负类中支持向量和间隔错误比例之间的关系。该方法在理论上为异常检测提供了更坚实的优化基础,但主要贡献在于优化与机器学习理论,而非统计推断或因果推断。
  • 关键技术: convex quadratic programming, support vector data description, small sphere and large margin SVM, nu-property, uniqueness of optimal solution
  • 为什么对您有用: 本文属于机器学习优化理论,与您的主要兴趣(因果推断、高维统计、半参数理论等)无直接交集,但其中对凸优化问题最优解唯一性的分析思路,可能对您在统计计算或算法设计方面有间接启发。作为 gateway reading,本文对非凸方法缺陷的清晰阐述和凸化处理值得了解,但武器库中的工具(如 U-统计量、半参数理论)并不直接适用于此问题,暂不建议深入阅读。

26. jmlr:v27/25-0634 · arXiv — Flavors of Margin: Implicit Bias of Steepest Descent in Homogeneous Neural Networks

  • 作者: Nikolaos Tsilivis, Eitan Gronich, Julia Kempe, Gal Vardi
  • 期刊/来源: JMLR
  • 机构: New York University · Weizmann Institute of Science
  • 分类: JMLR v27
  • 相关性 4/10 · novelty: minor
  • 摘要: 本文研究深度齐次神经网络中,一般族的最速下降算法(含无穷小学习率)的隐式偏置。作者证明:(a) 一旦网络达到完美训练精度,一个依赖于算法的几何间隔开始增大;(b) 训练轨迹的任何极限点都对应相应间隔最大化问题的 KKT 点。实验上,作者聚焦于不同最速下降算法优化的神经网络轨迹,并联系到流行自适应方法(Adam 和 Shampoo)的隐式偏置。该工作属于深度学习优化理论,与统计推断的经典框架(如 minimax、半参数效率)无直接交集,但其中关于算法轨迹极限点的刻画与优化理论中的收敛性分析有相通之处。对您而言,该文可作为理解自适应优化器隐式正则化的入门读物,但方法学上不直接迁移到您的核心统计问题。
  • 关键技术: steepest descent, implicit bias, homogeneous neural networks, KKT conditions, geometric margin
  • 为什么对您有用: 本文属于深度学习优化理论,与您的 primary interests(因果推断、高维统计、U-统计量等)无直接交集,但可作为 gateway reading 了解自适应优化器的隐式正则化行为。您的武器库(如非参数统计、minimax 理论)不足以直接攻入该方向,核心机器(如神经网络的切线核、优化轨迹分析)不在其中,因此暂不可做。若您对优化算法的统计性质感兴趣,可先阅读本文作为入门,但无需投入全文精读。

27. jmlr:v27/25-0693 · arXiv — A Unified Approach to Analysis and Design of Denoising Markov Models

  • 作者: Yinuo Ren, Grant M. Rotskoff, Lexing Ying
  • 期刊/来源: JMLR
  • 分类: JMLR v27
  • 相关性 4/10 · novelty: new_theory
  • 摘要: 本文旨在为去噪马尔可夫模型(denoising Markov models)建立统一的数学基础,这类生成模型通过前向过程将目标分布转化为简单分布,并构造反向过程实现高效采样。作者利用非平衡统计力学和广义 Doob h-变换,提出一组最小假设,保证反向生成器的显式构造、统一的变分目标以及经典分数匹配方法的推广。该框架统一了连续和离散扩散模型的现有表述,刻画了在正向生成器正则性假设下最一般的去噪马尔可夫模型形式,并为任意 Lévy 型过程驱动的模型设计提供了系统方法。作者通过几何布朗运动和跳跃过程作为前向动力学的实例,展示了框架的灵活性和实际效果。对您而言,本文属于生成模型理论,与您的主要兴趣(因果推断、高维统计等)无直接交集,但其中涉及的测度变换和变分方法可能对统计计算中的算法设计有启发。
  • 关键技术: Doob's h-transform, measure transport, score matching, Lévy processes, variational objective
  • 为什么对您有用: 本文属于生成模型理论,与您的主要兴趣(因果推断、高维统计等)无直接交集。但其中涉及的测度变换和变分方法可能对统计计算中的算法设计有启发。作为 gateway reading,本文对非平衡统计力学和生成模型的连接阐述清晰,但需要一定的物理背景,入门门槛中等。您的武器库(如变分推断、M-估计)足以支撑理解核心思想,但若深入 Lévy 过程或 Doob 变换的细节,可能需要补充随机分析知识。总体而言,本文值得一读以拓宽视野,但非优先阅读。

28. jmlr:v27/25-1064 — Three Types of Calibration using Properties and their Semantic and Formal Relationships

  • 作者: Rabanus Derr, Jessie Finocchiaro, Robert C. Williamson
  • 期刊/来源: JMLR
  • 分类: JMLR v27
  • 相关性 4/10 · novelty: survey
  • 摘要: 本文系统梳理了预测系统校准(calibration)的多种定义,并基于两个动机——预测属性的自实现(self-realization)和决策者损失的精确实证(precise loss estimation)——提出了统一的语义框架。作者通过属性(property)Γ(如均值、中位数)定义了Γ-校准,并证明其在特定条件下等价于某种交换遗憾(swap regret),与omniprediction学习范式紧密相关。对于精确损失估计,他们修改了Zhao等人(2021)的决策校准定义。在二元结果下,两种原型定义在适当选择参考属性时一致;在高维结果下,可被自然推广的分布校准(distribution calibration)所涵盖。最后,文章讨论了分组(grouping)在多校准(multicalibration)中的作用,为碎片化的校准概念提供了语义地图。
  • 关键技术: calibration, swap regret, omniprediction, distribution calibration, multicalibration
  • 为什么对您有用: 本文属于机器学习理论中的校准概念研究,与您的主要兴趣(因果推断、高维统计等)无直接交集,但可作为理解预测不确定性度量的背景阅读。其形式化定义和语义关系分析可能对您在统计计算或一般统计理论中的概念清晰化有启发,但武器库(如U统计量、半参数理论)在此问题上的直接应用有限,暂不可做。

29. jmlr:v27/25-1588 · arXiv — Statistical guarantees for denoising reflected diffusion models

  • 作者: Asbjørn Holk, Claudia Strauch, Lukas Trottner
  • 期刊/来源: JMLR
  • 机构: Aarhus University · Heidelberg University · University of Birmingham
  • 分类: JMLR v27
  • 相关性 4/10 · novelty: new_theory
  • 摘要: 本文研究反射扩散去噪模型的统计保证。在 Sobolev 光滑性假设下,作者建立了生成分布与目标分布在总变差距离下的收敛速率,该速率在多项式对数因子内匹配极小极大下界。核心方法包括对反射扩散过程的得分函数进行时间和空间上的精细逼近,利用谱分解和神经网络分析。该工作弥合了理论扩散模型与实践中阈值化实现之间的差距,为生成模型的统计理论提供了新视角。对您而言,该文涉及非参数估计和极小极大速率,与您在高维统计和效率理论方面的兴趣有一定关联,但主题更偏向生成模型而非因果推断。
  • 关键技术: reflected diffusion models, score approximation, spectral decomposition, neural network analysis, minimax lower bound
  • 为什么对您有用: 本文属于生成模型统计理论,与您的主要兴趣(因果推断、高维统计)关联较弱,但其中非参数估计的极小极大速率分析可能对您理解高维估计的极限有启发。作为 gateway reading,本文对统计学家友好,但并非您当前研究方向的直接延伸。

30. jmlr:v27/25-2307 · arXiv — Graph-based Clustering Revisited: A Relaxation of Kernel k-Means Perspective

  • 作者: Wenlong Lyu, Yuheng Jia, Hui Liu, Junhui Hou
  • 期刊/来源: JMLR
  • 分类: JMLR v27
  • 相关性 4/10 · novelty: new_method
  • 摘要: 本文研究图聚类方法,将谱聚类、对称非负矩阵分解和双随机归一化统一视为核 k-means 的松弛问题,指出这些方法过度松弛了低秩、非负、双随机和正交约束,可能损害聚类性能。作者提出 LoRD 模型,仅松弛正交约束以得到概率聚类结果,并理论证明在双随机约束下正交性与块对角性等价,进而提出 B-LoRD 通过最大化 Frobenius 范数加入块对角正则化。为数值求解,作者将非凸双随机约束转化为线性凸约束,并证明目标函数的梯度 Lipschitz 连续性,从而设计投影梯度算法,其精确迭代具有次线性收敛率且每个聚点达到一阶平稳性。大量实验验证了方法的有效性。对您而言,该文属于聚类与优化方法,与您的主要兴趣(因果推断、高维统计等)关联较弱,但其中的约束松弛与优化算法设计思路或可迁移至统计计算中的数值问题。
  • 关键技术: kernel k-means relaxation, doubly stochastic constraint, block diagonal regularization, projected gradient algorithm, Lipschitz continuity
  • 为什么对您有用: 该文属于统计计算与优化方向,与您的 statistical computing 兴趣有弱关联,但核心问题(聚类)不在您的主要兴趣列表内。作为 gateway reading,本文对聚类方法统一视角的阐述较为清晰,但方法学深度有限,不值得优先展开。

31. jmlr:v27/25-0399 — Bridging Domain Invariance and Diversity: A Fine-Grained Risk Bound for Domain Generalization

  • 作者: Xi Wang, Liang Bai, Xian Yang, Richard Yi Da Xu, Jiye Liang
  • 期刊/来源: JMLR
  • 分类: JMLR v27
  • 相关性 4/10 · novelty: new_theory
  • 摘要: 本文研究域泛化(domain generalization)问题,目标是刻画目标域风险的上界。作者提出将潜在表示空间分解为三个子空间(Tri-Space Latent Representation),通过直和分解将每个表示唯一地分为域不变特征、伪不变特征和域变特征。在此框架下,推导出更细粒度的目标域风险界,该界由对应域多样性和不变因子的两项组成。理论分析表明域不变表示学习和域增强是有效且兼容的策略。实验验证了域不变性与域多样性之间的关系及其对域泛化性能的影响。
  • 关键技术: direct-sum decomposition, Tri-Space Latent Representation, domain-invariant representation learning, domain augmentation, risk bound analysis
  • 为什么对您有用: 本文属于机器学习理论,与您的主要兴趣(因果推断、半参数理论等)无直接交集,但其中对表示空间分解和风险界的细粒度分析思路,可能对您在高维统计或半参数估计中的结构分解问题有启发。作为一般科学阅读,本文的分解框架和理论分析值得一读,但方法学迁移性有限。

32. jmlr:v27/23-0218 · arXiv — Keypoint-Guided Optimal Transport: Models, Algorithms, and Applications

  • 作者: Xiang Gu, Yucheng Yang, Wei Zeng, Jian Sun, Zongben Xu
  • 期刊/来源: JMLR
  • 机构: Xi'an Jiaotong University
  • 分类: JMLR v27
  • 相关性 4/10 · novelty: new_method
  • 摘要: 本文提出一种基于关键点引导的最优传输(OT)模型 KPG-RL,旨在解决传统 OT 仅以传输代价最小化可能导致错误匹配的问题。模型通过掩码约束保证关键点对的匹配被保留,并利用每个数据点与关键点的关系来引导整体匹配,适用于 Kantorovich 和 Gromov-Wasserstein 两种形式,且涵盖平衡与非平衡/部分传输设定。作者推导了 χ² 正则化 KPG-RL 的对偶形式,从而可用深度学习技术学习传输计划,扩展到大样本场景。基于学到的传输计划,设计了流形重心投影和流形采样两种神经传输策略,将源数据映射到目标数据流形。应用包括异构域适应、多组学单细胞对齐和图像到图像转换,实验验证了方法的有效性。对您而言,本文属于统计计算与算法设计方向,但其核心 OT 模型与深度学习的结合,可能对您在高维统计和计算复杂性问题上的思考有启发,不过与您的主要研究兴趣(因果推断、半参数理论等)关联较弱。
  • 关键技术: Optimal Transport, Keypoint-Guided Matching, Gromov-Wasserstein, χ²-regularization, Deep Learning
  • 为什么对您有用: 本文属于统计计算与算法设计,与您的 statistical computing 兴趣有交集,但并非核心方向。作为 gateway reading,本文对 OT 模型的介绍清晰,但需要一定优化和深度学习背景;您的武器库(如非参数统计、高维渐近)足以理解其数学框架,但若要深入算法改进,可能需要补充深度学习优化知识。总体而言,本文值得一读以拓宽视野,但不必作为重点。

33. jmlr:v27/23-1489 · arXiv — Dirichlet Active Learning

  • 作者: Kevin Miller, Ryan Murray
  • 期刊/来源: JMLR
  • 机构: Texas Research Institute · The University of Texas at Austin · North Carolina State University
  • 分类: JMLR v27
  • 相关性 4/10 · novelty: new_method
  • 摘要: 本文提出 Dirichlet Active Learning (DiAL),一种基于贝叶斯思想的主动学习框架。该框架将特征条件下的类别概率建模为 Dirichlet 随机场,并通过在相似特征间借用观测强度来校准该随机场。利用随机场的均值和方差估计,可在标注数据稀缺时进行分类和主动学习。作者将模型应用于低标注率的图学习,构造基于图拉普拉斯的传播算子,并通过计算实验展示其与现有方法的竞争力。理论部分给出了关于探索与利用的严格保证,分别以簇探索和决策边界关注度表达。
  • 关键技术: Dirichlet random field, active learning, graph Laplacian propagation, Bayesian calibration
  • 为什么对您有用: 本文属于统计机器学习方法,与您的主要兴趣(因果推断、高维统计、U-统计量等)无直接重叠,但主动学习中的不确定性量化与贝叶斯建模可能对您的统计计算兴趣有间接启发。作为 gateway reading,本文对主动学习领域外人士较为友好,但并非您核心领域的必读。

34. jmlr:v27/23-1687 · arXiv — Information-Theoretic Safe Bayesian Optimization

  • 作者: Alessandro G. Bottero, Carlos E. Luis, Julia Vinogradska, Felix Berkenkamp, Jan Peters
  • 期刊/来源: JMLR
  • 机构: Robert Bosch (Germany) · Technische Universität Darmstadt · German Research Centre for Artificial Intelligence · Hessian Center for Artificial Intelligence
  • 分类: JMLR v27
  • 相关性 4/10 · novelty: new_method
  • 摘要: 本文研究安全贝叶斯优化问题,目标是在未知安全约束下,通过带噪评估优化未知函数,且评估点需以高概率满足安全性。作者用高斯过程同时建模目标函数和安全约束,提出一种基于信息论的探索准则,仅利用GP后验来识别对判断其他参数安全性最有信息量的安全参数。该准则与已知的贝叶斯优化采集函数结合,构成新的安全BO选择准则,可自然处理连续域且无需额外显式超参数。理论分析表明,所提采集函数能以任意精度学习可达的安全最优值,同时以高概率只评估安全参数。实验验证了其数据效率和可扩展性。对您而言,本文属于贝叶斯优化与安全约束的交叉方向,与您的主要兴趣(因果推断、高维统计等)关联较弱,但其中基于后验的信息论准则与您的统计计算兴趣有一定交集。
  • 关键技术: Gaussian process, information-theoretic acquisition function, safe Bayesian optimization, continuous domain exploration
  • 为什么对您有用: 本文属于贝叶斯优化领域,与您的主要兴趣(因果推断、高维统计、U统计量等)无直接关联,但作为统计计算方向的算法设计论文,其信息论准则和GP后验利用方式可能对您的统计计算兴趣有启发。作为gateway reading,本文对非优化领域的研究者较为友好,但方法学深度一般,不值得优先投入时间。

35. jmlr:v27/25-0030 · arXiv — Impatient Bandits: Optimizing for the Long-Term Without Delay

  • 作者: Kelly W. Zhang, Thomas Baldwin-McDonald, Kamil Ciosek, Lucas Maystre, Daniel Russo
  • 期刊/来源: JMLR
  • 机构: Imperial College London · University of Manchester · Spotify (Sweden) · Columbia University
  • 分类: JMLR v27
  • 相关性 4/10 · novelty: application
  • 摘要: 本文研究推荐系统中以长期用户满意度为目标的延迟奖励bandit问题,设定为带延迟奖励的内容探索任务。核心权衡在于:等待完整奖励(如数周)会减慢学习速度,而短期代理指标又不能完美反映长期目标。方法上,作者构建了一个结合所有已获信息的延迟奖励预测模型,通过贝叶斯滤波将奖励与短期替代结果融合为概率信念;并基于此设计bandit算法,利用该预测模型快速识别与长期成功一致的内容。作者证明了算法的regret界,依赖于一个信息论度量——渐进反馈价值(Value of Progressive Feedback),刻画短期领先指标的质量。实证部分应用于播客推荐(两个月内重复参与),A/B测试表明该方法显著优于仅优化短期代理或仅依赖延迟奖励的基线。对您而言,本文的贝叶斯滤波与信息论度量设计虽非您核心方向,但其延迟奖励建模思路对纵向因果推断中的代理结果利用有一定启发。
  • 关键技术: Bayesian filtering, delayed rewards, progressive feedback, regret bound, A/B testing
  • 为什么对您有用: 本文属于应用性bandit工作,与您的primary interests(因果推断、假设检验等)无直接重叠,但延迟奖励与代理结果的结合在纵向因果推断中有类比价值。作为gateway reading,本文对非bandit专家较为友好,但武器库(如贝叶斯方法)并非您最熟悉项,暂不建议深入。

36. jmlr:v27/25-0136 · arXiv — Differentially Private Synthetic Data Generation for Relational Databases

  • 作者: Kaveh Alim, Hao Wang, Ojas Gulati, Akash Srivastava, Navid Azizan
  • 期刊/来源: JMLR
  • 机构: Massachusetts Institute of Technology
  • 分类: JMLR v27
  • 相关性 4/10 · novelty: new_method
  • 摘要: 本文提出首个可与任意现有差分隐私(DP)机制结合、用于生成关系型数据库合成数据的算法。现有DP合成数据方法通常假设单一数据表,而实际数据常分布在多个相互关联的表中。该算法迭代地调整各合成表之间的关系,在保持参照完整性的同时,最小化低阶边际分布的近似误差。它避免了将关系数据库展平为主表,节省空间,运行高效,并能扩展到高维数据。作者提供了DP保证和理论效用保证,并在真实数据集上通过数值实验验证了方法在保真度上的有效性。
  • 关键技术: differential privacy, synthetic data generation, relational databases, marginal distribution approximation, referential integrity
  • 为什么对您有用: 本文属于统计计算与算法设计方向,与您的主要兴趣(统计计算)有交集,但并非您核心的因果推断或高维统计领域。作为入门读物,它清晰阐述了DP合成数据在关系型数据库中的问题设定和算法思路,但未涉及您熟悉的深层统计理论。您的武器库(如非参数统计、U统计量)足以理解其效用分析,但该问题本身与您的核心研究关联较弱,不值得深入展开。

37. jmlr:v27/25-0175 · arXiv — Bayesian Level Set Clustering

  • 作者: David Buch, Miheer Dewaskar, David B. Dunson
  • 期刊/来源: JMLR
  • 分类: JMLR v27
  • 相关性 4/10 · novelty: new_method
  • 摘要: 本文提出一种全新的贝叶斯聚类框架,将聚类与数据密度 f 的灵活建模解耦:先对 f 建立任意贝叶斯模型,再基于 f 的某个水平集的连通分量定义聚类,从而避免传统混合模型聚类对核函数误设的敏感性。方法上,作者在贝叶斯决策论框架下构造损失函数,并开发了贝叶斯水平集聚类算法,给出聚类一致性等理论保证。模拟实验展示了方法在多种设定下的优越性能,并在天文数据应用中相对 DBSCAN 在准确性、对调参的稳健性以及不确定性量化方面均有改进。
  • 关键技术: Bayesian decision theory, level set clustering, density-based clustering, posterior consistency, uncertainty quantification
  • 为什么对您有用: 本文属于统计计算与贝叶斯非参数方向,与您的主要兴趣(非参数/半参数理论、统计计算)有部分交集,但并非核心。作为天文数据应用,它可视为 astrostatistics 的入门读物,展示了密度聚类方法在天文数据中的实际价值;但方法学上并未涉及您武器库中的核心工具(如 U-统计量、RMT、因果推断),因此暂不可做后续研究。

38. jmlr:v27/25-0903 · arXiv — Test-time regression: a unifying framework for designing sequence models with associative memory

  • 作者: Ke Alexander Wang, Jiaxin Shi, Emily B. Fox
  • 期刊/来源: JMLR
  • 机构: Stanford University
  • 分类: JMLR v27
  • 相关性 4/10 · novelty: new_method
  • 摘要: 本文提出一个统一框架,将多种序列模型(如线性注意力、状态空间模型、softmax 注意力等)解释为“测试时回归”过程:先对输入 token 进行记忆(回归),再通过检索完成关联回忆。框架由三个设计选择刻画:回归权重、回归函数类、测试时优化算法。作者借此解释了线性注意力无法捕捉 token 间相关性的原因,并为 softmax 注意力中 query-key 归一化的有效性提供了数学依据。进一步,他们探索了设计空间中的未开发区域,推导出 softmax 注意力的高阶推广。该工作将序列建模与经典回归方法联系起来,为设计更强大且理论上有原则的架构铺平道路。对您而言,其高阶推广与您的高阶 U 统计量工作有潜在概念联系,但整体上属于深度学习架构研究,与您的核心统计兴趣距离较远。
  • 关键技术: test-time regression, associative recall, linear attention, state-space models, softmax attention, higher-order generalizations
  • 为什么对您有用: 本文属于深度学习序列建模领域,与您的主要兴趣(因果推断、高维统计、半参数理论等)无直接交集。但其高阶注意力推广可能涉及高阶矩或张量结构,与您的高阶 U 统计量工作有微弱概念联系。作为 gateway reading,本文对统计学家而言并非入门读物,需要深度学习背景。您的武器库(如高阶 U 统计量、张量收缩)可能不足以直接分析其架构,因此暂不可做。

39. jmlr:v27/25-1121 · arXiv — Leakage and Interpretability in Concept-Based Models

  • 作者: Enrico Parisini, Tapabrata Chakraborti, Chris Harbron, Ben D. MacArthur, Christopher R.S. Banerji
  • 期刊/来源: JMLR
  • 机构: The Alan Turing Institute · King's College London · University College London · Roche (United Kingdom)
  • 分类: JMLR v27
  • 相关性 4/10 · novelty: new_method
  • 摘要: 本文研究基于概念的可解释模型(Concept-based Models)中的信息泄漏问题,目标是量化模型在预测高层概念时是否利用了概念中编码的意外信息。作者提出一个信息论框架,定义了两个互补的度量:概念-任务泄漏(CTL)和概念间泄漏(ICL)分数,并证明这些度量能强预测模型在干预下的行为,优于现有替代方法。通过该框架,他们识别了泄漏的主要来源,并以概念嵌入模型(CEM)为案例,揭示了除设计上存在的概念-任务泄漏外,还有概念间泄漏和对齐泄漏。最后,他们给出了减少泄漏、确保可解释性的实用设计指南。该工作属于机器学习可解释性领域,与您的统计推断兴趣无直接交集,但信息论度量与干预行为预测的思路可能对因果推断中的敏感性分析有启发。
  • 关键技术: information-theoretic leakage measures, concept-based models, intervention prediction, concept embedding models
  • 为什么对您有用: 本文主题为可解释机器学习,与您的核心兴趣(因果推断、高维统计等)无直接关联,但其中信息论度量与干预行为预测的思路可能对因果推断中的敏感性分析有启发。作为 gateway reading,本文对统计学家而言可读性尚可,但并非入门首选;武器库足以理解其信息论度量,但无需深入。

40. jmlr:v27/25-1466 · arXiv — Consistency of Augmentation Graph and Network Approximability in Contrastive Learning

  • 作者: Chenghui Li, A. Martina Neuman
  • 期刊/来源: JMLR
  • 机构: University of Wisconsin–Madison · University of Vienna
  • 分类: JMLR v27
  • 相关性 4/10 · novelty: new_theory
  • 摘要: 本文研究对比学习(contrastive learning)中增强图(augmentation graph)的理论基础,目标是证明其谱性质能反映底层数据流形的几何结构,从而为神经网络的逼近性(realizability)提供保证。作者在数据生成和图的连通性条件下,证明了当增强数据规模增大时,增强图的拉普拉斯算子逐点和谱地收敛到自然数据流形上的加权 Laplace-Beltrami 算子。这一一致性结果意味着图拉普拉斯的谱能有效捕捉流形几何,进而建立神经网络的逼近性框架,直接解决了当前对比学习范式中的可实现性假设。该工作属于机器学习理论,与统计推断的经典问题(如假设检验、效率理论)关联较弱,但其中关于图拉普拉斯收敛到流形算子的分析,可能对高维统计中的流形学习或谱方法有参考价值。
  • 关键技术: augmentation graph Laplacian, spectral convergence, Laplace-Beltrami operator, manifold learning, neural network approximability
  • 为什么对您有用: 本文属于机器学习理论,与您的主要兴趣(因果推断、高维统计、U-统计量等)直接关联较弱。但其中图拉普拉斯到流形算子的收敛分析,可能对您 moderately_familiar 的谱方法或流形学习有启发,不过核心问题并非您武器库中的经典统计推断。作为 gateway reading,本文对统计学家而言入门门槛较高,且与您的统计计算兴趣(如张量网络)无直接联系,因此暂不建议深入阅读。

41. jmlr:v27/25-1861 · arXiv — Dimension Reduction for Derivative-Informed Operator Learning: An Analysis of Approximation Errors

  • 作者: Dingcheng Luo, Thomas O'Leary-Roseberry, Peng Chen, Omar Ghattas
  • 期刊/来源: JMLR
  • 分类: JMLR v27
  • 相关性 4/10 · novelty: new_theory
  • 摘要: 本文研究无限维 Hilbert 空间之间非线性算子(如 PDE 解映射)的导数知情算子学习,目标是在 Sobolev 范数下用神经算子逼近算子及其导数。方法上采用 reduced basis neural operator,即用线性编码器/解码器将输入输出投影到主导子空间,并比较 PCA 与导数知情子空间(DIS)两种子空间生成方式。理论部分推导了维度缩减误差、潜在神经网络逼近误差以及经验估计 PCA/DIS 子空间的采样误差的界。数值实验表明,基于算子信息的子空间(DIS 或输出 PCA)在 Sobolev 范数下泛化误差更小,而输入 PCA 在秩和训练样本量不足时可能表现不佳。该工作属于算子学习与不确定性量化领域,与您的主要兴趣(因果推断、高维统计等)无直接交集,但其中关于导数信息与维度缩减的分析思路或可迁移至其他高维问题。
  • 关键技术: reduced basis neural operator, derivative-informed subspaces, PCA, Sobolev norm error bounds, sampling error analysis
  • 为什么对您有用: 本文属于算子学习与不确定性量化领域,与您的主要兴趣(因果推断、高维统计、U-统计量等)无直接交集。但其中关于导数信息与维度缩减的分析思路,或可迁移至高维统计中的降维问题。作为 gateway reading,本文对统计学家而言入门门槛较高,需要 PDE 与算子学习背景;武器库中的高维渐近与 minimax 工具不足以直接支撑深入该方向,暂不建议投入时间。

42. jmlr:v27/25-0477 · arXiv — A Theoretical Framework for Masked Pretraining (MPT)

  • 作者: Qi Zhang, Runyu Zhou, Yifei Wang, Yisen Wang
  • 期刊/来源: JMLR
  • 机构: Peking University · MIT Computer Science and Artificial Intelligence Laboratory · Massachusetts Institute of Technology
  • 分类: JMLR v27
  • 相关性 4/10 · novelty: new_theory
  • 摘要: 本文提出一个理论框架来分析掩码预训练(MPT)的工作机制,目标是在自监督学习设定下理解掩码如何帮助提取有意义的表征。作者建立了 MPT 与对比学习之间的理论联系,证明掩码隐式地构造了语义相似的正样本对,而重建损失在特征空间中拉近它们。作为隐式对齐的结果,文章指出 MPT 存在维度坍缩问题,并提出一种均匀性增强的 U-MPT 损失来缓解该问题,在真实数据集的线性评估、跨数据集微调和分布外泛化上带来显著提升。此外,作者为 U-MPT 建立了下游任务保证,并理论分析了掩码策略的影响,基于此提出一种新的掩码策略以提升下游性能。
  • 关键技术: masked pretraining, contrastive learning, dimensional collapse, uniformity-enhanced loss, representation learning theory
  • 为什么对您有用: 本文属于自监督学习理论,与您的主要兴趣(因果推断、高维统计等)无直接重叠,但作为机器学习理论的新进展,可视为跨领域入门读物。您的武器库(如非参数理论、高维统计)足以理解其理论分析,但核心问题并非您的研究方向,因此仅作一般了解,不值得深入阅读。

43. jmlr:v27/22-1232 · arXiv — A Functional-Space Mean-Field Theory of Partially-Trained Three-Layer Neural Networks

  • 作者: Zhengdao Chen, Eric Vanden-Eijnden, Joan Bruna
  • 期刊/来源: JMLR
  • 机构: Google (United States) · Courant Institute of Mathematical Sciences
  • 分类: JMLR v27
  • 相关性 3/10 · novelty: new_theory
  • 摘要: 本文研究部分训练的三层神经网络在无限宽极限下的训练动力学,其中第一层权重固定不训练。作者将平均场理论从欧氏空间推广到函数空间,以严格定义极限模型,并证明训练损失以线性速率收敛。该收敛性依赖于一个时变核在适当假设下的正定性,且该核通过函数梯度流演化。作者还定义了包含训练动力学解的新函数空间,并证明了其 Rademacher 复杂度界。分析覆盖多种缩放选择,得到两个不同的平均场极限 regime,均表现出特征学习。对您而言,该文的方法论(函数空间提升、时变核分析)与您的高维统计和统计计算兴趣有间接关联,但并非直接可迁移。
  • 关键技术: mean-field limit, functional gradient flow, time-varying kernel, Rademacher complexity, feature learning
  • 为什么对您有用: 本文属于深度学习的平均场理论,与您的主要兴趣(因果推断、高维统计、U-统计量)无直接交集。但其中函数空间提升和时变核正定性分析的技术,可能对您在高维统计中的核方法或统计计算中的算法分析有启发。作为 gateway reading,本文对统计学家而言难度较高,需要一定的 PDE 和泛函分析背景,武器库中的工具(如经验过程、集中不等式)不足以直接支撑深入阅读,因此暂不可做。

44. jmlr:v27/23-0582 · arXiv — Neural Exploitation and Exploration of Contextual Bandits

  • 作者: Yikun Ban, Yuchen Yan, Arindam Banerjee, Jingrui He
  • 期刊/来源: JMLR
  • 机构: University of Illinois Urbana-Champaign
  • 分类: JMLR v27
  • 相关性 3/10 · novelty: new_method
  • 摘要: 本文研究上下文赌博机中的探索与利用权衡问题,目标是在非线性奖励函数下设计高效的探索策略。与基于UCB或TS的神经赌博机方法不同,EE-Net引入第二个神经网络直接学习利用网络的潜在增益,从而指导探索,避免依赖大偏差统计置信界。作者给出了EE-Net的实例级O~(√T)遗憾上界,并采用新的证明流程。实验在真实数据集上表明EE-Net优于线性和神经赌博机基线。该方法属于在线学习与强化学习范畴,与您的因果推断、高维统计等主要兴趣方向关联较弱,但其中利用神经网络进行探索的思想可能对处理非平稳或自适应实验设计有一定启发。
  • 关键技术: neural contextual bandits, exploration-exploitation tradeoff, regret bound analysis, neural network-based exploration
  • 为什么对您有用: 本文属于在线学习/强化学习领域,与您的主要兴趣(因果推断、高维统计、U统计量等)无直接交集。但若您关注自适应实验设计或序贯决策中的因果推断,其中的探索策略可能提供参考。作为gateway阅读,本文对赌博机框架的阐述清晰,但技术核心(神经网络探索)与您的武器库(如U统计量、半参数理论)关联不大,暂不建议深入。

45. jmlr:v27/24-0260 · arXiv — Investigating the Histogram Loss in Regression

  • 作者: Ehsan Imani, Kai Luedemann, Sam Scholnick-Hughes, Esraa Elelimy, Martha White
  • 期刊/来源: JMLR
  • 机构: University of Alberta · Alberta Machine Intelligence Institute
  • 分类: JMLR v27
  • 相关性 3/10 · novelty: application
  • 摘要: 本文研究回归任务中常用的直方图损失(histogram loss),即通过最小化目标分布与灵活直方图预测之间的交叉熵来学习条件分布,即使最终只关心均值预测。作者指出该损失等价于一个分类损失:输出与平滑标签向量之间的交叉熵。通过理论和实证分析,他们探究了这种性能提升出现的原因和条件,以及损失各组成部分的贡献。结果表明,这种分布建模带来的收益主要源于优化过程的改善,而非建模了额外信息。最后,作者展示了直方图损失在常见深度学习应用中无需昂贵超参数调优即可使用的可行性。
  • 关键技术: histogram loss, cross-entropy, conditional distribution modeling, neural network regression, optimization landscape
  • 为什么对您有用: 本文属于统计计算与深度学习方法的交叉,与您的统计计算兴趣相关,但并非您主要兴趣的核心。作为入门读物,它清晰解释了直方图损失的机制和优化视角,但缺乏您武器库中可直接攻克的统计理论问题。

46. jmlr:v27/24-0395 · arXiv — Approximations and Learning for Continuous State and Action MDPs under Average Cost Criteria

  • 作者: Ali D. Kara, Serdar Yüksel
  • 期刊/来源: JMLR
  • 机构: Queen's University
  • 分类: JMLR v27
  • 相关性 3/10 · novelty: new_method
  • 摘要: 本文研究连续状态-动作空间、平均代价准则下的马尔可夫决策过程(MDP)的近似与学习问题。首先,针对弱连续或 Wasserstein 连续的动力系统,在遍历性假设下给出了基于离散化的近似方法及其误差界,放宽了先前工作中对全变差连续性的要求。其次,提出了同步与异步(量化)Q-learning 算法,并证明了其收敛性。最后,证明了收敛目标是量化构造的有限近似模型的最优 Q 值,从而保证所得解的近最优性。该工作属于强化学习与控制理论,与您的统计推断兴趣无直接交集,但其中关于量化与近似误差的分析思路可能对高维或非参数估计中的离散化问题有启发。
  • 关键技术: discretization-based approximation, Q-learning, quantization, weak continuity, Wasserstein continuity, average cost MDP
  • 为什么对您有用: 本文属于强化学习/控制理论,与您的核心兴趣(因果推断、高维统计、半参数理论等)无直接关联。但其中对连续空间离散化误差的刻画(在弱连续和 Wasserstein 连续下)可能对您在高维或非参数估计中处理连续协变量的离散化问题有间接参考价值。作为 gateway reading,本文对统计学家而言入门门槛较高,需要熟悉 MDP 和强化学习术语;武器库中的非参数与高维工具不足以直接支撑进入该方向,暂不建议深读。

47. jmlr:v27/24-1075 · arXiv — Limiting Over-Smoothing and Over-Squashing of Graph Message Passing by Deep Scattering Transforms

  • 作者: Yuanhong Jiang, Dongmian Zou, Xiaoqun Zhang, Yu Guang Wang
  • 期刊/来源: JMLR
  • 机构: Duke Kunshan University · UNSW Sydney
  • 分类: JMLR v27
  • 相关性 3/10 · novelty: new_method
  • 摘要: 本文针对图神经网络(GNN)中消息传递机制固有的过平滑(over-smoothing)与过压缩(over-squashing)问题,提出了一种基于深度散射变换(Deep Scattering Transform)的多层消息传递网络 DSMP。DSMP 利用谱变换聚合邻域节点的全局信息,以增强图信号处理的精度。作者在特定条件下给出了理论证明,说明 DSMP 能有效缓解过平滑与过压缩,并辅以实验和频率分析验证其优越性。该工作属于图深度学习领域,与您的统计推断核心兴趣无直接关联,但其中涉及的谱方法和高阶信息聚合思想或可迁移至高维统计中的图结构数据分析。
  • 关键技术: Deep Scattering Transform, Graph Neural Networks, Message Passing, Spectral Transformation, Frequency Analysis
  • 为什么对您有用: 本文属于图深度学习,与您的核心兴趣(因果推断、高维统计、U-统计量等)无直接交集。但作为统计计算方向的延伸,其谱变换和消息传递机制可能对处理图结构数据的高维统计问题有启发。鉴于您对统计计算有兴趣,可作一般性了解,但非优先阅读。

48. jmlr:v27/24-1291 · arXiv — Enhancing Accuracy in Generative Models via Knowledge Transfer

  • 作者: Xinyu Tian, Xiaotong Shen
  • 期刊/来源: JMLR
  • 机构: University of Minnesota
  • 分类: JMLR v27
  • 相关性 3/10 · novelty: minor
  • 摘要: 本文研究生成模型(如扩散模型和归一化流)在迁移学习框架下的精度提升问题。在目标任务上,利用源任务预训练模型进行微调,基于“共享嵌入”概念连接源与目标任务,提出一个在KL散度等分布度量下的迁移学习理论框架。理论表明,源模型识别共享结构的能力以及有效的知识迁移可以提升目标任务的生成精度。作者将该框架应用于扩散模型和归一化流,证明迁移版本在生成性能上优于非迁移版本。本文属于生成模型的理论分析,与您的因果推断、高维统计等核心兴趣无直接交集。
  • 关键技术: transfer learning, generative models, diffusion models, normalizing flows, Kullback-Leibler divergence, shared embedding
  • 为什么对您有用: 本文主题为生成模型的迁移学习,与您的主要兴趣(因果推断、高维统计、U统计量等)无直接关联,也非gateway reading范畴(非天文、经济、流行病学或计算复杂性入门)。因此,仅作为方法学上的边缘参考,不推荐深入阅读。

49. jmlr:v27/25-0509 · arXiv — Spectral Truncation Kernels: Noncommutativity in C*-algebraic Kernel Machines

  • 作者: Yuka Hashimoto, Ayoub Hafid, Masahiro Ikeda, Hachem Kadri
  • 期刊/来源: JMLR
  • 机构: NTT (Japan) · RIKEN · Centre National de la Recherche Scientifique · Aix-Marseille Université · Laboratoire d’Informatique et Systèmes · RIKEN Center for Advanced Intelligence Project
  • 分类: JMLR v27
  • 相关性 3/10 · novelty: new_method
  • 摘要: 本文研究向量值/函数值学习中核的设计问题,目标是构造既能刻画局部与非局部交互、又保持计算可行的核。现有算子值核中,可分离核计算高效但无法建模函数域上的跨位置交互,交换核则只捕捉逐点结构。作者提出基于谱截断与 C-代数的谱截断核,通过在核构造中引入非交换乘积,使核能诱导数据函数域上的交互,填补了可分离核与交换核之间的空白。利用 C-代数框架,相比现有算子值核的向量值 RKHS 框架,计算成本得到降低。论文属于机器学习理论/核方法方向,与您的统计推断兴趣无直接交集。
  • 关键技术: C*-algebra, operator-valued kernels, spectral truncation, positive definite kernels, vector-valued RKHS
  • 为什么对您有用: 本文属于核方法/函数值学习,与您的核心兴趣(因果推断、高维统计、U-统计量等)无直接关联;作为统计计算方向的延伸阅读价值有限,且不涉及您熟悉的统计推断框架。

50. jmlr:v27/25-1016 · arXiv — A Two-Timescale Primal-Dual Framework for Reinforcement Learning via Online Dual Variable Guidance

  • 作者: Axel F. Wolter, Tobias Sutter
  • 期刊/来源: JMLR
  • 机构: University of Konstanz · University of Applied Sciences St. Gallen
  • 分类: JMLR v27
  • 相关性 3/10 · novelty: new_method
  • 摘要: 本文研究强化学习中的正则化马尔可夫决策过程(MDP)求解,提出 PGDA-RL 算法,一种结合投影梯度下降-上升与两时间尺度随机逼近的原始-对偶方法。算法利用经验回放估计梯度,在单条相关轨迹上异步更新策略,并由对偶变量在线引导,无需模拟器或固定行为策略。作者证明算法几乎必然收敛到正则化 MDP 的最优值函数与策略,并在增强遍历性假设下给出最后迭代的 O~(k^{-2/3}) 均方收敛率,与两时间尺度随机逼近在马尔可夫采样下的已知最优率一致。该工作属于强化学习优化算法设计,与您的统计推断方向无直接交集。
  • 关键技术: primal-dual projected gradient descent-ascent, two-timescale stochastic approximation, experience replay, regularized Markov decision process, last-iterate convergence
  • 为什么对您有用: 本文属于强化学习优化算法,与您的因果推断、高维统计等主要兴趣无直接关联;作为统计计算方向的算法设计,其两时间尺度随机逼近分析或可提供一般性启发,但并非入门级读物,也不涉及您武器库中的具体工具,暂不建议深入阅读。

51. jmlr:v27/25-1449 · arXiv — Finite-Time Decoupled Convergence in Nonlinear Two-Time-Scale Stochastic Approximation

  • 作者: Yuze Han, Xiang Li, Zhihua Zhang
  • 期刊/来源: JMLR
  • 机构: Renmin University of China · Peking University · Department of Mathematical Sciences
  • 分类: JMLR v27
  • 相关性 3/10 · novelty: new_theory
  • 摘要: 本文研究非线性两时间尺度随机逼近(two-time-scale SA)的有限时间解耦收敛性质。在经典设定中,快慢两个迭代以不同步长更新且相互影响;线性情形下已知均方误差收敛率仅取决于各自步长(解耦收敛),而非线性情形此前缺乏理解。作者在嵌套局部线性假设下,通过分析迭代间矩阵交叉项并利用四阶矩收敛率控制局部线性引起的高阶误差项,证明了选择合适的步长可实现有限时间解耦收敛。进一步,作者构造反例说明即使快时间尺度更新是线性的,仅慢时间尺度更新的非线性就足以破坏解耦收敛,从而表明局部线性假设的必要性。该工作为非线性随机逼近的收敛性分析提供了新工具,但属于优化/随机逼近领域,与您的主要统计兴趣(因果推断、高维、半参数等)无直接交集。
  • 关键技术: two-time-scale stochastic approximation, decoupled convergence, fourth-order moment bounds, matrix cross-term analysis, nested local linearity
  • 为什么对您有用: 本文属于随机逼近/优化理论,与您的主要兴趣(因果推断、高维、半参数等)无直接交集;但其中对高阶矩和交叉项的控制技巧,可能对您熟悉的更高阶U统计量分析有一定启发。作为gateway阅读,本文并非入门读物,且武器库(如经验过程、U统计投影)不足以直接支撑您进入该方向,暂不值得花时间读全文。

52. jmlr:v27/25-3128 · arXiv — Error Analyses of Auto-Regressive Video Diffusion Models

  • 作者: Jing Wang, Fengzhuo Zhang, Xiaoli Li, Vincent Y.~ F. Tan, Tianyu Pang, Chao Du et al.
  • 期刊/来源: JMLR
  • 分类: JMLR v27
  • 相关性 3/10 · novelty: new_theory
  • 摘要: 本文针对自回归视频扩散模型(AR-VDMs)中的两个关键缺陷——历史遗忘(history forgetting)和时间退化(temporal degradation)——提出了统一的理论分析框架 Meta-ARVDM。作者将历史遗忘刻画为在给定输入条件下,生成输出与先前帧之间的条件互信息,并证明纳入更多历史帧会单调地缓解历史遗忘,从而为现有经验观察提供了理论依据。理论还揭示标准评估指标无法捕捉该效应,因此提出了基于封闭环境(DMLab 和 Minecraft)中“针在干草堆”任务的评估协议。对于时间退化,作者证明其可由每步误差的累积和量化,从而无需实际视频生成即可预测不同调度器的退化程度。最后,实验发现历史遗忘与时间退化之间存在强经验相关性,这是此前未被报道的。
  • 关键技术: conditional mutual information, autoregressive structure, cumulative error analysis, needle-in-a-haystack evaluation
  • 为什么对您有用: 本文属于生成模型的理论分析,与您的主要兴趣(因果推断、高维统计、U-统计量等)无直接交集,但其中对条件互信息的使用和累积误差的量化思路,可能对您在高维统计或假设检验中的信息论方法有所启发。作为跨领域阅读,本文的数学框架清晰,但并非您领域的核心文献,建议仅作泛读。

53. jmlr:v27/24-1466 · arXiv — Bridging Rested and Restless Bandits with Graph-Triggering: Rising and Rotting

  • 作者: Gianmarco Genalti, Marco Mussi, Nicola Gatti, Marcello Restelli, Matteo Castiglioni, Alberto Maria Metelli
  • 期刊/来源: JMLR
  • 机构: Politecnico di Milano
  • 分类: JMLR v27
  • 相关性 3/10 · novelty: new_method
  • 摘要: 本文提出图触发赌博机(GTB)框架,统一并推广了 rested 与 restless bandit 两类经典设置:臂的期望奖励演化由定义在臂上的图控制,拉取臂 i 会触发其邻居臂 j 的演化。Rested 与 restless bandit 分别是该模型在退化图下的特例。作者聚焦两类单调情形:rising(奖励随触发次数增加)与 rotting(奖励随触发次数减少),研究最优策略。针对所有场景给出算法并讨论理论保证,强调学习问题的复杂度依赖于编码图结构性质的实例相关项。该工作属于在线学习/强化学习理论,与您的因果推断、高维统计等主要兴趣无直接交集,但图结构驱动的状态演化建模可能对纵向因果推断中的动态处理机制有启发。
  • 关键技术: graph-triggered bandits, rested bandits, restless bandits, monotonic reward evolution, regret bounds
  • 为什么对您有用: 本文属于在线决策理论,与您的主要兴趣(因果推断、高维统计、U-统计量等)无直接重叠,但图触发机制可类比于因果图中的干预传播,可能为纵向因果推断中的动态处理效应建模提供新视角。作为 gateway reading,本文对赌博机理论的外行读者较为友好,但需要一定的在线学习基础。您的武器库(如 minimax 界、经验过程)足以理解其理论分析,但核心问题(遗憾界、图结构复杂度)并非您当前研究重点,建议仅作泛读,不值得深入跟进。

54. jmlr:v27/25-1020 · arXiv — Resilience Beyond Stationary Client Unavailability: Unlocking Efficient and Unbiased Federated Learning

  • 作者: Ming Xiang, Stratis Ioannidis, Edmund Yeh, Carlee Joe-Wong, Lili Su
  • 期刊/来源: JMLR
  • 机构: Northeastern University · Carnegie Mellon University
  • 分类: JMLR v27
  • 相关性 3/10 · novelty: application
  • 摘要: 本文研究联邦学习(FL)中客户端非平稳随机不可用性下的鲁棒训练问题。目标是在参数服务器对客户端可用性动态无先验知识时,设计高效的 FL 算法,避免因客户端不可用引入的偏差,并保证收敛到非凸目标的驻点。作者提出 FedSWE 算法,通过三个新颖结构:补偿错过的计算、跨轮稳定并扩散全局更新、以及通过隐式 gossip 均匀混合局部更新,来应对非平稳不可用性。与标准 FedAvg 相比,FedSWE 仅增加轻微的内存和计算开销,并在某些特殊情形下达到线性加速性质。实验在真实数据集上验证了算法在不同不可用性动态下的有效性。对您而言,本文属于分布式优化与系统鲁棒性方向,与您的主要统计兴趣(因果推断、高维、半参数等)无直接交集,但其中对非平稳随机过程的处理与偏差校正思想,或可作为统计计算中算法鲁棒性设计的参考。
  • 关键技术: federated learning, non-stationary client availability, bias compensation, implicit gossiping, convergence analysis
  • 为什么对您有用: 本文主题为联邦学习算法设计,属于统计计算与分布式优化的应用,与您的主要兴趣(因果推断、高维统计、半参数理论等)无直接重叠。作为 gateway reading,本文对非平稳随机性的处理方式(如补偿机制)可能对您理解动态系统中的偏差校正有启发,但整体方法学新颖性有限,且不涉及您武器库中的核心工具。因此,本文仅作为边缘阅读,不值得深入展开。

55. jmlr:v27/25-1164 — Viscosity Convergence Analysis for Deep Q-Networks

  • 作者: Qian Qi
  • 期刊/来源: JMLR
  • 分类: JMLR v27
  • 相关性 3/10 · novelty: new_method
  • 摘要: 本文研究连续时间强化学习(CTRL)中深度Q网络(DQN)的收敛性,其最优值函数满足完全非线性的二阶Hamilton-Jacobi-Bellman(HJB)方程,可能非光滑,因此需在粘性解框架下分析。作者提出一种空间耦合的单调ResNet架构,其单步算子为非负局部聚合,旨在算子层面满足单调性和稳定性。在算子一致性的假设下,利用Barles-Souganidis框架获得算子级收敛到粘性解的结果。文章进一步区分了理想算子迭代与实际带投影的拟合值迭代(投影到神经函数类)之间的近似间隙。在随机控制基准上,所提架构在尖点附近过冲更小,数值行为比逐点PINN风格基线更稳定。
  • 关键技术: viscosity solutions, Barles-Souganidis framework, monotone ResNet, fitted value iteration, continuous-time reinforcement learning
  • 为什么对您有用: 本文属于计算与统计的交叉领域,但核心是数值PDE与强化学习的收敛性,与您的主要兴趣(因果推断、高维统计、U统计量等)无直接交集。不过,其单调算子与粘性解框架可能对您在高维统计中的数值方法或统计计算兴趣有间接启发,但作为入门读物价值有限,因为需要PDE背景。

56. jmlr:v27/25-2025 · arXiv — Ehrenfeucht-Haussler Rank and Chain of Thought

  • 作者: Pablo Barceló, Alexander Kozachinskiy, Tomasz Steifer
  • 期刊/来源: JMLR
  • 机构: Institute of Fundamental Technological Research
  • 分类: JMLR v27
  • 相关性 3/10 · novelty: new_theory
  • 摘要: 本文研究布尔函数的 Ehrenfeucht-Haussler rank 与单层硬注意力 Transformer 的 Chain of Thought (CoT) 迭代次数之间的等价关系。作者证明,函数 f 的 rank 恰好等于计算 f 所需的最小 CoT 迭代次数,从而将 PAC 学习中的经典复杂度度量与 Transformer 的表达能力联系起来。基于此刻画,他们给出了若干具体问题的紧界:ℓ 重函数复合恰好需要 ℓ 次 CoT 迭代,而寻找布尔序列中第 k 个 1 的位置需要 k 次迭代。文章还引入多头 rank 的概念以刻画多头单层 Transformer,并分析了有界多头 rank 函数类的 PAC 可学习性。该工作属于理论机器学习与计算复杂度交叉领域,与统计推断无直接方法学关联。
  • 关键技术: Ehrenfeucht-Haussler rank, Chain of Thought, hard attention Transformer, PAC learning, Boolean function composition
  • 为什么对您有用: 本文属于理论机器学习/计算复杂度,与您的主要兴趣(因果推断、高维统计、U-统计量等)无直接交集。但其中 rank 的刻画与函数复合的迭代复杂度,可能对您 moderately_familiar 的 HOIF 中高阶影响函数的复合结构有类比启发;不过作为 gateway reading,它并非统计方向入门读物,且武器库(如低度多项式、SoS)在此并不适用,故暂不可做,不建议优先阅读全文。

57. jmlr:v27/25-2669 · arXiv — Adaptive Algorithms for Infinitely Many-Armed Bandits: A Unified Framework

  • 作者: Emmanuel Pilliat
  • 期刊/来源: JMLR
  • 机构: École Nationale de la Statistique et de l'Analyse de l'Information · Centre de Recherche en Économie et Statistique
  • 分类: JMLR v27
  • 相关性 3/10 · novelty: new_method
  • 摘要: 本文研究无限多臂老虎机问题,在预算小于臂数(可能无限)的设定下,目标是最小化简单遗憾,但为处理无界支撑的分布类,作者转而最大化推荐臂的期望简单奖励,并提供任意时刻保证。作者提出无分布算法 OSE,自适应于臂均值分布,在若干分布类上达到近最优速率;样本复杂度由秩修正的逆平方间隙函数刻画。当分位数函数为 λ_η = 1-η^α 时,恢复已知的 α<1/2 与 α>1/2 的转变区间,并识别出依赖于噪声水平与 α 的新转变区间,作者猜想其近最优。另提出实用增强版 PROSE,在文献主要分布类上达到最先进经验性能。
  • 关键技术: infinitely many-armed bandits, simple regret, adaptive algorithms, rank-corrected inverse squared gap, anytime guarantees
  • 为什么对您有用: 本文属于 bandit 理论,与您的主要兴趣(因果推断、高维统计、U-统计量等)无直接交集;但其中自适应算法与样本复杂度刻画的思想,可能对您在统计计算或算法设计方面有间接启发。作为 gateway reading,本文对 bandit 领域外读者有一定门槛,但问题设定清晰,值得快速浏览以了解该领域当前关注点。

58. jmlr:v27/25-3192 · arXiv — From Zipf's Law to Neural Scaling through Heaps' Law and Hilberg's Hypothesis

  • 作者: Łukasz Dębowski
  • 期刊/来源: JMLR
  • 机构: Polish Academy of Sciences
  • 分类: JMLR v27
  • 相关性 3/10 · novelty: new_theory
  • 摘要: 本文研究神经缩放定律(neural scaling law)与 Zipf 定律之间的演绎关系,属于机器学习与定量语言学的交叉领域。作者系统揭示了从 Zipf 定律推导出 Heaps 定律(词汇增长)、从 Heaps 定律推导出 Hilberg 假设(熵缩放)、再从 Hilberg 假设推导出神经缩放定律的完整逻辑链条,并明确了每一步所需的宽泛假设。文中以 Santa Fe 过程作为满足全部四条统计定律的玩具示例,验证了推导的有效性。该工作为理解大语言模型性能随数据量、参数和计算量缩放的现象提供了基于文本统计规律的演绎基础,而非经验拟合。对您而言,本文虽不直接涉及因果推断或高维统计,但其从幂律假设到熵缩放再到模型性能的推导框架,可能为统计计算中信息-计算权衡的建模提供一种新的理论视角。
  • 关键技术: Zipf's law, Heaps' law, Hilberg's hypothesis, neural scaling law, Santa Fe process
  • 为什么对您有用: 本文属于 gateway reading 范畴(统计计算/信息论与机器学习交叉),不直接对应您的主要兴趣。作为入门读物,它清晰展示了从文本统计规律到模型性能的理论推导链条,但需要一定的信息论背景。您的武器库(如高维渐近、U-统计量)足以理解其数学结构,但核心内容与您的统计推断方向关联较弱。若您对语言模型的理论基础感兴趣,可花时间阅读全文以拓宽视野,但并非优先推荐。

59. jmlr:v27/26-1034 — Optimising Utility Functions in Multi-Objective Markov Decision Processes

  • 作者: Manel Rodriguez-Soto
  • 期刊/来源: JMLR
  • 分类: JMLR v27
  • 相关性 3/10 · novelty: new_theory
  • 摘要: 本文研究多目标马尔可夫决策过程(MOMDP)中效用函数的理论性质。在 SER(标量化期望回报)和 ESR(期望标量化回报)两种准则下,作者刻画了保证最优策略存在的效用函数类别,以及可由效用函数表示的偏好关系。通过形式化分析,给出了 MOMDP 算法应聚焦的效用函数与偏好关系族,为算法设计提供理论指导。该工作属于决策理论与运筹学范畴,与统计推断无直接关联。
  • 关键技术: Multi-Objective MDP, utility function characterization, preference representation, SER/ESR criteria
  • 为什么对您有用: 本文属于决策理论,与您的主要兴趣(因果推断、高维统计等)无直接交集,但可作为跨领域阅读了解 MOMDP 的效用聚合框架。您的武器库(如动态规划、优化)可支撑理解其理论,但无需深入。

60. jmlr:v27/24-0169 — Why "Classic" Transformers Are Shallow and A Depth-Enabling Technique

  • 作者: Yueyao Yu, Yin Zhang
  • 期刊/来源: JMLR
  • 分类: JMLR v27
  • 相关性 2/10 · novelty: minor
  • 摘要: 本文研究经典 Transformer 架构在加深时难以训练的问题,提出其根源在于自注意力机制导致的 token 相似度随深度线性增长(token similarity escalation)。作者通过分析注意力矩阵的不变主特征空间和大谱隙,从理论上证明了这一现象,并据此提出一种简单技术,在不削弱自注意力整体作用的前提下移除过度的 token 相似度,从而支持更深层的 Transformer 训练。论文通过小规模概念验证实验展示了该技术的可行性。对您而言,本文虽非统计推断主题,但其对注意力矩阵谱性质的分析与您在高维随机矩阵理论方面的背景有潜在联系,可作为跨领域阅读的素材。
  • 关键技术: self-attention mechanism, spectral gap analysis, token similarity escalation, depth-enabling technique
  • 为什么对您有用: 本文属于深度学习理论,与您的主要兴趣(因果推断、高维统计等)无直接交集,但其中对注意力矩阵谱性质(不变主特征空间、谱隙)的分析,与您在高维随机矩阵理论方面的背景有潜在联系。作为 gateway reading,本文对非深度学习专家较为友好,但并非统计方法学论文,不值得深入展开。

61. jmlr:v27/25-0994 · arXiv — FLAGG: Flexible Autoregressive Graph Generation

  • 作者: Samuel Cognolato, Alessandro Sperduti, Luciano Serafini
  • 期刊/来源: JMLR
  • 机构: Fondazione Bruno Kessler
  • 分类: JMLR v27
  • 相关性 2/10 · novelty: new_method
  • 摘要: 本文提出 FLAGG 框架,将 one-shot 图生成模型(如 DiGress)转化为自回归式生成,以兼顾大图与小图的生成质量。核心机制是定义一个随机节点移除过程,并训练一个插入模型来逆推该过程,从而按序生成图的子块。FLAGG 允许灵活选择序列策略,并可与任意 one-shot 模型结合。实验在多种规模与领域的图数据集上表明,FLAGG 在采样质量上优于纯 one-shot 和纯自回归基线。该方法属于深度生成模型领域,与您的统计推断兴趣无直接交集。
  • 关键技术: autoregressive graph generation, one-shot graph generation, stochastic node removal process, insertion model
  • 为什么对您有用: 本文主题为图生成,与您的因果推断、高维统计等主要兴趣无直接关联,也不属于 gateway reading 范畴(非 astro/econ/epi/stat-computing tradeoff)。因此仅作一般性了解,不值得深入阅读。

62. jmlr:v27/25-2206 · arXiv — Abstract Gradient Training: A Unified Certification Framework for Data Poisoning, Unlearning, and Differential Privacy

  • 作者: Philip Sosnin, Matthew Wicker, Josh Collyer, Calvin Tsay
  • 期刊/来源: JMLR
  • 机构: Imperial College London · The Alan Turing Institute
  • 分类: JMLR v27
  • 相关性 2/10 · novelty: new_method
  • 摘要: 本文提出一种统一的认证框架 Abstract Gradient Training (AGT),用于在数据投毒、机器遗忘和差分隐私等安全场景下,对模型输出(如预测标签或损失)提供可证明的鲁棒性保证。该方法将抽象解释(abstract interpretation)应用于梯度下降训练过程,通过定义梯度更新的抽象域(如区间或凸多面体),在训练过程中跟踪参数的可能取值范围,从而在推理时对任意数据扰动(包括训练数据修改、删除或隐私噪声)给出输出的安全界。与现有主要针对推理时扰动的认证方法不同,AGT 直接处理训练时的不确定性,并统一了三种看似不同的安全性质。理论上,作者证明了在适当抽象域下,AGT 能恢复或改进现有针对数据投毒和遗忘的认证结果,并给出计算复杂度与精度之间的权衡分析。实验上,在多个图像和文本数据集上验证了该框架的有效性,展示了在不同扰动预算下的认证精度。对您而言,该工作属于统计计算与算法安全交叉领域,其抽象解释与训练过程结合的思想,可能为高维统计估计中的计算-精度权衡提供新的视角,但并非您核心研究方向。
  • 关键技术: abstract interpretation, gradient descent certification, data poisoning robustness, machine unlearning, differential privacy
  • 为什么对您有用: 本文属于统计计算与安全性的交叉,与您的 statistical computing 兴趣有间接关联,但并非核心方向。作为 gateway reading,它展示了如何将形式化方法(抽象解释)用于训练过程的鲁棒性分析,对您理解计算约束下的统计推断有一定启发。武器库方面,您对优化和算法有基础,但缺乏抽象解释和形式验证的专门知识,因此属于中期可探索的方向,需先补充相关背景。

63. jmlr:v27/25-2175 — AgentPEN: A Prediction-Explanation Network for Sequential Stock Movement via LLMs and Recurrent Generation

  • 作者: Shuqi Li, Mengyao Guo, Yunzhong Zheng, Siqi Li, Xin Gao, Rui Yan
  • 期刊/来源: JMLR
  • 分类: JMLR v27
  • 相关性 2/10 · novelty: application
  • 摘要: 本文提出 AgentPEN,一个用于股票走势预测与解释的深度网络,核心动机是金融新闻文本与价格序列的异质、噪声大且时间空间影响范围不定的对齐问题。方法上,先由基于 LLM 的表示融合智能体以 Selection-Memory-Fusion 方式处理文本:Text Selection 模块从海量新闻中筛选有用信息,Text Memory 模块从时间与空间两个视角评估并写入文本记忆,Information Fusion 模块建模文本与价格数据的交互;随后将融合表示送入 Deep Recurrent Generation 模块,以循环生成方式探索股票走势的分布并输出预测。实验在多个真实数据集上表明,AgentPEN 在预测准确性和可解释性上均超越现有基线。对您而言,本文属于应用型工作,方法学 novelty 有限,但其中文本与数值时间序列的对齐与融合思路,以及可解释性设计,或可作为金融领域应用研究的参考。
  • 关键技术: LLM-based representation fusion, Selection-Memory-Fusion, Deep Recurrent Generation, temporal and spatial memory, stock movement prediction
  • 为什么对您有用: 本文属于应用型工作,与您的主要兴趣(因果推断、高维统计、U-统计量等)无直接方法学关联,但可作为金融领域应用研究的入门读物,了解 LLM 与时间序列融合的实践。您的技术武器库(如非参数统计、因果推断)不足以直接攻入本文核心,但若对金融预测应用感兴趣,可中期学习 LLM 与序列建模工具。

64. jmlr:v27/25-2248 · arXiv — Safe Learning Under Irreversible Dynamics via Asking for Help

  • 作者: Benjamin Plaut, Juan Liévano-Karim, Hanlin Zhu, Stuart Russell
  • 期刊/来源: JMLR
  • 分类: JMLR v27
  • 相关性 2/10 · novelty: new_method
  • 摘要: 本文研究在不可逆动态(即某些错误无法恢复)的马尔可夫决策过程(MDP)中,如何通过允许智能体向导师(mentor)请求帮助并在相似状态间迁移知识,实现安全且有效的在线学习。在标准在线学习假设下,作者提出一种算法,其遗憾和导师查询次数均关于时间水平亚线性,适用于无限状态空间。证明通过三个逐步归约完成,使结果比单一算法更具一般性。概念上,这是首个形式化证明,表明智能体在未知、无界、高风险的不可逆环境中,无需重置即可获得高奖励并实现自给自足。
  • 关键技术: online learning, Markov decision processes, regret bounds, knowledge transfer, mentor queries
  • 为什么对您有用: 本文属于强化学习理论,与您的主要兴趣(因果推断、高维统计等)无直接交集,但其中关于不可逆动态下的安全学习与知识迁移的思想,可能对您关注的纵向因果推断中的序贯决策问题有启发。作为跨领域阅读,本文的证明归约技巧(三个归约)值得一看,但并非您武器库中的核心工具,属于暂不可做的范畴。

65. jmlr:v27/25-2259 · arXiv — Learning to Play Two-Player Perfect-Information Games without Knowledge

  • 作者: Quentin Cohen-Solal
  • 期刊/来源: JMLR
  • 分类: JMLR v27
  • 相关性 1/10 · novelty: application
  • 摘要: 本文研究无先验知识下双人完美信息博弈的强化学习,目标是学习状态评估函数以提升对弈强度。方法上推广了树自举(tree bootstrapping)到非线性函数逼近的强化学习设定,修改了 Unbounded Best-First Minimax 以扩展最优动作序列至终局,并用更丰富的奖励信号(快速胜利、延迟失败、得分)替代传统 ±1 胜负标签。此外提出利用状态解析的完成机制,以及新的动作选择分布(ordinal distribution)。实验表明各技术均显著提升棋力,整合为统一算法 Athénan 后,在 Hex、Othello、Arimaa 及单人游戏 Morpion Solitaire 上超越现有最先进水平,且无需领域知识。对您而言,本文属于强化学习与博弈论应用,与您的主要兴趣(因果推断、高维统计等)无直接交集,但其中树自举与函数逼近的结合方式或可作为统计计算中迭代算法的参考。
  • 关键技术: tree bootstrapping, best-first minimax, reinforcement learning, nonlinear function approximation, ordinal distribution
  • 为什么对您有用: 本文属于强化学习/博弈论应用,与您的主要兴趣(因果推断、高维统计、半参数理论等)无直接交集,但其中树自举与函数逼近的结合方式或可作为统计计算中迭代算法的参考。作为 gateway reading,本文对统计学家而言入门门槛较高,涉及大量博弈论与强化学习术语,且武器库中缺乏相关核心工具(如策略梯度、价值迭代),因此暂不可做。

Maintained by 陈星宇 · Homepage · Source on GitHub

评论