跳转至

JMLR — Vol 27 · 2026-05-17

  • 共 50 篇 · JMLR

因果推断 (causal_inference, 6 篇)

1. jmlr:v27/24-2207 — Boosted Control Functions: Distribution Generalization and Invariance in Confounded Models

  • 作者: Nicola Gnecco, Jonas Peters, Sebastian Engelke, Niklas Pfister
  • 期刊/来源: JMLR
  • 分类: JMLR v27
  • 相关性 9/10 · novelty: new_theory
  • 摘要: 在隐混杂下的分布外泛化问题中,本文研究非线性、不可识别结构函数设定下的预测任务,关键假设为 SIMDG(Simultaneous Equation Models for Distribution Generalization)描述的数据生成过程与分布偏移。核心贡献是提出 Boosted Control Function (BCF)——一个可识别的推断目标,满足强不变性(strong invariance)概念,并在分布偏移下具有最坏情况最优性(worst-case optimality)。理论框架将计量经济学联立方程模型与机器学习连接,区别于现有弱不变性(如 ICP),BCF 在不可识别的非线性结构下仍能保证分布泛化。估计方面,提出 ControlTwicing 算法,利用非参数机器学习方法(如 boosting)两步残差化估计 BCF,并在合成与真实数据上与 robust risk minimization 及 ERM 对比验证泛化性能。对您有用:该工作将 control function 方法从传统 IV 线性设定推广至非参数分布泛化,直接关联您在因果推断(IV、混杂)与半参数/非参数理论方面的兴趣,且 SIMDG 框架对经济理论应用有迁移价值。
  • 关键技术: Boosted Control Function, strong invariance, Simultaneous Equation Models for Distribution Generalization, ControlTwicing algorithm, worst-case optimal prediction, nonparametric two-step estimation
  • 为什么对您有用: 直接关联您在因果推断中 IV 与混杂处理的兴趣:将经典 control function/IV 思想推广至非参数分布泛化场景,提出可识别目标 BCF 及其最坏最优性理论;SIMDG 框架连接计量经济学,对经济理论应用有迁移价值。

2. jmlr:v27/23-0944 — Flexible Functional Treatment Effect Estimation

  • 作者: Jiayi Wang, Raymond K. W. Wong, Xiaoke Zhang, Kwun Chuen Gary Chan
  • 期刊/来源: JMLR
  • 分类: JMLR v27
  • 相关性 8/10 · novelty: new_method
  • 摘要: 本文研究函数型处理(functional treatment)下的处理效应估计,目标 estimand 是平均潜在结果泛函——一个从函数到实数的映射,区别于传统连续处理效应中目标为实数到实数的函数。采用灵活的 scalar-on-function marginal structural model,提出 weight-modified kernel ridge regression (WMKRR) 进行估计。权重构造不依赖特定处理选择模型,而是通过直接最小化 WMKRR 估计量分解所得的 uniform balancing error 来获得;尽管该 balancing error 结构复杂,representer theorem 使其可转化为有限维凸优化问题高效求解。理论上,WMKRR 估计量在无需真实权重函数光滑性假设的条件下即可达到最优收敛速率。该方法对您在因果推断中连续/函数型处理效应的半参数估计有直接参考价值,尤其是其基于 balancing error 的权重构造思路可迁移至 proximal CI 或纵向因果设定中的混杂平衡问题。
  • 关键技术: kernel ridge regression, marginal structural model, uniform balancing error, representer theorem, functional treatment effect, covariate balancing weight
  • 为什么对您有用: 直接关联您 primary interest 中的因果推断(连续/函数型处理的 marginal structural model 估计)与半参数理论(RKHS 下的最优收敛速率),其基于 balancing error 而非倾向得分模型的权重构造思路可迁移至您关注的 proximal CI 等设定中的混杂平衡问题。

3. jmlr:v27/23-0535 — A causal fused lasso for interpretable heterogeneous treatment effects estimation

  • 作者: Oscar Hernan Madrid Padilla, Yanzhen Chen, Carlos Misael Madrid Padilla, Gabriel Ruiz
  • 期刊/来源: JMLR
  • 分类: JMLR v27
  • 相关性 8/10 · novelty: new_method
  • 摘要: 在异质性处理效应(CATE)估计中,本文提出基于 fused lasso 的因果推断方法,目标是在倾向得分或预后得分排序下估计分段常数的处理效应。核心机制是先根据倾向得分或预后得分对样本排序并匹配处理组与对照组,随后应用 fused lasso 惩罚获得关于该排序的分段常数估计。与预先固定子群的离散化得分方法不同,该方法通过 fused lasso 的全变差惩罚自适应地划分子群,从而提供可解释的亚组效应。理论上,在关于协变量和处理分配非常一般的条件下,证明了该估计量对条件处理效应的一致性。实验表明该方法在可解释性上具有优势,且与现有最优方法(如因果森林等)具有竞争力。对您有用:该方法将 fused lasso 引入 CATE 估计,属于因果推断中非参数估计的新方法,其自适应子群发现机制和理论一致性证明对您在因果推断估计和统计计算算法方面的兴趣有直接参考价值。
  • 关键技术: fused lasso, heterogeneous treatment effects, propensity score, prognostic score, piecewise constant estimation, data-adaptive subgroups
  • 为什么对您有用: 该方法将 fused lasso 引入 CATE 估计,属于因果推断中非参数估计的新方法,其自适应子群发现机制和理论一致性证明对您在因果推断估计和统计计算算法方面的兴趣有直接参考价值。

4. jmlr:v27/23-1023 — Identifying Weight-Variant Latent Causal Models

  • 作者: Yuhang Liu, Zhen Zhang, Dong Gong, Mingming Gong, Biwei Huang, Anton van den Hengel et al.
  • 期刊/来源: JMLR
  • 分类: JMLR v27
  • 相关性 7/10 · novelty: new_theory
  • 摘要: 本文研究潜在因果表示学习的识别性问题,设定为允许潜在变量间存在瞬时因果关系的线性高斯潜在因果模型,且因果系数与噪声方差受额外观测变量调制。作者剖析了从观测数据识别潜在变量的三个内在不确定性(传递性、置换、尺度),指出传递性是阻碍识别的关键。为克服传递性带来的不可识别问题,引入了“参考条件”(reference condition,即潜在因果影响消失)假设。理论证明在该条件下潜在因果变量可识别至平凡的置换与尺度变换,并在部分违反参考条件时给出部分识别结果。基于此,提出结构因果变分自编码器(SuaVE)联合学习因果表示、潜在结构与生成映射,实验验证了识别性与一致性。对您有用:本文从传递性视角探讨潜在因果模型的识别性,为因果推断(identification)方向提供了不同于传统潜在变量/IV的新理论切入点,尽管估计方法基于VAE而非半参数效率理论。
  • 关键技术: causal representation learning, latent variable identifiability, transitivity indeterminacy, weight-variant linear-Gaussian model, variational autoencoder
  • 为什么对您有用: 本文聚焦因果推断中的 identification 问题,探讨了潜在变量瞬时因果下的不可识别性及参考条件假设,为您在因果识别理论方向提供了关于传递性不确定性的新视角,尽管其估计框架偏向表示学习而非半参数理论。

5. jmlr:v27/25-0899 — Hierarchical Causal Models

  • 作者: Eli N. Weinstein, David M. Blei
  • 期刊/来源: JMLR
  • 分类: JMLR v27
  • 相关性 7/10 · novelty: new_theory
  • 摘要: 本文研究嵌套层级数据(如学校-学生、患者-细胞)下的因果推断问题,通过引入内层板(inner plates)将结构因果模型与图模型扩展为层级因果模型。核心方法上,作者提出了一种推广 do-演算的图识别技术,证明了层级数据结构能够在非层级数据无法识别的情况下实现因果识别(例如仅有单元级汇总变量时)。在估计策略方面,文章开发了基于层级贝叶斯模型的估计方法,并通过模拟与经典“八校”数据的重分析验证了其有效性。主要理论贡献在于将因果图识别理论拓展至嵌套结构,揭示了数据层级性对识别的增益作用。对您有用:该文拓展了因果识别理论的边界,若您关注多层级数据(如流行病学队列或经济群组结构)的因果识别,此框架提供了新的图模型工具与识别思路。
  • 关键技术: structural causal models, graphical identification, do-calculus generalization, hierarchical Bayesian models, inner plates
  • 为什么对您有用: 直接关联您 primary interest 中的因果推断(identification),且层级数据设定在流行病学(细胞-患者)与经济学(个体-群组)中极为常见,提供了非传统设定下的识别新视角。

6. jmlr:v27/23-0958 — Bayesian Inference of Contextual Bandit Policies via Empirical Likelihood

  • 作者: Jiangrong Ouyang, Mingming Gong, Howard Bondell
  • 期刊/来源: JMLR
  • 分类: JMLR v27
  • 相关性 5/10 · novelty: new_method
  • 摘要: 在 contextual bandit 的离线策略评估设定下,本文旨在有限样本情形下对多策略值进行联合推断与比较。核心方法是将经验似然(Empirical Likelihood, EL)引入贝叶斯推断框架,利用 EL 的非参数似然性质构造策略值的后验分布。该方法无需指定误差分布假设,在小样本下对策略值的置信区间构建具有鲁棒性,并能对策略比较提供完整的后验不确定性量化。理论与模拟表明,该方法在有限样本下相比传统渐近正态方法具有更准确的覆盖率,并在青少年 BMI 流行病学数据集中验证了其实用性。对您有用:经验似然是半参数有效推断的经典工具,本文将其与贝叶斯结合用于策略评估,对您在因果推断中的离线策略评估及半参数理论兴趣有直接参考价值,且包含流行病学数据应用。
  • 关键技术: empirical likelihood, Bayesian inference, contextual bandit policy evaluation, uncertainty quantification, off-policy evaluation
  • 为什么对您有用: 经验似然是半参数推断的核心工具,本文将其用于因果推断相关的离线策略评估,且包含流行病学(BMI)数据应用,直接连接您的半参数理论与因果/流行病学兴趣。

高维统计 / 随机矩阵 (high_dim_rmt, 2 篇)

1. jmlr:v27/25-0458 — The Distribution of Ridgeless Least Squares Interpolators

  • 作者: Qiyang Han, Xiaocong Xu
  • 期刊/来源: JMLR
  • 分类: JMLR v27
  • 相关性 9/10 · novelty: new_theory
  • 摘要: 本文研究超参数化线性回归中 Ridgeless 最小 ℓ2 范数插值器的精确分布性质,设定为一般非高斯随机设计下的高维线性模型。核心方法是将 Ridgeless 插值器的分布等价于一个关联高斯序列模型中带正则化的 Ridge 估计量,从而在最一般的分布意义下精确量化了隐式正则化的效果。该分布刻画对一般非高斯设计成立,且一致地延拓至正则化 Ridge 估计量。作为直接应用,本文获得了 Ridge(less) 估计量的一大类加权 ℓq 风险的完整刻画,此前基于随机矩阵方法仅知 q=2 的情形;这些风险不仅包含标准预测与估计误差,还涵盖非标准的协变量偏移设定。进一步,一致刻画揭示了广义与 k 折交叉验证的一个惊人性质:仅通过这些方法调节 ℓ2 预测风险,即可同时实现 ℓ2 样本内、预测和估计风险的最优,以及 debiased 置信区间长度的最优。对您而言,本文将随机矩阵理论的高维推断与 debiased ML/效率理论的置信区间建立联系,提供了高维插值推断的新视角。
  • 关键技术: Ridgeless least squares interpolator, Gaussian sequence model equivalence, implicit regularization, weighted ℓq risk characterization, random matrix theory, debiased confidence intervals
  • 为什么对您有用: 本文直接推进了高维统计与随机矩阵理论在插值估计量推断中的应用,同时揭示了交叉验证与 debiased 置信区间最优性的联系,对您在效率理论(debiased ML)和高维推断方面的研究具有直接参考价值。

2. jmlr:v27/25-0151 — Adaptive Forward Stepwise: A Method for High Sparsity Regression

  • 作者: Ivy Zhang, Robert Tibshirani
  • 期刊/来源: JMLR
  • 分类: JMLR v27
  • 相关性 4/10 · novelty: new_method
  • 摘要: 在高维稀疏回归设定下,针对 LASSO 易选过多特征而 Forward Stepwise (FS) 缺乏收缩的问题,本文提出兼具高稀疏性与收缩性的估计方法。提出 Adaptive Forward Stepwise Regression (AFS),通过连续调节参数在 FS 与 LASSO 解路径之间插值。从软阈值视角揭示了 AFS 与 Boosting 的等价联系,并展示了其向分类任务的直接推广。模拟与真实数据表明,AFS 相较于常用稀疏方法具有更低的 MSE 及更少的选中特征数。对您有用:该工作属于高维统计与统计计算(算法)的交叉,虽未涉及 RMT 或严格推断理论,但其变量选择与收缩的权衡机制可为高维因果推断中的特征筛选提供新算法思路。
  • 关键技术: sparse regression, Forward Stepwise selection, LASSO, soft-thresholding, boosting, shrinkage
  • 为什么对您有用: 涉及高维统计中的稀疏回归与变量选择算法,虽然偏向计算与方法而非 RMT 或推断理论,但其软阈值与 Boosting 的联系对高维因果推断中的特征筛选及统计计算(算法实现)有参考价值。

非参数 / 半参数 (nonparam_semipara, 13 篇)

1. jmlr:v27/22-1436 — Decorrelated Local Linear Estimator: Inference for Non-linear Effects in High-dimensional Additive Models

  • 作者: Zijian Guo, Wei Yuan, Cunhui Zhang
  • 期刊/来源: JMLR
  • 分类: JMLR v27
  • 相关性 9/10 · novelty: new_method
  • 摘要: 在高维可加模型设定下,本文研究函数导数的推断问题(置信区间与假设检验),旨在识别非线性的处理效应。提出了一种去相关局部线性估计器(decorrelated local linear estimator),其核心创新在于构造去相关权重,有效降低高维讨厌函数估计所继承的误差。理论上证明了该估计器的渐近正态性,并基于此构建了导数的置信区间与假设检验流程。对您有用:去相关权重的构造与 debiased ML / orthogonal score 思想一脉相承,为高维非参数/半参数模型的推断提供了新工具,直接契合您在 semiparametric efficiency 与 high-dimensional inference 上的研究兴趣。
  • 关键技术: decorrelated local linear estimator, high-dimensional additive model, nuisance function decorrelation, asymptotic normality, derivative inference
  • 为什么对您有用: 去相关权重的构造本质上属于高维 debiased/decorrelated inference 范畴,直接契合您在 semiparametric efficiency bounds 与 high-dimensional statistics 上的核心兴趣,且为非线性因果效应推断提供了方法学支撑。

2. jmlr:v27/23-0425 — Error Analysis for Deep ReLU Feedforward Density-Ratio Estimation with Bregman Divergence

  • 作者: Siming Zheng, Guohao Shen, Yuanyuan Lin, Jian Huang
  • 期刊/来源: JMLR
  • 分类: JMLR v27
  • 相关性 7/10 · novelty: new_theory
  • 摘要: 本文研究在 Bregman 散度下使用 Deep ReLU 前馈神经网络进行密度比估计(BDD)的非渐近误差界,设定涵盖有限支撑、无界支撑及无界密度比情形。作者证明了 BDD 估计器的非渐近误差界,在有限支撑下达到 minimax 最优(至多对数因子),并在数据分布支撑于近似低维流形时缓解了维数灾难。基于密度比估计的收敛结果与 data-splitting 技术,文章提出了一个渐近正态(n^{-1/2}-CAN)的 KL 散度估计器。此外,作者将理论应用于 Rhodes (2020) 的 telescoping 密度比估计器,给出了其误差界优于单一比估计器的充分条件。这对您有用:密度比估计是因果推断 IPW 与协变量偏移的核心工具,其 minimax 最优界与渐近正态性结论直接关联您的半参数/非参数理论及效率理论(debiased ML)研究兴趣。
  • 关键技术: density-ratio estimation, Bregman divergence, deep ReLU networks, minimax optimal rate, asymptotic normality, low-dimensional manifold
  • 为什么对您有用: 密度比估计是因果推断 IPW 与协变量偏移的核心工具,本文给出的 minimax 最优界与 KL 散度估计的渐近正态性直接关联到您的半参数/非参数理论及效率理论(debiased ML)研究兴趣。

3. jmlr:v27/25-0121 — Nonparametric Estimation of a Factorizable Density using Diffusion Models

  • 作者: Hyeok Kyu Kwon, Dongha Kim, Ilsang Ohn, Minwoo Chae
  • 期刊/来源: JMLR
  • 分类: JMLR v27
  • 相关性 7/10 · novelty: new_theory
  • 摘要: 本文在非参数密度估计框架下研究扩散模型(score-based generative models),目标密度假设可因子化为低维分量(如贝叶斯网络、Markov 随机场),以规避高维诅咒。核心方法是基于扩散模型构造隐式密度估计器,并设计稀疏权值共享神经网络架构(模拟 CNN/RNN 的稀疏性与权值共享)来拟合 score function。在适当正则性假设下,证明该估计器能自适应因子化结构,在 total variation 距离下达到 minimax 最优收敛速率。关键理论工具包括对因子化结构的维度自适应分析与神经网络逼近论。对您有用:将深度生成模型纳入非参数密度估计的 minimax 理论框架,为高维统计中利用低维结构降维提供了新的理论保证与计算架构思路。
  • 关键技术: diffusion model score matching, nonparametric density estimation, minimax optimal rate, factorizable density structure, sparse weight-sharing neural network, total variation distance
  • 为什么对您有用: 直接连接您 primary interest 中的非参数理论(minimax rate)与高维统计(低维结构自适应),同时涉及统计计算(神经网络架构设计),为高维密度估计提供了兼具理论保证与计算可行性的新路径。

4. jmlr:v27/24-0456 — Persistence Diagrams Estimation of Multivariate Piecewise Hölder-continuous Signals

  • 作者: Hugo Henneuse
  • 期刊/来源: JMLR
  • 分类: JMLR v27
  • 相关性 6/10 · novelty: sharper_rate
  • 摘要: 本文研究非参数回归设定下,从含噪信号估计持久图(子水平集滤流)的极小化极速率问题,目标函数为分段 Hölder 连续函数且不连续集的 reach 受控。传统方法依赖 sup-范数稳定性定理提升信号估计结果,本文转而利用代数稳定性,通过底层的交错直接针对瓶颈距离进行理论分析。作者证明,仅使用简单的直方图估计器生成的持久图,即可达到已知的标准 Hölder 连续函数的极小化极速率。关键技术在于引入子水平集的形变收缩,从而处理 sup-范数稳定性无法应对的边界不连续性。主要理论结果为分段 Hölder 信号下持久图估计的极小化极速率,突破了传统 sup-范数方法的局限。对您而言,这展示了在非参数理论中绕过范数稳定性、直接利用拓扑代数结构获取更优极小化极速率的技巧,对处理非标准正则性条件下的非参数推断具有方法论启发。
  • 关键技术: persistence diagrams, minimax rate, piecewise Hölder-continuous, algebraic stability, bottleneck distance, interleaving
  • 为什么对您有用: 直接关联您 primary interest 中的非参数理论,展示了如何通过代数拓扑工具(代数稳定性与交错)绕过传统范数界,在分段正则条件下获得更优极小化极速率,对处理复杂正则性假设下的非参数估计有方法论借鉴。

5. jmlr:v27/25-0376 — A Data-Augmented Contrastive Learning Approach to Nonparametric Density Estimation

  • 作者: Chenghao Li, Yuanyuan Lin
  • 期刊/来源: JMLR
  • 分类: JMLR v27
  • 相关性 5/10 · novelty: sharper_rate
  • 摘要: 本文研究非参数密度估计问题,在噪声对比估计(NCE)框架下利用深度神经网络拟合密度函数。提出的数据增强NCE估计量具有一步求解、免模拟且对网络无约束的优势,并证明其一致性与渐近自动归一化。数据增强步骤有效缓解了参考分布选择对估计的影响。理论上建立了期望 L2 风险与全变差距离的非渐近上界,达到极小极大最优速率;且在组合结构假设下对低维结构具有自适应性,获得更快的收敛速率。对您有用:该文将深度学习非参数估计的极小极大收敛率与结构自适应分析结合,直接推进了您关注的非参数理论,其一步式计算框架对统计计算方向亦有启发。
  • 关键技术: noise contrastive estimation, deep neural networks, minimax optimal rate, non-asymptotic bound, compositional structure adaptivity, data augmentation
  • 为什么对您有用: 本文建立了深度神经网络密度估计的极小极大最优非渐近上界,直接契合您在非参数理论方面的兴趣;其一步式、免模拟的计算优势也对统计计算方向有参考价值。

6. jmlr:v27/25-1017 — Nonlinear function-on-function regression by RKHS

  • 作者: Peijun Sang, Bing Li
  • 期刊/来源: JMLR
  • 分类: JMLR v27
  • 相关性 4/10 · novelty: new_theory
  • 摘要: 本文提出一种非线性函数对函数回归模型,设定中协变量与响应均为随机函数,核心假设为基于嵌套希尔伯特空间的 RKHS 结构。方法分两步:首先构建第一层希尔伯特空间容纳函数协变量与响应,随后在协变量上构建由第一层内积决定的正定核生成的第二层 RKHS 以捕捉非线性。估计程序允许不同个体在不同时间点观测的函数数据(稀疏/不规则观测)。理论上证明了估计量的收敛速率以及预测响应在希尔伯特空间中的弱收敛性。该方法为函数数据非线性建模提供了新的非参数理论框架。对您有用:本文的 RKHS 嵌套结构与弱收敛证明直接契合您对非参数理论的兴趣,其针对不规则观测的估计算法也可为统计计算提供参考。
  • 关键技术: function-on-function regression, nested Hilbert spaces, RKHS, weak convergence, convergence rate
  • 为什么对您有用: 本文聚焦 RKHS 嵌套结构与收敛速率/弱收敛证明,直接契合您在非参数理论方面的兴趣;其针对不规则观测函数数据的估计算法也对统计计算子方向有参考价值。

7. jmlr:v27/25-2745 — Refined Risk Bounds for Unbounded Losses via Transductive Priors

  • 作者: Jian Qian, Alexander Rakhlin, Nikita Zhivotovskiy
  • 期刊/来源: JMLR
  • 分类: JMLR v27
  • 相关性 3/10 · novelty: new_theory
  • 摘要: 在 transductive online learning 设定下(设计向量集合已知但顺序未知),本文研究无界损失(平方损失、hinge 损失、logistic 损失)下线性回归与分类的序贯风险界,不假设设计向量有界或最优参数范数有界。核心方法是带 transductive(依赖设计全集)先验的 exponential weights 算法,结合处理无界最优参数范数的额外聚合工具。分类 regret 界仅依赖参数空间维度与轮数,独立于设计向量与最优解范数——此性质此前仅在有界损失文献中出现。对平方损失线性回归,进一步推广至稀疏情形,给出仅额外依赖响应变量幅值的 sparsity regret 界;并论证这些改进界是 transductive 设定特有的,最坏序贯设定下不可达。算法在多种情形下有多项式时间近似,归结为对数凹测度采样而非构造 ε-cover。对您而言,稀疏回归的 refined risk bounds 与高维统计中 sparsity 结果形成对照,transductive-to-random-design 转化思路对非参数理论中的先验构造与 aggregation 有方法论借鉴价值。
  • 关键技术: exponential weights with transductive priors, sparsity regret bounds, log-concave sampling, aggregation for unbounded norms, transductive-to-statistical conversion
  • 为什么对您有用: 稀疏线性回归的 refined risk bounds 与您的高维统计兴趣直接对话;transductive 先验构造与 aggregation 技术对非参数/半参数效率理论中的先验选择与 minimax 界论证有迁移价值。

8. jmlr:v27/25-0668 — Covariate-dependent Hierarchical Dirichlet Processes

  • 作者: Huizi Zhang, Sara Wade, Natalia Bochkina
  • 期刊/来源: JMLR
  • 分类: JMLR v27
  • 相关性 3/10 · novelty: new_method
  • 摘要: 在多组相关数据的非参数密度估计与聚类设定下,本文提出 Covariate-dependent Hierarchical Dirichlet Process (cd-HDP),旨在通过引入协变量信息增强跨组信息借用与聚类灵活性。方法核心结合了 Hierarchical Dirichlet Process (HDP) 与 Dependent Dirichlet Process (DDP),利用核函数处理多种及混合类型的协变量依赖,并通过不同组分特定的似然适应多种输出类型。为解决归一化权重不可解析的问题,采用 data augmentation 技巧构建了 MCMC 后验推断算法。模拟与实证(scRNA-seq 及钙成像数据)表明,引入协变量(如细胞动态)能发现更多细胞亚群,并在神经活动数据中识别出与动物行为一致的可解释时间帧聚类。该文对您在非参数理论(贝叶斯非参数过程建模)及统计计算(MCMC data augmentation)方面的兴趣有参考价值,但侧重贝叶斯建模而非频率派半参数效率界。
  • 关键技术: hierarchical Dirichlet process, dependent Dirichlet process, data augmentation, MCMC posterior inference, Bayesian nonparametric density estimation
  • 为什么对您有用: 触及您 primary interest 中的非参数理论(贝叶斯非参数过程)与统计计算(MCMC 及 data augmentation 技巧),但属于贝叶斯建模路线,与您关注的频率派半参数效率界及因果推断距离较远。

9. jmlr:v27/25-0746 — Nonlocal Techniques for the Analysis of Deep ReLU Neural Network Approximations

  • 作者: Cornelia Schneider, Mario Ullrich, Jan Vybíral
  • 期刊/来源: JMLR
  • 分类: JMLR v27
  • 相关性 2/10 · novelty: new_theory
  • 摘要: 本文研究深度 ReLU 神经网络对 Sobolev 空间 W^s([0,1]^d) 和 Barron 类 B^s([0,1]^d)(0<s<1)的逼近性质,核心工具是 Daubechies 等人引入的分片线性 Riesz 基系统。作者证明该系统在上述函数类中仍是 Riesz 基,并利用此非局部方法重新证明深度网络逼近率,避免了传统的局部逼近技术。该方法可显式追踪隐式常数,并证明在 Barron 类上可避免维数灾难。此外,文章还研究了仅已知函数值时神经网络对 Sobolev/Barron 函数的逼近界。对您理解非参数理论中神经网络的逼近下界与高维非参数估计的 rate 有参考价值,尤其是 Barron 类避免 curse of dimensionality 的结果可迁移至高维半参数效率理论的 sieve 设定。
  • 关键技术: Riesz basis for Sobolev spaces, ReLU neural network approximation, Barron class approximation, nonlocal approximation technique, curse of dimensionality avoidance, piecewise linear basis system
  • 为什么对您有用: 连接非参数理论中函数逼近率与高维统计的理解:Barron 类上避免维数灾难的结果对您在 semiparametric efficiency / sieve M-estimation 中使用神经网络作为 sieve 有直接的理论支撑,显式常数追踪也有助于 debiased ML 中的余项分析。

10. jmlr:v27/23-1465 — Exploring Novel Uncertainty Quantification through Forward Intensity Function Modeling

  • 作者: Yudong Wang, Zhi-Sheng Ye, Cheng Yong Tang
  • 期刊/来源: JMLR
  • 分类: JMLR v27
  • 相关性 2/10 · novelty: new_method
  • 摘要: 本文研究带有动态预测变量(随机过程)的时间-事件数据的预测不确定性量化问题,核心 estimand 为 forward intensity function。作者提出一种基于 forward intensity function 的新建模框架,能够容纳随时间演变的随机过程协变量。在理论方面,该工作建立了函数型参数估计的弱收敛性(weak convergence),为不确定性量化提供了严格的渐近保证。方法层面,该框架展现出显著的计算效率,适用于大规模数据的分析。数值模拟与两个真实数据集验证了其有效性。对您而言,文中关于函数型参数弱收敛的理论推导与大规模统计计算实现,与您关注的非参数/半参数理论及统计计算方向有方法论上的交集。
  • 关键技术: forward intensity function, uncertainty quantification, weak convergence of function-valued parameters, dynamic predictors, time-to-event analysis
  • 为什么对您有用: 函数型参数估计的弱收敛理论及大规模计算实现与您关注的半参数/非参数理论及统计计算方向有直接交集,可借鉴其函数空间推断技巧与算法优化思路。

11. jmlr:v27/24-1199 — Finite Neural Networks as Mixtures of Gaussian Processes: From Provable Error Bounds to Prior Selection

  • 作者: Steven Adams, Andrea Patanè, Morteza Lahijanian, Luca Laurenti
  • 期刊/来源: JMLR
  • 分类: JMLR v27
  • 相关性 2/10 · novelty: new_theory
  • 摘要: 在有限宽度和深度的神经网络(参数不必 i.i.d.)设定下,本文研究如何用高斯过程混合(mixture of Gaussian processes)近似 NN 输出分布,并给出近似误差的可证明上界。核心方法基于最优传输与 Wasserstein 距离,逐层将 NN 每层输出分布迭代近似为 GP 混合;对任意 NN 和 ε>0,算法在有限输入点集上返回与 NN 输出 ε-接近的 GP 混合。进一步利用误差界关于参数的可微性,提出通过梯度调参使 NN 模仿给定 GP 的泛函行为,用于贝叶斯推断中的先验选择。实验在回归与分类任务上验证了方法对不确定性量化的有效性。对您而言,该工作将有限 NN 与 GP 的对偶关系从极限情形推进到有限情形并给出可证明误差界,为非参数理论中 NN-GP 逼近分析及统计计算中的逐层近似算法提供了新工具。
  • 关键技术: mixture of Gaussian processes, Wasserstein distance, optimal transport, layer-wise distribution approximation, provable approximation error bounds, Bayesian prior selection via differentiability
  • 为什么对您有用: 将有限 NN 的 GP 近似从极限等价推进到有限情形并给出 Wasserstein 误差界,直接关联您 primary interest 中的非参数理论(GP 逼近)与统计计算(逐层近似算法),可迁移至非参数估计中 NN-GP 对偶的理论分析。

12. jmlr:v27/24-2030 — Optimization and Generalization of Gradient Descent for Shallow ReLU Networks with Minimal Width

  • 作者: Yunwen Lei, Puyu Wang, Yiming Ying, Ding-Xuan Zhou
  • 期刊/来源: JMLR
  • 分类: JMLR v27
  • 相关性 1/10 · novelty: sharper_rate
  • 摘要: 本文研究浅层 ReLU 网络上梯度下降(GD)的优化与泛化问题,设定为 NTK-separable 数据且 margin 为 γ。作者首先证明 GD 的收敛速率为 O(1/T),并表明迭代点始终落在初始化点或参考点附近的局部球内。基于此局部约束,利用 ReLU 激活模式改进了 Rademacher 复杂度估计,避免了传统分析中 O(1/√n) 的泛化界。在 NTK-separable 设定下,对具有 polylogarithmic 宽度的 ReLU 网络,获得了几乎最优的 O(1/(nγ²)) 风险界。该工作将局部 Rademacher 复杂度与 ReLU 激活模式结合的技巧,对您在非参数理论及效率理论中研究局部经验过程与收敛速率有方法学借鉴价值。
  • 关键技术: gradient descent convergence rate, local Rademacher complexity, NTK-separability, ReLU activation pattern, generalization bound
  • 为什么对您有用: 连接到 primary interest 中的非参数理论:局部 Rademacher 复杂度与激活模式结合的 sharper rate 技巧,可迁移至半参数/非参数估计中的局部经验过程分析。

13. jmlr:v27/25-1214 — Transformers Can Overcome the Curse of Dimensionality: A Theoretical Study from an Approximation Perspective

  • 作者: Yuling Jiao, Yanming Lai, Yang Wang, Bokai Yan
  • 期刊/来源: JMLR
  • 分类: JMLR v27
  • 相关性 0/10 · novelty: new_theory
  • 摘要: 本文研究 Transformer 对 Hölder 连续函数类 $\mathcal{H}_{Q}^{\beta}([0,1]^{d\times n},\mathbb{R}^{d\times n})$ 的逼近能力,旨在证明其可克服维数灾难。作者构造了仅含一层单头 softmax 自注意力层与若干前馈层的 Transformer,并基于 Kolmogorov-Arnold 叠加定理(KST)而非 contextual mapping 完成构造证明。在 ReLU 和 floor 激活下,达到 $\epsilon$ 逼近精度仅需 $\mathcal{O}(\log 1/\epsilon)$ 深度与 $\mathcal{O}(1/\epsilon^{2/\beta}\log 1/\epsilon)$ 宽度;若允许其他激活函数,宽度可进一步降至常数。文中还提出了将前馈网络逼近结果迁移至 Transformer 的平移技术。该结果对您在非参数理论及利用深度非参数估计量(如 debiased ML 中的 nuisance 估计)构建半参数有效推断时,理解其逼近界与维数依赖有参考价值。
  • 关键技术: Kolmogorov-Arnold Superposition Theorem, Hölder class approximation, Transformer expressivity, curse of dimensionality, feedforward neural network translation
  • 为什么对您有用: 属于非参数逼近理论,给出了 Transformer 克服维数灾难的具体逼近率;对您在半参数效率理论(如 debiased ML)中选用深度非参数 nuisance 估计器时,理解其逼近误差与维数依赖有直接参考价值。

数理统计 / 假设检验 (hypothesis_testing, 2 篇)

1. jmlr:v27/23-0274 — Online Detection of Changes in Moment--Based Projections: When to Retrain Deep Learners or Update Portfolios?

  • 作者: Ansgar Steland
  • 期刊/来源: JMLR
  • 分类: JMLR v27
  • 相关性 5/10 · novelty: new_theory
  • 摘要: 在高维非平稳时间序列设定下,研究基于投影二阶矩的在线变点监测问题,旨在为深度学习重训练或投资组合更新提供数据驱动的触发机制。提出开环与闭环序贯监测规则,在训练数据与监测期观测的温和正则假设下,利用投影部分和的Gaussian逼近建立渐近理论。针对投影向量的估计,分别在经典非ℓ₀稀疏与稀疏设定下研究了硬/软阈值估计量,并处理了最优投影依赖于未知协方差矩阵的情形。理论允许高维非独立同分布数据,仿真与合成数据实验验证了方法的有效性。对您有用:该文将序贯假设检验与高维投影结合,其高维部分和Gaussian逼近及稀疏阈值估计对您在假设检验与高维统计方面的研究有直接参考价值,金融应用也契合您的经济理论兴趣。
  • 关键技术: sequential monitoring, projected partial sums, Gaussian approximation, high-dimensional time series, sparse projection estimation, change-point detection
  • 为什么对您有用: 将序贯假设检验与高维投影结合,其高维部分和Gaussian逼近及稀疏阈值估计对您在假设检验与高维统计方面的研究有直接参考价值;金融投资组合更新的应用也契合您的经济理论兴趣。

2. jmlr:v27/24-0680 — An Anytime Algorithm for Good Arm Identification

  • 作者: Marc Jourdan, Andrée Delahaye-Duriez, Clémence Réda
  • 期刊/来源: JMLR
  • 分类: JMLR v27
  • 相关性 2/10 · novelty: new_method
  • 摘要: 在随机多臂老虎机设定下,研究 Good Arm Identification (GAI) 问题,目标是在任意时刻识别出期望收益超过给定阈值的臂(若存在)。提出 APGAI(Anytime Parameter-free GAI)采样算法,无需预先指定预算或置信水平,可同时适用于 fixed-confidence 和 fixed-budget 设定。理论上推导了任意时刻错误概率的上界,证明自适应采样在检测“无好臂”情形下优于均匀采样。结合停止规则时,证明了任意置信水平下的期望采样复杂度上界。实验在合成与真实数据上验证了算法性能,并提供了 GAI 问题在不同设定下的系统性综述。对您可能有用:GAI 的停止规则与错误概率界属于序贯假设检验范畴,其自适应采样设计可为因果推断中的自适应实验设计与序贯检验提供方法迁移。
  • 关键技术: good arm identification, anytime algorithm, sampling complexity, fixed-confidence setting, sequential testing
  • 为什么对您有用: GAI 的错误概率界与采样复杂度分析属于序贯假设检验范畴,其自适应采样设计可为因果推断中的自适应实验设计与序贯检验提供方法迁移。

统计计算 / 算法 (stat_computing, 20 篇)

1. jmlr:v27/23-0737 — Efficient frequent directions algorithms for approximate decomposition of matrices and higher-order tensors

  • 作者: Maolin Che, Yimin Wei, Hong Yan
  • 期刊/来源: JMLR
  • 分类: JMLR v27
  • 相关性 6/10 · novelty: new_method
  • 摘要: 在频繁方向(FD)算法框架下,本文研究给定 Tucker 秩或 TT 秩的低秩矩阵与高阶张量近似分解的快速算法。针对矩阵情形,提出结合稀疏嵌入与高斯或 SRHT 矩阵的混合嵌入策略,并基于奇异值界给出近似误差的理论保证。针对张量情形,将 FD 算法扩展至随机化的 T-HOSVD、ST-HOSVD(Tucker 分解)及 TT(张量列车)分解。合成与真实数据实验表明,新算法在近似精度与计算效率间取得了更优的权衡。对您有用:直接推进了您 primary interest 中统计计算(矩阵与张量数值算法)的工具箱,为高维数据或因果推断中的底层降维计算提供了可迁移的高效方案。
  • 关键技术: frequent directions algorithm, randomized low-rank approximation, sparse embedding, subsampled randomized Hadamard transform, Tucker decomposition, tensor-train decomposition
  • 为什么对您有用: 直接对应您 primary interest 中的统计计算(矩阵、张量数值方法),提供了高效的随机化张量/矩阵分解算法,可用于高维因果推断或降维中的底层计算加速。

2. jmlr:v27/25-0858 — LazyDINO: Fast, Scalable, and Efficiently Amortized Bayesian Inversion via Structure-Exploiting and Surrogate-Driven Measure Transport

  • 作者: Lianghao Cao, Joshua Chen, Michael Brennan, Thomas O'Leary-Roseberry, Youssef Marzouk, Omar Ghattas
  • 期刊/来源: JMLR
  • 分类: JMLR v27
  • 相关性 6/10 · novelty: new_method
  • 摘要: 针对高维非线性贝叶斯反问题中参数到观测(PtO)映射计算昂贵的问题,LazyDINO提出一种基于结构利用与代理驱动的measure transport变分推断方法。离线阶段利用PtO映射及其Jacobian的联合样本训练derivative-informed神经网络代理模型;在线阶段给定观测数据后,通过代理驱动的lazy map(具有低维非线性结构的transport map)快速近似后验。理论上证明了:(i) 基于导数的降基架构最小化代理后验近似期望误差的上界;(ii) 导数信息代理训练最小化代理驱动变分推断的期望误差。数值实验表明,相比条件transport摊销推断和传统代理驱动transport,离线代价降低1-2个数量级;少于1000次PtO评估即可超越Laplace近似,而对比方法在16000次评估时仍可能失败。对您统计计算方向有直接参考价值:其Jacobian信息利用与降维结构exploitation的两阶段策略可迁移至其他高维推断场景的计算加速。
  • 关键技术: transport map variational inference, derivative-informed neural surrogate, reduced basis architecture, amortized Bayesian inversion, lazy map structure exploitation
  • 为什么对您有用: 直接对应您统计计算(数值方法与算法)兴趣,提供了高维贝叶斯反问题中结合Jacobian信息与降维结构的高效计算框架;其代理-驱动两阶段策略和误差界分析思路可迁移至高维推断的其他计算场景。

3. jmlr:v27/23-0440 — Communication-efficient Distributed Statistical Inference for Massive Data with Heterogeneous Auxiliary Information

  • 作者: Miaomiao Yu, Zhongfeng Jiang, Jiaxuan Li, Yong Zhou
  • 期刊/来源: JMLR
  • 分类: JMLR v27
  • 相关性 6/10 · novelty: new_method
  • 摘要: 在分布式大数据且存在异质外部辅助信息(如多源汇总统计量)的设定下,目标是融合个体水平数据与异质摘要统计量以提升推断效率。方法通过似然函数与置信密度相乘构建融合估计框架,理论上证明所提估计量可达到与使用全部个体数据的IPD估计量相当的统计效率。进一步提出通信高效的分布式推断迭代算法,在一般条件或广义线性模型下证明其线性收敛速率。模拟与实际数据验证了方法性能。对您而言,该工作在效率理论(IPD-level efficiency 的可达性)与统计计算(通信高效的分布式迭代算法)两个 primary interest 交汇处提供了具体框架,异质辅助信息融合的思路也可迁移至多中心流行病学因果推断场景。
  • 关键技术: confidence density multiplication, likelihood fusion, communication-efficient distributed inference, IPD-level statistical efficiency, linear convergence iterative algorithm, heterogeneous summary statistics integration
  • 为什么对您有用: 直接关联您 primary interest 中的效率理论(证明融合估计可达 IPD-level efficiency)与统计计算(通信高效分布式迭代算法),异质辅助信息融合框架也可迁移至流行病学多队列因果推断的 secondary interest。

4. jmlr:v27/24-1139 — Simulation-based Calibration of Uncertainty Intervals under Approximate Bayesian Estimation

  • 作者: Terrance D. Savitsky, Julie Gershunskaya
  • 期刊/来源: JMLR
  • 分类: JMLR v27
  • 相关性 5/10 · novelty: new_method
  • 摘要: 在近似贝叶斯估计(如 mean field variational Bayes, VB)框架下,目标是校正因后验相关性导致的边际后验区间覆盖不足问题,假设算法在正确模型下具有一阶矩一致性。作者提出一种基于模拟的校准程序:利用初始模型运行估计的参数生成重复数据集,并在每个重复数据集上重新估计模型。该方法通过重采样的经验分布构建校准后的置信区间,能够检测并校正近似边际后验分布的一阶和二阶矩偏差。理论上,该校准区间在渐近意义下保证达到名义覆盖率。Monte Carlo 模拟和 Current Employment Statistics 调查数据的应用表明该方法有效恢复了合理的区间覆盖。对您可能有用:该工作为统计计算中的近似推断算法提供了实用的不确定性校准方案,且其经济数据应用对您的经济理论应用兴趣有参考价值。
  • 关键技术: mean field variational Bayes, simulation-based calibration, asymptotic nominal coverage, moment bias correction, approximate posterior
  • 为什么对您有用: 涉及统计计算(近似推断算法的数值校准)与区间覆盖的渐近性质,且应用了经济统计(CES)数据集,对您在统计计算算法和经济理论应用方面的兴趣有直接参考价值。

5. jmlr:v27/22-0483 — The surrogate Gibbs-posterior of a corrected stochastic MALA: Towards uncertainty quantification for neural networks

  • 作者: Sebastian Bieringer, Gregor Kasieczka, Maximilian F. Steffen, Mathias Trabs
  • 期刊/来源: JMLR
  • 分类: JMLR v27
  • 相关性 4/10 · novelty: new_method
  • 摘要: 在非参数回归与贝叶斯神经网络设定下,研究随机 MALA (sMALA) 因使用子样本而导致目标分布偏离原始 Gibbs 后验的不确定性量化问题。提出修正的 sMALA (csMALA),通过引入简单修正项,使替代后验与原始 Gibbs 后验的距离随全样本量减小,同时保持计算可扩展性。在非参数回归模型中,证明了该替代后验的 PAC-Bayes Oracle 不等式。针对贝叶斯神经网络,分析了浅层网络可信球的直径与覆盖律,并证明深层网络具有最优收缩率。高维参数空间模拟验证了 csMALA 在不确定性量化上的优势。该文结合了统计计算(MCMC 修正算法)与非参数理论(PAC-Bayes 界与收缩率),对您在统计计算数值方法及非参数理论方面的 primary interests 提供了算法与理论结合的参考。
  • 关键技术: corrected stochastic MALA, Gibbs-posterior, PAC-Bayes oracle inequality, credible ball coverage, optimal contraction rate, Bayesian neural networks
  • 为什么对您有用: 该文同时涉及统计计算(MCMC 算法修正与可扩展性)和非参数理论(PAC-Bayes 界与收缩率),对您在统计计算数值方法及非参数理论方面的 primary interests 提供了算法与理论结合的参考。

6. jmlr:v27/25-1024 — A Common Interface for Automatic Differentiation

  • 作者: Guillaume Dalle, Adrian Hill
  • 期刊/来源: JMLR
  • 分类: JMLR v27
  • 相关性 4/10 · novelty: minor
  • 摘要: 针对科学机器学习中自动微分(AD)后端碎片化与切换成本高的问题,本文提出 Julia 包 DifferentiationInterface.jl。该包为十余种 AD 后端提供统一前端接口,支持无缝切换与模块化开发。其内置的 preparation mechanism 通过摊还一次性计算来充分利用各后端特性,并在无需用户额外负担的情况下实现了稀疏性处理等高级功能。该接口显著降低了复杂计算场景下 AD 工具的对比与部署成本,提升了数值计算效率。对您在统计计算(尤其是 debiased ML 或高维优化中的梯度/Hessian 计算)中的算法实现与数值实验有直接的工程加速与代码复用价值。
  • 关键技术: Automatic Differentiation (AD), Julia programming language, Sparse differentiation, Backend preparation mechanism, Amortized computation
  • 为什么对您有用: 直接对应您 primary interest 中的统计计算(数值方法与算法),为高维统计或 semiparametric efficiency 中的复杂梯度/Hessian 计算提供高效的统一数值工具,降低算法实现与比较成本。

7. jmlr:v27/24-0637 — Stochastic Gradient Methods: Bias, Stability and Generalization

  • 作者: Shuang Zeng, Yunwen Lei
  • 期刊/来源: JMLR
  • 分类: JMLR v27
  • 相关性 3/10 · novelty: new_theory
  • 摘要: 本文研究有偏随机梯度方法(BSGMs)——包括零阶SGD、Clipped-SGD和延迟梯度SGD——在凸光滑问题下的稳定性与泛化性。作者引入关于梯度估计量与偏置的广义Lipschitz型条件,在此条件下建立统一的稳定性界,定量刻画偏置与梯度估计量如何影响算法稳定性。基于该框架,首次给出零阶SGD在合理步长下的稳定性界,以及Clipped-SGD的首个稳定性界;在适当的平滑/裁剪参数下,两者的稳定性界与无偏SGD一致。结合稳定性与收敛分析,推导出零阶SGD和Clipped-SGD的excess risk界均为O(1/√n)。对您而言,该文将偏置优化算法的稳定性与统计风险收敛统一建模,可为统计计算中非标准梯度估计(如零阶方法用于debiasing、clipping用于稳健推断)的理论分析提供可迁移工具。
  • 关键技术: algorithmic stability, biased stochastic gradient methods, generalized Lipschitz-type condition, excess risk bound, zeroth-order SGD, clipped SGD
  • 为什么对您有用: 与您primary interest中的statistical computing直接相关:有偏梯度估计(零阶、裁剪)在debiasing和稳健推断中常见,本文的稳定性-泛化统一框架可为这些场景下的算法收敛与风险界提供理论工具。

8. jmlr:v27/24-1057 — Extending Mean-Field Variational Inference via Entropic Regularization: Theory and Computation

  • 作者: Bohan Wu, David M. Blei
  • 期刊/来源: JMLR
  • 分类: JMLR v27
  • 相关性 3/10 · novelty: new_method
  • 摘要: 本文提出 Ξ-VI,通过 entropic regularization 扩展 naive mean-field 变分推断,核心 estimand 为变分后验分布,关键假设为参数空间维度与正则化参数的交互关系。方法上,Ξ-VI 与 entropic optimal transport 建立联系,利用 Sinkhorn 算法实现高效计算,正则化参数控制似然降权程度以恢复真实后验依赖结构。理论方面,作者刻画了参数空间维度对逼近精度与计算复杂度的影响,揭示了统计-计算 trade-off:更高统计精度需更大计算代价;并在 frequentist 框架下建立了 consistency、渐近正态性、高维渐近及算法稳定性结果,给出多项式时间收敛的充分条件。实证表明 Ξ-VI 在恢复后验相关性方面优于 mean-field VI 及 normalizing flow 等方法。对您而言,该文的高维渐近分析与渐近正态性结果可直接对接您的高维统计与效率理论兴趣,而 Sinkhorn 计算框架对统计计算方向亦有参考价值。
  • 关键技术: entropic optimal transport, Sinkhorn algorithm, mean-field variational inference, high-dimensional asymptotics, frequentist consistency, algorithmic stability
  • 为什么对您有用: 高维渐近与渐近正态性的 frequentist 分析直接对接您的高维统计与效率理论 primary interest;Sinkhorn 多项式收敛结果对统计计算方向有方法迁移价值。

9. jmlr:v27/25-0012 — Guaranteed Nonconvex Low-Rank Tensor Estimation via Scaled Gradient Descent

  • 作者: Tong Wu
  • 期刊/来源: JMLR
  • 分类: JMLR v27
  • 相关性 3/10 · novelty: new_method
  • 摘要: 在张量-张量乘积与 t-SVD 框架下,本文研究存在缺失项或稀疏噪声等信号损坏时的低秩张量估计问题。提出缩放梯度下降算法,直接估计张量因子并配合定制的谱初始化方法。针对张量鲁棒主成分分析、张量补全和张量回归,理论上证明 ScaledGD 以恒定速率线性收敛,且收敛速率独立于真实低秩张量的条件数。该算法在保持梯度下降低每次迭代成本的同时,克服了病态条件导致的收敛缓慢问题,是首个在 t-SVD 框架下可证明具备此性质的算法。数值实验验证了其在病态低秩张量估计中的加速效果。该工作直接契合您在统计计算(数值方法与算法)方面的兴趣,且 t-SVD 的理论分析对高维统计与张量代数研究有参考价值。
  • 关键技术: scaled gradient descent, tensor singular value decomposition (t-SVD), tensor-tensor product (t-product), nonconvex optimization, spectral initialization, condition-number-independent convergence
  • 为什么对您有用: 直接契合您在统计计算(数值方法与算法)方面的兴趣,提供了处理病态张量估计的高效迭代算法;同时 t-SVD 理论可视为高维统计中矩阵/张量方法的扩展,对您关注的高维统计与随机矩阵理论有启发。

10. jmlr:v27/23-0157 — Unsupervised Feature Selection via Nonnegative Orthogonal Constrained Regularized Minimization

  • 作者: Yan Li, Defeng Sun, Liping Zhang
  • 期刊/来源: JMLR
  • 分类: JMLR v27
  • 相关性 3/10 · novelty: new_method
  • 摘要: 本文在无监督特征选择设定下,提出基于非负正交约束正则化最小化的降维模型,将特征选择嵌入非负谱聚类并防止过拟合。为求解该非凸约束优化模型,作者设计了非精确增广拉格朗日乘子法(IALM),并采用近端交替最小化(PAM)处理子问题。理论上严格证明了该算法的迭代序列收敛至模型驻点,弥补了现有无监督特征选择方法缺乏收敛保证的缺陷。数值实验表明该方法在聚类指标上优于现有SOTA且具备鲁棒性。对您的统计计算(数值方法与算法)兴趣有直接参考价值,特别是非凸正交约束下IALM与PAM的收敛性证明技巧。
  • 关键技术: nonnegative orthogonal constraints, inexact augmented Lagrangian method, proximal alternating minimization, convergence to stationary point, unsupervised feature selection
  • 为什么对您有用: 涉及高维降维(特征选择)与统计计算(非精确ALM与近端交替最小化算法),其非凸约束优化的收敛性证明对您统计计算与算法设计方向有直接参考价值。

11. jmlr:v27/24-0020 — Convergence and complexity of block majorization-minimization for constrained block-Riemannian optimization

  • 作者: Yuchen Li, Laura Balzano, Deanna Needell, Hanbaek Lyu
  • 期刊/来源: JMLR
  • 分类: JMLR v27
  • 相关性 3/10 · novelty: new_theory
  • 摘要: 本文研究带 Riemann 流形约束的分块 majorization-minimization (BMM) 算法,目标是在非光滑非凸目标函数下,各参数块依次在流形子集(如 Stiefel 流形)上最小化代理函数。核心机制是分块坐标下降结合 Riemann 几何投影:算法渐近收敛到驻点集,且达到 ε-驻点的迭代复杂度为 Õ(ε⁻²)。当底流形为 Euclidean 或 Stiefel 流形的乘积时,复杂度假设完全退化为 Euclidean 条件,尽管证明显式利用了 Riemann 几何结构。框架统一覆盖了 Riemannian MM、分块投影梯度下降、Bures-JKO Wasserstein 变分推断、robust PCA、Riemannian CP-dictionary-learning 等算法,实验表明其收敛速度快于直接在 Euclidean 空间套用标准算法。对您有用:该工作为涉及正交/流形约束的统计计算问题(如高维 robust PCA、tensor dictionary learning)提供了统一的收敛保证与复杂度界,可直接迁移至您统计计算方向中矩阵/tensor 优化的算法设计。
  • 关键技术: block majorization-minimization, Riemannian optimization, Stiefel manifold constraints, iteration complexity Õ(ε⁻²), surrogate minimization, robust PCA on manifolds
  • 为什么对您有用: 直接关联您 primary interest 中的统计计算(数值方法与算法),为高维统计中常见的流形约束优化(Stiefel/tensor)提供收敛保证与复杂度界,方法可迁移至矩阵/tensor 估计问题。

12. jmlr:v27/24-0290 — Classification Under Local Differential Privacy with Model Reversal and Model Averaging

  • 作者: Caihong Qin, Yang Bai
  • 期刊/来源: JMLR
  • 分类: JMLR v27
  • 相关性 2/10 · novelty: new_method
  • 摘要: 本文研究局部差分隐私(LDP)下的分类问题,将带噪数据的隐私学习重新解释为迁移学习设定(源域为带噪数据,目标域为未观测干净数据)。针对 LDP 噪声导致的数据效用下降,提出三种技术:基于带噪二元反馈的数据效用评估机制、通过反转决策边界恢复欠佳分类器的模型反转法,以及基于效用估计对反转分类器加权的模型平均法。理论上给出了 LDP 下的 excess risk bound,并证明所提方法能有效降低该风险。实证表明分类精度有显著提升。对您可能有用:虽然核心是隐私保护分类,但其 excess risk bound 的推导思路和模型反转/平均的算法设计,可为统计计算(受限环境算法)和有限样本理论提供参考。
  • 关键技术: local differential privacy, transfer learning, model reversal, model averaging, excess risk bound
  • 为什么对您有用: 涉及统计计算(模型反转与平均算法)和 excess risk bound 的理论推导,可为受限环境下的算法设计与有限样本风险界提供思路,但与您核心的因果推断或半参数效率理论关联较弱。

13. jmlr:v27/24-1840 — skwdro: a library for Wasserstein distributionally robust machine learning

  • 作者: Vincent Florian, Waïss Azizian, Franck Iutzeler, Jérôme Malick
  • 期刊/来源: JMLR
  • 分类: JMLR v27
  • 相关性 2/10 · novelty: application
  • 摘要: 本文介绍 skwdro,一个基于 Wasserstein 距离的分布鲁棒优化(DRO)Python 库,旨在降低鲁棒机器学习模型训练的门槛。其核心计算机制采用原始鲁棒目标的熵平滑(entropic smoothing)以保证优化可行性与模型灵活性。库提供 PyTorch 模块封装与 scikit-learn 兼容估计器,使极少量代码改动即可实现损失函数的鲁棒化。作为软件工具论文,方法学理论创新有限,但为 DRO 的数值求解提供了完整实现。对您在统计计算与算法方面的兴趣有直接参考价值,且 Wasserstein DRO 的分布偏移鲁棒性框架可为因果推断中的敏感性分析提供计算工具与思路。
  • 关键技术: Wasserstein distributionally robust optimization, entropic smoothing, PyTorch wrapper, scikit-learn API, optimal transport
  • 为什么对您有用: 直接契合您在统计计算与算法方面的兴趣,提供 Wasserstein DRO 的数值实现参考;Wasserstein DRO 的分布偏移鲁棒性框架也可为因果推断中的敏感性分析提供计算工具与思路。

14. jmlr:v27/23-0946 — Generative Bayesian Inference with GANs

  • 作者: Yuexi Wang, Veronika Rockova
  • 期刊/来源: JMLR
  • 分类: JMLR v27
  • 相关性 2/10 · novelty: new_method
  • 摘要: 在无显式或易处理似然的设定下,本文旨在通过生成对抗网络(GANs)与近似贝叶斯计算(ABC)的桥接实现后验抽样。提出 B-GAN 采样器,通过对抗优化直接瞄准后验分布,利用条件 GAN 在 ABC 参考集上学习确定性映射,训练完成后可极低成本生成 iid 后验样本。进一步提出两种局部精炼后处理方法:基于数据驱动提议的重要性重加权与变分贝叶斯。理论上给出 Frequentist-Bayesian 保证,证明在特定神经网络生成器和判别器下,真实后验与近似后验的 Total Variation (TV) 距离收敛至零。对您可能有用:本文的算法设计(条件 GAN 映射加速后验抽样)和 TV 收敛理论对您在统计计算(算法与数值方法)和非参数理论(神经网络逼近收敛)方面的兴趣有直接参考价值。
  • 关键技术: approximate Bayesian computation, generative adversarial networks, adversarial variational Bayes, importance reweighting, total variation convergence, conditional GAN
  • 为什么对您有用: 涉及统计计算(似然自由推断的快速算法)与非参数理论(神经网络生成器的 TV 距离收敛保证),对您在统计计算与算法设计方面的兴趣有直接参考价值,其重要性重加权后处理也可迁移至其他复杂模型推断。

15. jmlr:v27/25-0185 — DCatalyst: A Unified Accelerated Framework for Decentralized Optimization

  • 作者: TIanyu Cao, Xiaokai Chen, Gesualdo Scutari
  • 期刊/来源: JMLR
  • 分类: JMLR v27
  • 相关性 2/10 · novelty: new_method
  • 摘要: 在无中心服务器的去中心化网络(无向图)设定下,研究复合函数 $f+r$ 的最小化问题,其中 $f$ 为强凸损失均值,$r$ 为凸正则项。提出 DCatalyst 统一黑盒框架,将 Nesterov 型加速机制作为外层动量加速近端格式,封装内层的去中心化算法。核心理论工具是推广了 Nesterov 经典估计序列的“非精确估计序列”,系统性地处理了网络共识误差和局部子问题的非精确解。该框架在广泛的算法族和问题实例中达到了最优(对数因子内)的通信与计算复杂度,为先前缺乏加速方法的去中心化问题类提供了加速收敛率。对您在统计计算(数值方法与算法)方向的兴趣有直接参考价值,其非精确近端与动量加速机制可启发高维或去中心化 M-估计的算法设计。
  • 关键技术: decentralized optimization, Nesterov acceleration, inexact estimating sequences, proximal scheme, communication complexity, composite optimization
  • 为什么对您有用: 直接对应您 primary interest 中的统计计算(数值方法与算法),其非精确动量加速框架与复杂度分析可为去中心化或高维 M-估计的算法设计提供理论工具与收敛率保证。

16. jmlr:v27/24-0526 — Two-way Node Popularity Model for Directed and Bipartite Networks

  • 作者: Bing-Yi Jing, Ting Li, Jiangzhou Wang, Ya Wang
  • 期刊/来源: JMLR
  • 分类: JMLR v27
  • 相关性 1/10 · novelty: new_method
  • 摘要: 在有向与二分网络的社区检测问题中,现有方法常忽略节点在不同社区中的流行度。本文提出双向节点流行度模型(TNPM),将节点流行度参数化,并允许边分布属于一般次高斯族。作者引入 Delete-One-Method (DOM) 进行模型拟合与社区结构识别,其理论分析利用了处理次高斯推广的新型矩阵浓度不等式技术。针对大规模网络,进一步提出两阶段分割余弦算法(TSDC)以实现计算高效。数值研究与真实数据应用验证了该方法在估计精度与计算速度上的双重优势。对您可能有用:DOM的留一法思想与高维统计中的leave-one-out技术高度同源,其次高斯矩阵理论及大规模算法设计对您在统计计算与高维推断方面的兴趣有直接参考价值。
  • 关键技术: Two-way Node Popularity Model, Delete-One-Method, sub-Gaussian concentration inequality, Two-Stage Divided Cosine Algorithm, community detection
  • 为什么对您有用: DOM的留一法拟合技术与高维统计中的leave-one-out分析紧密相关,同时其次高斯矩阵浓度不等式与大规模网络算法设计对您在统计计算和高维数学统计方面的兴趣有直接借鉴意义。

17. jmlr:v27/24-0792 — A Symplectic Analysis of Alternating Mirror Descent

  • 作者: Jonas E. Katona, Xiuyuan Wang, Andre Wibisono
  • 期刊/来源: JMLR
  • 分类: JMLR v27
  • 相关性 1/10 · novelty: sharper_rate
  • 摘要: 在双线性零和博弈的交替镜像下降(AMD)算法设定下,目标是利用辛欧拉方法对连续时间哈密顿流进行离散化,以分析算法的长期行为与收敛性质。引入哈密顿动力学与辛数值积分器的分析框架,重点研究辛欧拉方法下修正哈密顿量(MH)的存在性与性质。在原哈密顿量为二次函数时,给出了MH的闭式表达,并推导了关于步长截断阶数的MH误差界。基于MH的误差界,证明了AMD的总体遗憾界提升至O(K^{1/5}),平均迭代对偶间隙提升至O(K^{-4/5})。进一步提出猜想,若MH满足特定收敛条件,遗憾界可达O(K^ε)甚至O(1)。对您在统计计算(数值方法与算法)方向的兴趣有直接参考价值,特别是将辛几何与数值积分理论引入优化算法分析的技术路线,可为高维或非凸优化中的算法设计提供新视角。
  • 关键技术: alternating mirror descent, symplectic Euler method, Hamiltonian dynamics, modified Hamiltonian, regret bound
  • 为什么对您有用: 直接关联您在统计计算(数值方法与算法)方向的兴趣,将辛几何与数值积分理论引入优化算法分析的技术路线,可为高维或非凸优化中的算法设计与收敛性分析提供新视角与 sharper rate。

18. jmlr:v27/25-0549 — Optimizing Attention with Mirror Descent: Generalized Max-Margin Token Selection

  • 作者: Addison Kristanto Julistiono, Davoud Ataee Tarzanagh, Navid Azizan
  • 期刊/来源: JMLR
  • 分类: JMLR v27
  • 相关性 0/10 · novelty: new_theory
  • 摘要: 本文研究 softmax attention 机制下 mirror descent (MD) 优化算法的收敛性质与隐式偏差,设定为分类问题中 key-query 矩阵与 decoder 的联合优化。核心方法是将势函数取为 $\ell_p$-范数的 $p$ 次幂,证明 MD 在方向上收敛到以 $\ell_p$-范数为目标的广义 hard-margin SVM 解,且收敛率与简单模型下 GD 相当,尽管问题高度非凸非线性的。进一步给出了 key-query 矩阵与 decoder 联合优化收敛到各自 hard-margin SVM 解的条件。数值实验表明 MD 在 token selection 和泛化上优于标准 GD。对您而言,MD 作为数值优化方法在非凸问题中的收敛刻画可归入 statistical computing 的算法分析范畴,但与因果推断或效率理论等核心方向的直接联系较弱。
  • 关键技术: mirror descent, implicit bias of optimization, hard-margin SVM, softmax attention, convergence rate analysis, joint optimization dynamics
  • 为什么对您有用: MD 算法收敛刻画属于 statistical computing 中数值优化算法分析,可借鉴其非凸收敛证明技术;但与您核心方向(因果推断、效率理论、RMT)的直接关联有限。

19. jmlr:v27/25-1106 — Reparameterized Complex-valued Neurons Can Efficiently Learn More than Real-valued Neurons via Gradient Descent

  • 作者: Jin-Hui Wu, Shao-Qun Zhang, Yuan Jiang, Zhi-Hua Zhou
  • 期刊/来源: JMLR
  • 分类: JMLR v27
  • 相关性 0/10 · novelty: new_theory
  • 摘要: 本文研究复值神经元与实值神经元在梯度下降下的可学习性差异,设定为单神经元/两层有限宽网络的优化收敛分析。核心结果:复值神经元可学习任意实值神经元和复值神经元表达的函数,收敛率分别为 O(t^{-3}) 和 O(t^{-1});而有限宽两层实值网络无法学习单个非退化复值神经元。进一步证明复值神经元学习实值函数时收敛率 Ω(t^{-3}),远慢于实值神经元自身的线性收敛;通过对相位参数做 reparameterization,可恢复线性收敛率。该工作属于优化/学习理论,与您 primary interest 中的 statistical computing(数值优化方法、reparameterization 技巧)有弱关联,可提供梯度下降收敛率分析的具体范例,但与因果推断、效率理论等核心方向距离较远。
  • 关键技术: gradient descent convergence rate, reparameterization trick, complex-valued neural network, learnability theory, phase parameterization
  • 为什么对您有用: 与 statistical computing 中的数值优化方法(梯度下降收敛率、reparameterization 技巧)有弱关联,可借鉴其收敛率证明技术;但与您核心方向(因果推断、效率理论、RMT)距离较远,收益有限。

20. jmlr:v27/25-0989 — Online Bernstein-von Mises theorem

  • 作者: Jeyong Lee, Junhyeok Choi, Minwoo Chae
  • 期刊/来源: JMLR
  • 分类: JMLR v27
  • 相关性 0/10 · novelty: new_theory
  • 摘要: 在在线学习设定下,数据以 mini-batch 序贯到达,本文研究递归贝叶斯更新(将上一步后验作为下一步先验)在非共轭正则模型下的渐近性质。由于非共轭模型的精确递归更新不可行,作者在每一步采用基于 Bernstein-von Mises (BvM) 定理的正态变分近似,并考察最终所得后验的频率性质。核心理论证明:只要 mini-batch 大小超过依赖于参数维度的阈值,变分近似的累积误差即可忽略。由此得出,序贯更新后的变分后验与基于全量数据的全后验在渐近下不可区分。该结果为在线变分推断提供了严格的频率渐近保证,对您有用:其将 BvM 拓展至在线变分框架的思路及控制累积近似误差的技巧,对您在统计计算(在线算法)与数学统计(渐近性质)交叉方向的研究具有直接借鉴价值。
  • 关键技术: online Bayesian updating, Bernstein-von Mises theorem, variational approximation, frequentist asymptotics, sequential inference
  • 为什么对您有用: 该文将 BvM 定理拓展至在线变分推断,其处理累积近似误差的理论技巧对您在统计计算(在线算法)与数学统计(渐近性质)交叉领域的研究有直接借鉴意义。

经济理论 / 应用 (econ_theory, 1 篇)

1. jmlr:v27/22-1194 — A Reinforcement Learning Approach in Multi-Phase Second-Price Auction Design

  • 作者: Rui Ai, Boxiang Lyu, Zhaoran Wang, Zhuoran Yang, Michael I. Jordan
  • 期刊/来源: JMLR
  • 分类: JMLR v27
  • 相关性 2/10 · novelty: new_method
  • 摘要: 本文研究多阶段第二价格拍卖中的保留价优化问题,设定卖家的先验行动通过马尔可夫决策过程(MDP)影响投标者的后续估值。针对投标者可能不诚实、市场噪声分布未知以及每步收益为不可直接观测的非线性随机变量这三个挑战,作者提出了 CLUB (Contextual-LSVI-UCB-Buffer) 算法。该算法结合“缓冲期”技术与低切换成本强化学习来限制不诚实投标的剩余,从而激励近似诚实投标;通过新算法消除未知噪声分布下的纯探索需求;并扩展 LSVI-UCB 利用拍卖底层结构控制收益函数的不确定性。理论上,在已知市场噪声下算法实现了 \tilde{O}(H^{5/2}\sqrt{K}) 的收益遗憾界,未知噪声下实现了 \tilde{O}(H^3\sqrt{K}) 的遗憾界。该工作属于经济理论中的拍卖模型与机制设计,其 MDP 序列决策设定与纵向因果推断的结构有概念交集,但方法学(RL遗憾界)与半参数/效率理论距离较远,主要提供经济模型视角的参考。
  • 关键技术: Markov Decision Process, LSVI-UCB, low switching cost RL, mechanism design, regret bound
  • 为什么对您有用: 属于经济理论中的拍卖模型与机制设计,其 MDP 序列决策设定与纵向因果推断的结构有概念交集,但方法学(RL遗憾界)与您核心的半参数/效率理论距离较远,主要提供经济模型视角的参考。

其他 (other, 6 篇)

1. jmlr:v27/23-1249 — Neural Network Parameter-optimization of Gaussian Pre-marginalized Directed Acyclic Graphs

  • 作者: Mehrzad Saremi
  • 期刊/来源: JMLR
  • 分类: JMLR v27
  • 相关性 8/10
  • 摘要: { "topic": "causal_inference", "summary_zh": "本文研究高斯贝叶斯网络在边际化(隐变量投影)下的图结构稳定性问题,指出现有因果推断图结构在边际化后不再忠实表示分布,并提出一种新的"pre-marginalized DAG"结构来忠实刻画高斯贝叶斯网络的边际分布。核心贡献是建立了隐变量模型参数优化与前馈神经网络训练之间的对偶性——在假设分布族的参数空间中,参数优化等价于训练一个特定架构的神经网络,并据此开发了基于观测分布的参数优化算法。进一步给出了高斯设定下因果效应可识别的充分条件,以及一个判断因果效应是否可识别的元算法。最后为将该对偶性从高斯推广到其他分布族奠定了理论基础。对您有用:该工作直接涉及因果识别(您 primary interest 的 identification 子方向),且其"参数优化↔神经网络训练"的对偶视角可为 latent variable 模型的计算方法提供新思路,与您 statistical computing 兴趣交叉。", "key_techniques": [ "Gaussian Bayesian network marginalization", "latent variable DAG parameter optimization", "neural network

2. jmlr:v27/24-1901 — Learning Bayesian Network Classifiers to Minimize Class Variable Parameters

  • 作者: Shouta Sugahara, Koya Kato, James Cussens, Maomi Ueno
  • 期刊/来源: JMLR
  • 分类: JMLR v27
  • 相关性 4/10 · novelty: minor
  • 摘要: 本文提出一种新型贝叶斯网络分类器,在类变量无父节点的所有结构中,能以最少的类变量参数渐近估计类变量的真实概率分布。为搜索最优结构,作者分别提出了基于深度优先搜索和基于整数规划两种结构学习方法,二者均保证渐近获得真实分布同时最小化类变量参数数。实验在基准数据集上验证了方法的有效性。该工作属于贝叶斯网络结构学习与分类的交叉领域,方法学 novelty 有限(渐近一致性+参数最小化),与您核心关注的 semiparametric efficiency 或高维推断理论关联较弱,仅整数规划结构搜索与统计计算方向有轻微联系。
  • 关键技术: Bayesian network classifier, integer programming structure learning, depth-first search, parameter minimization
  • 为什么对您有用: 与您 primary interest 中的统计计算(整数规划求解结构)有轻微关联,但整体属于贝叶斯网络分类方向,与因果推断、效率理论或高维统计的核心问题距离较远,阅读收益有限。

3. jmlr:v27/24-1592 — Contrasting Local and Global Modeling with Machine Learning and Satellite Data: A Case Study Estimating Tree Canopy Height in African Savannas

  • 作者: Esther Rolf, Lucia Gordon, Milind Tambe, Andrew Davies
  • 期刊/来源: JMLR
  • 分类: JMLR v27
  • 相关性 2/10 · novelty: application
  • 摘要: 本文在卫星机器学习(SatML)设定下,对比了全局数据训练与局部数据训练在莫桑比克Karingani保护区树冠高度(TCH)预测中的表现差异。核心发现是,仅使用局部数据训练的小型模型不仅优于已发表的全局TCH地图,甚至优于基于全局预训练并在局部微调的模型。作者进一步剖析了局部与全局建模范式之间的冲突与协同点,指出全局模型的改进未必能转化为局部区域预测性能的提升。该研究属于应用机器学习与空间统计的实证分析,未提出新的统计学理论、估计量或收敛率。对您而言,若关注空间/遥感数据的局部-全局建模权衡或环境数据集,可作应用参考,但与因果推断、高维RMT或半参效率等核心理论兴趣的直接关联较弱。
  • 关键技术: Satellite machine learning (SatML), global vs local modeling, fine-tuning, spatial prediction
  • 为什么对您有用: 本文属于应用空间机器学习实证研究,与您的主要理论兴趣(因果推断、高维RMT、半参效率等)无直接关联,仅当您对遥感数据集或局部-全局模型权衡的实证现象感兴趣时具有参考价值。

4. jmlr:v27/25-1557 — UQLM: A Python Package for Uncertainty Quantification in Large Language Models

  • 作者: Dylan Bouchard, Mohit Singh Chauhan, David Skarbrevik, Ho-Kyeong Ra, Viren Bajaj, Zeya Ahmad
  • 期刊/来源: JMLR
  • 分类: JMLR v27
  • 相关性 1/10
  • 摘要: ```json { "topic": "stat_computing", "summary_zh": "本文介绍 UQLM,一个用于大语言模型(LLM)幻觉检测的 Python 软件包,核心任务是对 LLM 生成内容进行不确定性量化(UQ)并输出 0-1 的置信度分数。该包集成了多种 state-of-the-art UQ 打分器(如基于采样一致性的方法、语义熵等),提供开箱即用的幻觉检测流程,可嵌入下游应用以提升 LLM 输出可靠性。方法学上属于工程集成与软件实现,未提出新的 UQ 理论或收敛率结果。对您而言,该包的统计计算价值有限——它更偏向应用 ML 工具而非数值方法或矩阵/张量算法的理论推进,仅在"统计计算(软件)"子方向上有参考价值,且 novelty 程度较低。", "key_techniques": [ "uncertainty quantification scorers", "LLM hallucination detection", "response-level confidence scores", "Python package design" ], "why_relevant": "仅与 primary interest 中的'统计计算(软件)'有弱关联,但本质是应用 ML 工具而非数值方法/算法理论,

5. jmlr:v27/24-0428 — Extrapolated Markov Chain Oversampling Method for Imbalanced Text Classification

  • 作者: Aleksi Avela, Pauliina Ilmonen
  • 期刊/来源: JMLR
  • 分类: JMLR v27
  • 相关性 0/10 · novelty: new_method
  • 摘要: 在不平衡文本分类设定下,针对少数类样本稀缺且词汇特征空间受限的问题,本文提出一种外推马尔可夫链过采样方法(Extrapolated Markov Chain Oversampling)。核心机制是利用马尔可夫链估计词转移概率以生成合成文本,并在转移概率估计中部分引入多数类信息,从而允许少数类特征空间在过采样时外推扩展。该方法主要针对文本数据随样本量增加而词汇空间增长的独特性质进行设计。实验表明,在严重不平衡的真实文本数据集上,该方法相比传统过采样技术(如 SMOTE 变体)具有更高的分类准确率。该工作属于算法层面的应用创新,缺乏严格的渐近理论或效率界分析,对您在统计计算(算法设计)上的兴趣仅有微弱参考价值。
  • 关键技术: Markov chain oversampling, feature space extrapolation, imbalanced classification, synthetic minority oversampling
  • 为什么对您有用: 该文属于算法层面的应用创新,与您核心关注的渐近效率、高维理论或因果推断关联较弱,仅在统计计算(过采样算法设计)上有微弱交叉,理论深度有限。

6. jmlr:v27/24-0783 — CHANI: Correlation-based Hawkes Aggregation of Neurons with bio-Inspiration

  • 作者: Sophie Jaffard, Samuel Vaiter, Patricia Reynaud-Bouret
  • 期刊/来源: JMLR
  • 分类: JMLR v27
  • 相关性 0/10 · novelty: new_theory
  • 摘要: 在生物启发的脉冲神经网络(SNN)设定下,本文旨在证明仅依赖局部变换的网络可完成分类任务,其中神经元活动由 Hawkes 过程建模。提出 CHANI 网络,其突触权重更新基于 expert aggregation 算法,提供了一种局部且简单的学习规则。理论上,利用 Hawkes 过程的鞅性质与渐近分析,证明了网络在平均和渐近意义下能够收敛并实现学习。进一步证明网络能自发形成神经元集群,即中间层神经元可被多个类别激活,从而编码复杂概念。数值模拟在合成数据集上验证了理论结果。该工作为局部学习规则形成概念表示提供了严格的数学证明,区别于传统经验验证;对您而言,其 Hawkes 过程的渐近收敛证明和局部聚合算法在统计计算与数学统计层面有参考价值,但与您核心的因果推断或半参数效率理论关联较弱。
  • 关键技术: Hawkes processes, expert aggregation algorithm, spiking neural networks, local learning rules, asymptotic convergence
  • 为什么对您有用: 虽然核心应用在计算神经科学,但其对 Hawkes 过程的渐近收敛证明和局部聚合算法设计,在统计计算与数学统计的渐近理论层面有方法论参考价值,尽管与您主攻的因果推断或半参数效率关联较弱。

Maintained by 陈星宇 · Homepage · Source on GitHub