JSAIT — Vol 2 Issue 3 · 2026-07-19¶

共 21 篇 · IEEE Journal on Selected Areas in Information Theory
目录核对 ✅ 未见遗漏（对照 OpenAlex 19 篇，权威目录可能尚未完全收录本期）

本期导览¶

自动生成：归纳本期主要主题与脉络，不打分、不排名。

这一期共21篇论文，主题高度集中于分布式计算与通信的算法设计，尤其是编码计算、梯度压缩和容错机制。论文可归纳为三条主线：一是分布式优化中的通信-计算权衡与算法设计（涉及量化、稀疏化、动量更新、误差反馈等），二是编码计算在矩阵乘法、梯度聚合等任务中的容错与效率优化（包括多项式编码、二进制线性码、列表译码等），三是分布式系统的理论刻画（如延迟-误差权衡、容量区域、安全多方计算）。此外，还有一篇技术性勘误和一篇期刊投稿说明，与上述主线无关。

在分布式优化主线中，多篇论文聚焦于通信瓶颈的缓解。Quantization of Distributed Data for Learning 提出量化数据而非梯度，利用数据空间维度低于模型维度的特性实现通信节省；SQuARM-SGD 在去中心化设定下结合动量更新与稀疏量化，并给出首个带动量的压缩去中心化 SGD 收敛性分析；Compressing Gradients by Exploiting Temporal Correlation in Momentum-SGD 首次利用动量引入的时间相关性设计压缩器，并放宽了收敛性分析中对压缩器误差有界的假设；Communication-Efficient and Byzantine-Robust Distributed Learning With Error Feedback 则同时处理通信效率与拜占庭鲁棒性，采用梯度范数阈值化检测恶意节点，并引入误差反馈机制改善统计误差率。这些工作共同推进了分布式优化中通信-计算-鲁棒性的联合设计。

编码计算主线是本期最密集的板块，覆盖矩阵乘法、梯度聚合等任务的容错与效率。Bivariate Polynomial Coding for Efficient Distributed Matrix Multiplication 利用双变量多项式在矩形网格上的可插值性，减少传统单变量编码对掉队节点计算结果的浪费；Coded Sequential Matrix Multiplication for Straggler Mitigation 将编码从空间维度扩展到时间维度，处理任务序列中的掉队问题；ϵ-Approximate Coded Matrix Multiplication Is Nearly Twice as Efficient as Exact Multiplication 证明允许相对误差的近似恢复可将 MatDot 码的恢复阈值从 2m-1 降至 m；Factored LT and Factored Raptor Codes for Large-Scale Distributed Matrix Multiplication 将喷泉码适配到矩阵乘法场景，利用密度演化分析恢复阈值。在梯度编码方面，Optimal Communication-Computation Trade-Off in Heterogeneous Gradient Coding 给出了异构系统下通信代价的精确下界；Approximate Gradient Coding With Optimal Decoding 基于扩展图设计近似编码，在随机和对抗性掉队模型下均给出收敛界；Sequential Gradient Coding for Packet-Loss Networks 在空间和时间两个维度编码以应对丢包。此外，List-Decodable Coded Computing 利用折叠 Reed-Solomon 码的列表译码突破恶意节点容忍阈值，Degree Tables for Secure Distributed Matrix Multiplication 通过度表构造优化安全矩阵乘法的通信开销。

与因果推断、半参数效率、高维统计等方向最贴合的论文较少，但分布式优化主线中的 Quantization of Distributed Data for Learning 和 SQuARM-SGD 涉及统计计算中的通信-计算权衡，适合对分布式统计推断算法感兴趣的研究者优先浏览。编码计算主线中的 Bivariate Polynomial Coding 和 Coded Sequential Matrix Multiplication 在方法上涉及多项式结构与渐近分析，可能与高维逆问题或分布式统计计算有间接共鸣。

统计计算 / 算法 (stat_computing, 13 篇)¶

1. 10.1109/jsait.2021.3105359 — Quantization of Distributed Data for Learning¶

作者: Osama A. Hanna, Yahya H. Ezzeldin, Christina Fragouli, Suhas Diggavi
期刊/来源: IEEE Journal on Selected Areas in Information Theory
机构: University of California, Los Angeles · University of Southern California
分类: vol 2 · issue 3 · pp 987-1001
相关性 2/10 · novelty: new_method
摘要: 本文针对分布式学习中通信瓶颈问题，提出一种量化数据而非梯度的新方法。核心思想是利用梯度对数据样本的依赖性，在维度更低的数据空间中进行量化，从而避免直接压缩高维梯度。算法通过量化数据点并计算其梯度，再用少量比特传输原始梯度与量化梯度之差来修正估计，同时引入基于重要性的传输决策层以节省通信。理论分析表明，对于光滑凸和非凸目标函数，该方法能达到阶最优收敛率，且通信量主要取决于数据维度而非模型维度。在CIFAR-10和ImageNet上训练ResNet的实验显示，相比梯度压缩方法可节省一个数量级的通信量。该方法以增加学习端计算为代价换取通信节省，适用于通信负载为主要瓶颈的场景。对您而言，本文的通信-计算权衡分析与您的统计计算兴趣（特别是资源受限环境下的算法设计）直接相关，且其基于重要性的传输决策机制可能启发您在高维统计推断中设计自适应采样策略。
关键技术: data quantization, gradient compression, importance-based transmission, convex optimization convergence, non-convex optimization
为什么对您有用: 本文属于统计计算方向，直接连接您的primary interest中的'statistical-computational tradeoff'子方向。您可以用very_familiar的'minimax bounds for estimation problems'工具来评估其声称的阶最优收敛率是否紧，以及用moderately_familiar的'M-estimation theory'分析其重要性采样策略的统计效率。中期可做：若您先熟悉moderately_familiar的'identification theory in causal inference'，可将该数据量化框架迁移至分布式因果推断场景（如分布式ATE估计中的通信高效方案）。

2. 10.1109/jsait.2021.3103920 · arXiv — SQuARM-SGD: Communication-Efficient Momentum SGD for Decentralized Optimization¶

作者: Navjot Singh, Deepesh Data, Jemin George, Suhas Diggavi
期刊/来源: IEEE Journal on Selected Areas in Information Theory
分类: vol 2 · issue 3 · pp 954-969
相关性 2/10 · novelty: new_method
摘要: 本文提出 SQuARM-SGD，一种面向去中心化分布式训练的通信高效随机梯度下降算法。每个节点执行固定步数的局部 SGD（带 Nesterov 动量），然后通过稀疏化和量化压缩更新，并由局部可计算的触发准则决定何时与邻居通信。在非凸和凸光滑目标下，作者给出了收敛性保证，这是首个针对带动量更新的压缩去中心化 SGD 的理论分析。收敛率与 vanilla SGD 匹配。实验表明，动量更新比当前不考虑动量的最先进方法有更好的测试性能。该工作对您作为统计计算方向的研究者有用，因为它涉及通信-计算权衡的算法设计，与您对统计-计算 tradeoff 的兴趣直接相关。
关键技术: sparsification, quantization, Nesterov momentum, decentralized SGD, communication-efficient optimization
为什么对您有用: 本文属于统计计算方向，直接连接您对统计-计算 tradeoff 的兴趣。您武器库中的 minimax bounds 和 high-dimensional asymptotics 可用于分析其收敛率是否最优；但核心机器（去中心化优化、压缩通信）不在您的 very_familiar 或 moderately_familiar 列表中，属于暂不可做。不过作为 gateway reading，本文清晰阐述了算法和收敛性，适合入门分布式优化。

3. 10.1109/jsait.2021.3085676 · arXiv — Optimal Communication-Computation Trade-Off in Heterogeneous Gradient Coding¶

作者: Tayyebeh Jahani-Nezhad, Mohammad Ali Maddah-Ali
期刊/来源: IEEE Journal on Selected Areas in Information Theory
分类: vol 2 · issue 3 · pp 1002-1011
相关性 2/10 · novelty: new_theory
摘要: 本文研究异构分布式系统中梯度编码的最优通信-计算权衡问题。在存在s个掉队节点和a个恶意节点的设定下，对于任意数据放置方案，作者刻画了线性编码下最优通信代价的精确表达式：归一化通信代价等于(r-s-2a)^{-1}，其中r是数据分区的最小复制次数。该结果揭示了通信代价仅由最小复制次数的数据分区决定，而与数据放置的具体结构无关。所提出的可达方案还支持对聚合梯度矩阵的多项式函数进行计算，并借鉴近似计算思想，在数据复制次数不足或掉队节点数超出设计预期时提供近似梯度编码方案。理论贡献在于给出了异构系统下通信代价的精确下界，并证明了其可达性。
关键技术: gradient coding, communication-computation trade-off, heterogeneous distributed systems, linear encoding, approximate computing
为什么对您有用: 本文属于统计计算中的分布式系统优化问题，与您的统计计算兴趣直接相关。虽然核心机器（梯度编码、分布式系统容错）不在您的武器库中，但本文作为gateway reading，清晰地阐述了通信代价与数据复制次数之间的精确关系，适合作为进入分布式统计计算领域的入门读物。武器库中的软件开发和逆问题经验可帮助理解其系统设计思路，但核心的编码理论工具需要额外学习。值得花时间阅读全文以了解分布式计算中的基本权衡。

4. 10.1109/jsait.2021.3103772 · arXiv — Coded Computing via Binary Linear Codes: Designs and Performance Limits¶

作者: Mahdi Soleymani, Mohammad Vahid Jamali, Hessam Mahdavifar
期刊/来源: IEEE Journal on Selected Areas in Information Theory
分类: vol 2 · issue 3 · pp 879-892
相关性 2/10 · novelty: new_method
摘要: 本文研究编码分布式计算问题，目标是通过二进制线性码降低大规模线性计算任务（如矩阵乘法）在分布式节点上的平均执行时间。将计算任务划分为 k 个子任务，使用 (n,k) 线性码编码后分配到 n 个节点上执行。核心贡献是将平均执行时间刻画问题与擦除信道上的码字错误概率分析建立联系，给出了二进制随机线性码的闭式表达式以及任何线性编码系统所能达到的最优执行时间。证明了存在好的二进制线性码不仅能渐近达到最优性能，而且对实际中的舍入误差具有数值稳定性。针对 Reed-Muller (RM) 码开发了低复杂度擦除信道译码算法，仅涉及加法、减法和至多 log n+1 维矩阵求逆，支持实值数据的编码计算。数值实验表明 RM 码在接近最优性能的同时具有低复杂度和显式构造。该框架将信道编码理论中的丰富结果直接应用于分布式计算系统设计。
关键技术: coded distributed computing, binary linear codes, Reed-Muller codes, erasure channel decoding, matrix multiplication, average execution time analysis
为什么对您有用: 本文属于统计计算中的分布式计算与编码理论交叉方向，是 gateway reading 材料。研究者对统计计算（numerical methods, algorithm）有 secondary interest，且武器库中的 software development 和 high-dimensional asymptotics 可用于理解其性能分析。本文的编码-计算对应关系清晰，数学框架（线性码、擦除信道）对统计学家友好，适合作为进入编码计算领域的入门读物。武器库中的 minimax bounds 和 high-dimensional asymptotics 足以支撑理解其最优性证明，但缺少编码理论（如 RM 码结构）的深度知识，属于中期可做方向——需先在 moderately_familiar 的 M-estimation 或 semiparametric theory 之外补充编码理论基础。

5. 10.1109/jsait.2021.3102853 — Sequential Gradient Coding for Packet-Loss Networks¶

作者: M. Nikhil Krishnan, Erfan Hosseini, Ashish Khisti
期刊/来源: IEEE Journal on Selected Areas in Information Theory
机构: International Institute of Information Technology Bangalore · University of Toronto
分类: vol 2 · issue 3 · pp 919-930
相关性 2/10 · novelty: new_method
摘要: 本文研究分布式梯度计算中通信延迟的缓解问题。设定为：J 轮梯度计算，每轮每个工作节点计算部分梯度并尝试发送给主节点，主节点需在 T 轮延迟内收到完整梯度。核心目标是最小化总计算时间。传统梯度编码（GC）仅在空间（跨工作节点）上编码，本文提出顺序梯度编码（SGC），在空间和时间两个维度上编码，以应对丢包等通信级延迟。SGC 方案不增加计算负载，但能提供更好的容错性。实验结果表明，SGC 在通信延迟场景下显著优于 GC。对您而言，本文属于统计计算中的分布式算法设计，与您的 statistical computing 兴趣相关，但方法学核心是编码理论而非统计推断，与您的主要兴趣方向（因果推断、高维统计等）距离较远。
关键技术: gradient coding, sequential coding, packet-loss networks, distributed computation, coding across time and workers
为什么对您有用: 本文属于 statistical computing 中的分布式算法设计，与您的 secondary interest 中的 'statistical computing (numerical methods, algorithm)' 直接相关。但核心机制是编码理论（erasure codes），而非统计推断或计算-信息折中，与您 primary interests 中的 causal inference / high-dim / U-stat 等方向无直接连接。作为 gateway reading，本文对分布式计算中的通信瓶颈问题提供了清晰的设定和编码方案，但武器库中缺乏编码理论工具，暂不可做 follow-up。

6. 10.1109/jsait.2021.3105365 · arXiv — Bivariate Polynomial Coding for Efficient Distributed Matrix Multiplication¶

作者: Burak Hasircioglu, Jesus Gomez-Vilardebo, Deniz Gunduz
期刊/来源: IEEE Journal on Selected Areas in Information Theory
分类: vol 2 · issue 3 · pp 814-829
相关性 2/10 · novelty: new_method
摘要: 本文研究分布式矩阵乘法中的“掉队者”问题，提出一类双变量多项式编码方案。传统单变量多项式编码完全忽略掉队工人的部分计算结果，造成计算资源浪费。本文通过将矩阵乘法任务分解为更小的子任务，并利用双变量多项式在矩形网格上的可插值性，设计了两类编码方案：第一类在矩形评估点上保证可解码，但引入冗余计算；第二类放松解码约束，对几乎所有的评估点组合均可解码，适用于特定的存储配置。数值实验表明，双变量多项式编码能显著降低分布式矩阵乘法的平均计算时间。该工作属于编码计算与统计计算的交叉领域，对您而言，其核心思想——利用多项式结构在分布式环境中高效恢复部分计算结果——与您熟悉的逆问题、高维渐近分析有方法上的共鸣，可作为统计计算中“计算-通信折中”问题的入门阅读材料。
关键技术: bivariate polynomial codes, coded distributed computing, straggler mitigation, polynomial interpolation on rectangular grid, upload communication cost
为什么对您有用: 本文属于统计计算（stat_computing）中的分布式计算优化，是您 secondary interest 中“统计计算”方向的 gateway reading。您的武器库中“软件发展”和“高维渐近”可直接用于理解其编码-解码的复杂度分析，但核心的编码理论（多项式插值、存储-计算折中）属于 moderately_familiar 的范畴，需先熟悉编码理论的基本概念才能深入。本文值得一读，因为它展示了如何用多项式结构解决实际计算瓶颈，对您理解分布式环境下的计算效率有启发。

7. 10.1109/jsait.2021.3105076 · arXiv — Communication-Efficient and Byzantine-Robust Distributed Learning With Error Feedback¶

作者: Avishek Ghosh, Raj Kumar Maity, Swanand Kadhe, Arya Mazumdar, Kannan Ramchandran
期刊/来源: IEEE Journal on Selected Areas in Information Theory
分类: vol 2 · issue 3 · pp 942-953
相关性 2/10 · novelty: new_method
摘要: 本文研究分布式学习中的通信效率与拜占庭鲁棒性问题。目标是在存在恶意工作节点（拜占庭故障）的情况下，设计通信高效的分布式梯度下降算法。核心方法基于梯度范数的简单阈值化来检测并移除拜占庭节点，而非使用更复杂的坐标中位数或修剪均值。为降低通信开销，算法采用δ-近似压缩器（包括符号压缩和top-k稀疏化）对梯度进行压缩，并利用压缩后的梯度范数进行聚合与拜占庭节点移除。理论分析表明，在非凸光滑损失函数下，该算法的统计误差率与Yin等人（2018）的方法匹配，且在特定压缩因子范围内，压缩操作不影响收敛阶。进一步，引入误差反馈机制（error feedback）可改善统计误差率。实验验证了算法在凸（最小二乘回归）和非凸（神经网络训练）问题上的良好收敛性能。该工作对您作为统计计算方向的研究者具有参考价值，特别是其压缩与鲁棒性结合的思路可启发分布式环境下的高效统计推断方法设计。
关键技术: Byzantine-robust distributed learning, gradient norm thresholding, δ-approximate compressor, error feedback, non-convex smooth optimization
为什么对您有用: 本文直接关联您的统计计算兴趣，特别是分布式算法与通信效率的tradeoff。您武器库中的非参数统计与高维渐近理论可用于分析其压缩与鲁棒性结合的收敛性质，但核心机器（拜占庭鲁棒性与压缩器理论）不在您当前武器库中，属于暂不可做方向，需先熟悉分布式优化与鲁棒聚合的文献。

8. 10.1109/jsait.2021.3103494 · arXiv — Compressing Gradients by Exploiting Temporal Correlation in Momentum-SGD¶

作者: Tharindu B. Adikari, Stark C. Draper
期刊/来源: IEEE Journal on Selected Areas in Information Theory
分类: vol 2 · issue 3 · pp 970-986
相关性 1/10 · novelty: new_method
摘要: 本文研究分布式优化中的通信瓶颈问题，具体针对动量SGD（Momentum-SGD）场景。动量项的引入使得连续梯度更新之间存在时间相关性（低通滤波效应），本文首次提出利用这种相关性设计梯度压缩方法。方法包括两类：无错误反馈（error-feedback）和有错误反馈的压缩方案，后者使用率失真编码（rate-distortion codes）等仅在期望意义上保证误差界的压缩器。理论贡献在于：现有收敛性分析仅针对逐点误差有界的压缩器，本文首次在期望误差假设下证明了SGD的收敛性，建立了最小梯度范数的界。实验在ImageNet数据集上验证，通信速率显著降低，计算开销仅略有增加。对您而言，本文属于统计计算中分布式优化的通信效率问题，与您的统计计算兴趣（算法、数值方法）直接相关，但核心机器（分布式优化、压缩编码）不在您的武器库中，属于暂不可做方向。
关键技术: Momentum-SGD, gradient compression, error-feedback, rate-distortion codes, convergence analysis under expected error
为什么对您有用: 本文属于统计计算（分布式优化通信效率）方向，与您的primary interest中的statistical computing（numerical methods, algorithm）直接相关。但核心工具（分布式优化收敛性分析、率失真编码理论）不在您的technical arsenal中（very_familiar和moderately_familiar均未覆盖），属于暂不可做方向。若您想进入分布式优化领域，本文可作为入门读物，但需要先在优化理论或信息论上长肌肉。

9. 10.1109/jsait.2021.3102882 · arXiv — Degree Tables for Secure Distributed Matrix Multiplication¶

作者: Rafael G. L. D'Oliveira, Salim El Rouayheb, Daniel Heinlein, David Karpuk
期刊/来源: IEEE Journal on Selected Areas in Information Theory
分类: vol 2 · issue 3 · pp 907-918
相关性 1/10 · novelty: new_method
摘要: 本文研究安全分布式矩阵乘法（SDMM）问题，用户需借助多个诚实但好奇的服务器计算两个矩阵的乘积，同时保护数据隐私。作者通过分析一种称为“度表”（degree table）的组合工具来构造多项式编码方案。对于固定的矩阵划分，最小化通信开销等价于最小化度表中不同元素的个数 N。提出了 GASP_r（Gap Additive Secure Polynomial codes）编码族，通过构造低不同元素数的度表，在 outer product 划分下优于所有已知多项式编码方案。同时给出了 N 的下界，并在某些参数区域证明了构造的最优性或渐近最优性。还将最优度表构造转化为整数线性规划，验证了 GASP_r 在测试参数下的最优性。该工作对您作为统计计算方向的研究者具有参考价值，尤其是其组合优化视角与您熟悉的树宽/张量收缩复杂度分析有潜在联系。
关键技术: degree table, polynomial codes, secure distributed matrix multiplication, integer linear programming, outer product partitioning
为什么对您有用: 本文属于统计计算方向，具体涉及分布式矩阵乘法的通信-计算权衡，与您的 primary interest 中“statistical-computational tradeoff”和“statistical computing”直接相关。您的 technical arsenal 中“treewidth / tensor contraction / einsum”可用于分析其度表构造的复杂度，例如将度表最小化问题视为图结构优化。中期可做：需先在 moderately_familiar 的“theory of higher-order U-statistics”上长肌肉，以建立度表与张量网络收缩顺序的精确对应关系。

10. 10.1109/jsait.2021.3100110 · arXiv — Approximate Gradient Coding With Optimal Decoding¶

作者: Margalit Glasgow, Mary Wootters
期刊/来源: IEEE Journal on Selected Areas in Information Theory
分类: vol 2 · issue 3 · pp 855-866
相关性 1/10 · novelty: new_method
摘要: 本文研究分布式机器学习中梯度编码（gradient coding）的设计问题，目标是在随机和对抗性掉队（straggler）模型下同时获得良好性能。作者提出基于扩展图（expander graphs）的近似梯度编码，并采用最优解码系数。在随机掉队模型下，解码误差随复制因子（replication factor）指数衰减；在对抗性掉队模型下，误差优于现有同类编码。在标准假设下，证明了编码梯度下降的收敛界：随机掉队时收敛率优于黑箱方法，对抗掉队时收敛至与梯度误差线性相关的噪声基底。实验表明，该编码在随机掉队下达到近最优误差，且使用最优解码系数的算法收敛更快。本文属于统计计算中的分布式计算与编码理论交叉方向，对您而言，其扩展图构造和最优解码分析可作为理解分布式统计计算中通信-计算权衡的入门材料。
关键技术: expander graphs, gradient coding, optimal decoding coefficients, random straggler model, adversarial straggler model, coded gradient descent
为什么对您有用: 本文属于统计计算中的分布式计算方向，是您 primary interest 中 'statistical computing' 的 gateway reading。您的武器库中 'software development' 和 'high-dimensional asymptotics' 可用于理解其收敛分析，但核心的编码理论（expander graph 构造、对抗性模型分析）属于 moderately_familiar 之外的领域，需先补充编码理论基础知识。本文适合作为了解分布式机器学习中计算-通信权衡的入门读物，但暂不可做直接 follow-up。

11. 10.1109/jsait.2021.3099811 · arXiv — ϵ-Approximate Coded Matrix Multiplication Is Nearly Twice as Efficient as Exact Multiplication¶

作者: Haewon Jeong, Ateet Devulapalli, Viveck R. Cadambe, Flavio P. Calmon
期刊/来源: IEEE Journal on Selected Areas in Information Theory
分类: vol 2 · issue 3 · pp 845-854
相关性 1/10 · novelty: new_method
摘要: 本文研究分布式矩阵乘法中的编码计算问题，目标是在P个计算节点上通过线性编码存储两个矩阵的1/m分块，并从任意m个节点恢复乘积。核心贡献是证明：若允许ϵ相对误差的近似恢复（ϵ>0），则MatDot码的恢复阈值可从精确恢复时的2m-1降至m，即近似恢复几乎将效率提升一倍。对于更一般的Entangled-Poly码，近似恢复将阈值从p²q+q-1降至p²q。方法上，作者通过精细分析MatDot码的编码结构，利用多项式插值的数值稳定性实现近似恢复，无需改变编码方案本身。理论结果给出了恢复误差与节点数、编码参数之间的显式界。对您而言，本文属于统计计算中分布式计算的编码策略问题，与您的statistical computing兴趣直接相关，但方法学工具（编码理论、多项式插值）不在您当前的武器库中，属于暂不可做的方向。
关键技术: MatDot codes, coded distributed matrix multiplication, approximate recovery, polynomial interpolation, Entangled-Poly codes
为什么对您有用: 本文属于statistical computing方向，与您primary interest中的统计计算（分布式算法）直接相关。但核心工具是编码理论中的多项式插值和MatDot码结构，不在您的technical_arsenal中（very_familiar和moderately_familiar均无编码理论或分布式系统相关项），因此属于暂不可做的方向。不过，如果您未来想进入分布式统计计算领域，本文可作为入门读物，清晰阐述了问题设定和编码方案，但需要先补充编码理论基础知识。

12. 10.1109/jsait.2021.3104970 — Coded Sequential Matrix Multiplication for Straggler Mitigation¶

作者: M. Nikhil Krishnan, Erfan Hosseini, Ashish Khisti
期刊/来源: IEEE Journal on Selected Areas in Information Theory
机构: International Institute of Information Technology Bangalore · University of Toronto
分类: vol 2 · issue 3 · pp 830-844
相关性 1/10 · novelty: new_method
摘要: 本文研究分布式矩阵乘法序列中的掉队者（straggler）缓解问题。设定一个主节点将J个矩阵乘法任务分发给多个工作节点，每个任务i在第i轮开始，必须在第(i+T)轮前完成。传统编码方案仅考虑T=0（即任务间无时间重叠）的情形，本文提出两种允许跨工作节点和跨时间维度编码的方案。第一种方案是Yu等人多项式编码的推广，不假设掉队者模型，利用时间维度在相同每轮每节点计算负载下能处理更多掉队模式。第二种方案假设特定掉队者模型以进一步降低编解码复杂度。理论结果证明了方案在特定掉队模式类下的最优性，以及在i.i.d.掉队者下的性能提升。实验在神经网络训练中验证了方案的有效性。对您而言，本文属于统计计算中分布式计算的编码策略，与您的软件开发和计算效率兴趣相关，但核心问题（掉队者容错）与您的主要研究方向（因果推断、高维统计等）距离较远。
关键技术: polynomial coding, coded distributed computing, straggler mitigation, sequential matrix multiplication, temporal coding
为什么对您有用: 本文属于统计计算中的分布式计算编码策略，与您的'statistical computing (numerical methods, algorithm)'兴趣相关。但核心问题（掉队者容错）与您的主要研究方向（因果推断、高维统计、U统计量）无直接交集。您的武器库中'software development'可帮助理解分布式实现，但缺乏分布式计算编码理论的基础。暂不可做——核心机器（编码分布式计算理论）不在武器库中。

13. 10.1109/jsait.2021.3103822 · arXiv — Factored LT and Factored Raptor Codes for Large-Scale Distributed Matrix Multiplication¶

作者: Asit Kumar Pradhan, Anoosheh Heidarzadeh, Krishna R. Narayanan
期刊/来源: IEEE Journal on Selected Areas in Information Theory
机构: Texas A&M University
分类: vol 2 · issue 3 · pp 893-906
相关性 1/10 · novelty: new_method
摘要: 本文针对分布式矩阵乘法中的掉队节点问题，提出了两种编码方案：Factored LT (FLT) 码和 Factored Raptor (FRT) 码，它们分别是 LT 码和 Raptor 码在矩阵乘法场景下的适配。核心设定是：将大矩阵分块后分配给多个工作节点，每个节点计算部分乘积，主节点需收集足够多的结果才能恢复完整乘积。FLT 码的 Tanner 图中节点邻域以高概率为树状结构，这使得密度演化分析能给出平均恢复阈值的合理估计；当输出度分布为 Soliton 时，FLT 码的恢复阈值渐近最优。利用 Azuma–Hoeffding 不等式，作者证明了随机选取的 FLT 码的恢复阈值集中在系综均值附近。与 Product 码相比，FLT 和 FRT 码具有更好的恢复阈值；与 Polynomial 码相比，它们预期数值稳定性更好，且解码复杂度低。此外，这些编码方案更适合实际中重要的稀疏矩阵乘法场景。对您而言，本文属于统计计算中的分布式计算与编码理论交叉方向，其 Tanner 图树状邻域分析与您熟悉的树宽/张量收缩复杂度有潜在联系，可作为了解分布式矩阵乘法编码方案的入门读物。
关键技术: LT codes, Raptor codes, density evolution analysis, Azuma–Hoeffding inequality, Tanner graph tree-like neighborhood, distributed matrix multiplication
为什么对您有用: 本文属于统计计算中的分布式计算方向，与您的 primary interest 中的 statistical computing 直接相关。您武器库中 very_familiar 的树宽/张量收缩复杂度（treewidth / tensor contraction / einsum）可用于分析 FLT 码的 Tanner 图树状邻域结构，例如评估解码算法的计算成本或优化度分布。本文是 gateway reading：它清晰阐述了分布式矩阵乘法的编码模型和恢复阈值概念，不要求读者熟悉编码理论，适合作为进入该方向的入门读物。武器库足以支撑理解核心思想，但若要深入分析解码复杂度或设计新编码，需在 moderately_familiar 的 M-estimation 或高维渐近工具上稍作延伸。

其他 (other, 8 篇)¶

1. 10.1109/jsait.2021.3103770 · arXiv — Slow and Stale Gradients Can Win the Race¶

作者: Sanghamitra Dutta, Jianyu Wang, Gauri Joshi
期刊/来源: IEEE Journal on Selected Areas in Information Theory
分类: vol 2 · issue 3 · pp 1012-1024
相关性 2/10 · novelty: new_method
摘要: 本文研究分布式随机梯度下降（SGD）中同步与异步方法的误差-运行时间权衡。同步SGD受慢节点（stragglers）拖累导致实际运行时间增加，而异步SGD虽缓解了慢节点问题，但梯度陈旧（staleness）会恶化收敛误差。作者提出了一种新的理论刻画，将随机慢节点延迟纳入运行时间分析，从而能够设计在慢节点与陈旧之间取得平衡的分布式SGD算法。在误差收敛分析方面，本文去掉了异步SGD变体通常需要的有界或指数延迟假设，给出了更一般的收敛界。基于误差-运行时间权衡的理论结果，作者提出了一种逐渐改变同步程度的分布式SGD方法，并在CIFAR10数据集上验证了其性能。本文主要贡献在于分布式优化系统的理论分析，而非统计推断或因果推断方法。
关键技术: Distributed SGD, asynchronous SGD, straggler delay, gradient staleness, error-runtime trade-off
为什么对您有用: 本文属于分布式机器学习系统优化，与您的主要兴趣（因果推断、高维统计、U-统计量等）无直接交集。虽然统计计算是您的次要兴趣，但本文聚焦于分布式SGD的同步/异步权衡，而非统计推断中的计算-统计权衡（如低度多项式障碍、SQ下界等），因此与您关注的'统计-计算权衡'方向的核心问题（信息-计算间隙、多项式时间可达性）关联较弱。作为入门阅读，本文对分布式系统背景要求较高，且未涉及您武器库中的具体工具（如U-统计量的树宽/张量收缩复杂度），因此暂不可做。

2. 10.1109/jsait.2021.3101762 · arXiv — Function Load Balancing Over Networks¶

作者: Derya Malak, Muriel Medard
期刊/来源: IEEE Journal on Selected Areas in Information Theory
分类: vol 2 · issue 3 · pp 1041-1056
相关性 2/10 · novelty: new_method
摘要: 本文研究网络中的函数负载均衡问题，目标是在静态网络中最小化通信与计算的联合延迟。作者利用Slepian-Wolf分布式压缩方案，提出“熵满射性”作为函数稀疏性的度量，以理解函数压缩用于计算的极限。通过Little定律建立满射性与计算处理因子之间的联系，该因子反映需要通信的流量比例。结果表明，针对不同满射性的函数类，可以通过任务化的链路预留来重构网络，实现混合或分离处理。数值实验在搜索、MapReduce和分类任务上评估了该方法，并分析了处理因子对满射性的敏感性。本文属于通信与网络计算领域，与您的主要研究兴趣（因果推断、高维统计等）无直接关联，但其中关于计算与通信权衡的视角可能对统计计算中的分布式算法设计有间接启发。
关键技术: Slepian-Wolf compression, entropic surjectivity, Little's law, flow-based delay minimization, task-based link reservation
为什么对您有用: 本文属于通信网络领域，与您的主要研究兴趣（因果推断、高维统计、半参理论等）无直接交集。其中关于计算-通信权衡的建模思路可能对统计计算中的分布式算法设计有间接启发，但核心工具（Slepian-Wolf压缩、Little定律）不在您的技术武器库中。暂不可做——缺乏网络信息论和排队论的基础工具。

3. 10.1109/jsait.2021.3102956 · arXiv — List-Decodable Coded Computing: Breaking the Adversarial Toleration Barrier¶

作者: Mahdi Soleymani, Ramy E. Ali, Hessam Mahdavifar, A. Salman Avestimehr
期刊/来源: IEEE Journal on Selected Areas in Information Theory
分类: vol 2 · issue 3 · pp 867-878
相关性 1/10 · novelty: new_method
摘要: 本文研究分布式计算中对抗性工作节点存在下的编码计算问题。目标是突破传统编码计算中可容忍恶意工作节点数量的理论阈值。核心方法是利用折叠Reed-Solomon码的列表译码技术，并结合主节点执行精心设计的额外计算来获取边信息（side information）。该边信息用于剪枝列表译码器的输出，从而唯一恢复正确结果。作者进一步提出了折叠拉格朗日编码计算（FLCC）框架，将上述技术整合到具体编码计算场景中。理论分析表明，FLCC将可容忍的恶意节点数量阈值相比传统LCC渐近提升了2倍。本文属于编码计算与分布式容错计算领域，与您的主要研究方向（因果推断、高维统计、U统计量等）无直接交集。
关键技术: list-decoding, folded Reed-Solomon codes, Lagrange coded computing, adversarial workers, side information pruning
为什么对您有用: 本文主题为分布式编码计算与容错，与您的主要研究兴趣（因果推断、高维统计、U统计量、半参效率理论）无直接关联。武器库中的非参数统计、最小最大界、高阶U统计量等工具在此问题中不适用。暂不可做——核心机器（编码理论、列表译码、分布式容错计算）不在您的武器库中。

4. 10.1109/jsait.2021.3102279 · arXiv — Stream Distributed Coded Computing¶

作者: Alejandro Cohen, Guillaume Thiran, Homa Esfahanizadeh, Muriel Medard
期刊/来源: IEEE Journal on Selected Areas in Information Theory
分类: vol 2 · issue 3 · pp 1025-1040
相关性 1/10 · novelty: application
摘要: 本文研究分布式计算中的延迟与故障问题，提出一种联合调度-编码框架，在异构工作节点（计算和通信能力不同）和流式任务随机到达的设定下，通过引入冗余计算（分布式编码计算）来容忍掉队节点。核心机制是：基于随机模型，动态选择工作节点子集并分配计算负载，以最小化平均按序任务执行延迟。方法上结合了编码理论（如纠删码）与调度优化，但未涉及统计推断或假设检验。仿真表明，该框架显著优于均匀分配负载的朴素方法，且接近理想性能。对您而言，本文属于分布式计算/通信领域，与您的主要兴趣（因果推断、高维统计、U-统计量等）无直接关联，且未提供可迁移的统计方法或数据模型。
关键技术: distributed coded computing, joint scheduling-coding, straggler mitigation, heterogeneous workers, stochastic job arrivals
为什么对您有用: 本文主题为分布式计算中的编码与调度优化，属于计算机系统/通信领域，与您的主要兴趣（因果推断、高维统计、U-统计量、半参理论等）无直接交集。武器库中的工具（如非参统计、极小极大界、高阶U-统计量）无法直接应用于本文的问题设定。暂不可做——核心机器（编码理论、排队论、调度优化）不在武器库中。

5. 10.1109/jsait.2021.3088240 — Corrections to “Generalization Bounds via Information Density and Conditional Information Density” [Nov 20 824-839]¶

作者: Fredrik Hellstrom, Giuseppe Durisi
期刊/来源: IEEE Journal on Selected Areas in Information Theory
机构: Chalmers University of Technology
分类: vol 2 · issue 3 · pp 1072-1073
相关性 0/10 · novelty: minor
摘要: 本文是对 Hellström & Durisi (2020) 中泛化误差数据依赖尾界证明的勘误。原证明中声称 [1, Eq. (32)] 可推出 [1, Eq. (26)]，但前者仅对固定 λ 成立，而后者需要 λ 在实数集上一致成立。作者通过应用 [2, Thm. 2.6.(IV)] 并取 λ = 1-1/n，修正了该错误，并给出了修正后的 bound (3) 和 (4)。此外，还指出原论文中绝对连续性条件需加强以避免可测性问题。该修正也影响了随机子集设定下的尾界 [1, Eqs. (95) and (98)]。本文纯属技术性勘误，不涉及新方法或新结果。对您而言，该论文与您的主要兴趣（如高维统计、假设检验）无直接关联，仅当您关注信息论泛化界时才有参考价值。
关键技术: sub-Gaussian tail bounds, data-dependent generalization bounds, information density, change of measure
为什么对您有用: 本文是技术勘误，与您的主要兴趣（因果推断、高维统计、U-统计量等）无直接连接。您的武器库中非参数统计和 minimax 界工具无法直接应用于此信息论泛化界问题。暂不可做——核心机器（信息密度、sub-Gaussian 尾界技巧）不在您的武器库中。

作者: Ali Khalesi, Mahtab Mirmohseni, Mohammad Ali Maddah-Ali
期刊/来源: IEEE Journal on Selected Areas in Information Theory
分类: vol 2 · issue 3 · pp 1057-1071
相关性 0/10 · novelty: new_theory
摘要: 本文研究分布式多用户秘密共享问题，设定包括一个可信主节点、N个存储节点和K个用户，每个用户可访问部分存储节点。目标是设计编码方案，使得每个用户能从其可访问的存储节点内容中恢复自己的秘密消息，同时无法获取其他用户的任何信息。主节点为每个用户构造一个次数等于其可访问存储节点数减一的多项式，将用户消息嵌入部分系数，其余系数用于协调多用户共享同一存储节点时的编码。文章刻画了所有可达速率元组的容量区域，即满足正确性和隐私约束的速率集合。该工作属于信息论与密码学交叉领域，与您的统计研究方向无直接关联。
关键技术: polynomial-based secret sharing, capacity region characterization, multi-user information-theoretic security
为什么对您有用: 本文主题为信息论与密码学中的秘密共享，与您的统计研究兴趣（因果推断、高维统计、半参数理论等）无直接交集。作为gateway-reading也不合适，因为缺乏统计模型或数据分析视角。建议不投入时间阅读。

7. 10.1109/jsait.2021.3102267 · arXiv — Multi-Party Proof Generation in QAP-Based zk-SNARKs¶

作者: Ali Rahimi, Mohammad Ali Maddah-Ali
期刊/来源: IEEE Journal on Selected Areas in Information Theory
分类: vol 2 · issue 3 · pp 931-941
相关性 0/10 · novelty: new_method
摘要: 本文研究基于QAP的zk-SNARK中的多方证明生成问题。zk-SNARK允许证明者向验证者证明其知道某个秘密值v满足F(u,v)=y，而不泄露v。QAP-based zk-SNARK因证明大小固定和验证者计算量轻而被广泛用于区块链，但证明者的计算负担极重。现有方案中，DZIK可将计算负载分摊到多个服务器但要求服务器可信，Trinocchio不要求信任但每个服务器的计算量与原始证明者相同。本文提出一种新方案，允许证明者将任务委托给N个服务器，即使其中T个服务器合谋也无法获取秘密v，且每个服务器的计算复杂度低于原始证明者的1/(N-T)。该方案在安全性和计算效率之间取得了更好的平衡。本文属于密码学与区块链基础设施方向，与您的主要研究兴趣（因果推断、高维统计、U-统计量等）无直接关联。
关键技术: QAP-based zk-SNARK, multi-party computation, secure delegation, secret sharing
为什么对您有用: 本文主题为密码学与区块链中的零知识证明协议，与您的主要研究兴趣（因果推断、高维统计、U-统计量、半参数理论等）无直接交集。武器库中的非参数统计、最小最大界、高阶U-统计量计算等工具在此处不适用。本文属于纯密码学/分布式计算领域，暂不可做。

8. 10.1109/jsait.2021.3106424 — IEEE Journal on Special Areas in Information Theory information for authors¶

作者:
期刊/来源: IEEE Journal on Selected Areas in Information Theory
分类: vol 2 · issue 3 · pp C3-C3
相关性 0/10 · novelty: minor
摘要: 本文是IEEE信息论领域期刊的作者须知，介绍期刊定位与投稿范围。该期刊专注于信息论与机器学习、统计学、基因组学、神经科学、理论计算机科学及物理学的交叉领域，涵盖熵、压缩、编码、互信息、散度、容量和率失真理论等核心概念。文章本身不包含任何技术贡献或方法论创新。对于统计研究者而言，本文仅提供投稿信息，无实质学术内容。
为什么对您有用: 本文为期刊投稿指南，无技术内容，不涉及任何研究兴趣方向。无需进一步阅读。

Maintained by 陈星宇 · Homepage · Source on GitHub