跳转至

Multi-relational Network Autoregression Model with Latent Group Structures

讲者: Yimeng Ren
会场: Statistical Learning, Networks, and Decision Science
报告题目: Multi-Relational Network Autoregression Model with Latent Group Structures
链接: arXiv
来源: JCSDS 2026 · 返回会议总览

一、领域脉络与小综述

这个方向是什么

本文研究的子方向是多关系网络上的张量值时间序列建模，核心问题是如何在多个（q个）已知外生网络（如社交网络、空间网络）同时影响下，对高维张量时间序列进行建模、估计与推断。当前该方向处于从单网络向多网络、从同质向异质、从向量/矩阵向张量扩展的阶段。现有工作要么只考虑单个网络（Zhu et al., 2017; Zhu et al., 2023），要么不利用网络结构信息（如纯低秩张量自回归），要么不能同时处理多个网络上的潜在组结构。本文试图填补这一空白。

发展脉络（history）

  • 奠基工作：Zhu et al. (2017) 提出网络向量自回归（NAR）模型，将网络邻接矩阵嵌入自回归系数，用于单网络上的高维时间序列。该工作确立了“网络自回归”这一建模范式，但假设所有节点同质。
  • 主要进展（单网络异质）：Zhu et al. (2023) 提出带潜在组结构的网络向量自回归模型，允许节点属于不同组，组内共享参数，并同时估计组分配和参数。该工作首次在单网络框架下实现了异质性建模，但其组间交互形式（β_{g_i g_j}）使得组分配估计需要额外的细化步骤（brute-force enumeration）。本文引用称“the theoretical challenges in Zhu et al. (2023) and in our work stem from different sources, and we employ very different strategies to resolve them”。
  • 主要进展（面板数据分组）：Bonhomme & Manresa (2015) 和 Su et al. (2016) 在面板数据中引入潜在组结构，使用C-Lasso或分组固定效应估计。这些工作为组结构建模提供了理论基础，但仅适用于向量响应，无法直接处理张量数据。本文引用称“the model format designed for vector-valued responses limits its applicability to complex tensor-valued data”。
  • 主要进展（张量时间序列）：Chen et al. (2021) 提出矩阵自回归（MAR）模型，使用双线性形式Y_t = A Y_{t-1} B^⊤ + E_t，利用矩阵结构降维。Wang et al. (2024) 提出低秩张量自回归模型，假设转移张量具有Tucker低秩结构。这些工作提供了张量时间序列的建模框架，但不利用网络结构信息，因此无法直接对网络效应进行统计推断。本文引用称“existing works do not exploit network structure information across tensor dimensions and therefore do not provide direct statistical inference on these network effects”。
  • 当前frontier与本文位置：本文是第一个将潜在组结构引入多网络张量时间序列的工作。它结合了网络自回归（利用网络结构降维）和组结构（处理异质性），并建立了完整的估计、推断和组数选择理论。与Zhu et al. (2023) 的关键区别在于：本文在每个网络内采用“仅依赖发送节点组”的效应形式（λ^{(l)}_{g^{(l)}_i}），避免了组间交互的复杂性，但需要同时处理多个网络的组结构交互（在自动量项α中）。

子线索聚类

  1. 单网络自回归模型：Zhu et al. (2017), Armillotta & Fokianos (2023), Chen et al. (2023), Fang et al. (2023), Chen et al. (2026)。这些工作聚焦于单个网络上的时间序列，利用网络结构降维，但未处理多网络或张量数据。
  2. 面板数据/时间序列的潜在组结构：Bonhomme & Manresa (2015), Su et al. (2016), Ke et al. (2015), Liu et al. (2020), Zhang et al. (2019)。这些工作在线性面板或VAR中引入组结构，但响应是向量，且通常只考虑一个维度的分组。
  3. 张量时间序列模型：Chen et al. (2021, 2022), Wang et al. (2019, 2024), Chang et al. (2023), Chen & Fan (2023), Chen & Lam (2024)。这些工作处理矩阵/张量时间序列，通过低秩分解或因子模型降维，但不利用网络结构，且不提供网络效应的直接推断。

这个方向在追问的核心问题

  • Q1：如何在高维张量时间序列中同时量化多个网络效应，并保持参数可解释性？
  • Q2：如何自动发现每个网络维度上的异质性（潜在组结构），并同时估计组分配和组参数？
  • Q3：当组数可能被过指定时，参数和组分配估计是否仍然一致？
  • Q4：如何对网络效应进行统计推断（假设检验、置信区间）？

当前主流方法与瓶颈：主流方法包括（a）将张量堆叠为向量后使用稀疏VAR（参数过多、解释性差）；（b）使用低秩张量自回归（不利用网络结构、无法推断网络效应）；（c）使用单网络自回归加组结构（无法处理多网络）。瓶颈在于：多网络组结构之间的交互使得理论分析复杂化，且同时估计多个组分配在计算和统计上都具有挑战性。

⚠️ 作者的framing

作者将缺口frame为：“a critical gap remains in the availability of rigorous statistical models capable of providing valid statistical inferences about multiple network effects”（Introduction第2段）。他们把自己的工作定位为“the first to tackle time series indexed by multiple networks with distinct group structures”（2.4.4节）。他们淡化了与纯低秩张量自回归模型的比较，仅在2.4.2节指出GTNAR不能表示为低秩形式（除非网络矩阵本身低秩），并强调GTNAR的可解释性优势。他们回避了计算复杂度问题（算法是否保证全局最优？），仅在附录E中证明局部收敛。明显该被引但未出现在intro中的工作：没有看到关于“多网络社区检测”的引用（如Lei et al., 2020; Jing et al., 2021），这些工作虽然聚焦社区检测而非自回归，但处理的是类似的多层网络结构。作者在intro中提到了这些工作（“Recently, there has been significant interest in investigating these networks collectively”），但未深入比较。值得研究者去查：这些社区检测方法是否可以被扩展为自回归模型？

张力

未见明显对立引用。所有被引工作基本是互补的，各自解决不同子问题。

二、最核心、最简单的例子 / 数学问题

第一步：符号、模型、可观测数据交代清楚

符号： - \( q \)：网络层数（固定常数）。本文主要讨论 \( q=2 \) 的矩阵情形。 - \( N_l \)：第 \( l \) 个网络的节点数。 - \( Y_t \in \mathbb{R}^{N_1 \times \cdots \times N_q} \)：\( t \) 时刻的响应张量。可观测。 - \( A^{(l)} \in \mathbb{R}^{N_l \times N_l} \)：第 \( l \) 个网络的邻接矩阵（已知外生）。\( a^{(l)}_{ij} \in \{0,1\} \)，\( a^{(l)}_{ii}=0 \)。 - \( W^{(l)} \)：行归一化邻接矩阵，\( w^{(l)}_{ij} = a^{(l)}_{ij} / n_{li} \)，其中 \( n_{li} = \sum_k a^{(l)}_{ik} \)。 - \( G_l \)：第 \( l \) 个网络的组数（需估计或指定）。 - \( g^{(l)}_i \in [G_l] \)：第 \( l \) 个网络中节点 \( i \) 的组归属（潜在变量）。 - \( \lambda^{(l)}_{g} \)：第 \( l \) 个网络中属于组 \( g \) 的节点的网络效应参数（标量）。 - \( \alpha_{g^{(1)} \cdots g^{(q)}} \)：自动量参数，依赖于所有网络维度的组组合。 - \( \zeta^{(l)}_{g} \in \mathbb{R}^{p_l} \)：第 \( l \) 个网络中组 \( g \) 的协变量效应参数。 - \( x^{(l)}_{i_l t} \in \mathbb{R}^{p_l} \)：第 \( l \) 个网络中节点 \( i_l \) 在时刻 \( t \) 的协变量向量（可观测）。 - \( \varepsilon_{i_1 \cdots i_q, t} \)：独立同分布噪声，均值为0，方差 \( \sigma^2 \)。

模型（以 \( q=2 \) 的矩阵形式为例，即公式(4)）：

\[Y_t = (L^{(1)} W^{(1)}) Y_{t-1} + Y_{t-1} (W^{(2)} L^{(2)}) + A \circ Y_{t-1} + \beta_{X1,t} \mathbf{1}_{N_2}^\top + \mathbf{1}_{N_1} \beta_{X2,t}^\top + E_t,\]
其中 \( L^{(l)} = \text{diag}(\lambda^{(l)}_{g^{(l)}_i}) \)，\( A = (\alpha_{g^{(1)}_i g^{(2)}_j}) \)，\( \beta_{Xl,t} = (x^{(l)\top}_{i_l t} \zeta^{(l)}_{g^{(l)}_{i_l}}) \)，\( E_t \) 为噪声矩阵。

可观测数据：\( \{Y_t, A^{(1)}, A^{(2)}, x^{(1)}_{it}, x^{(2)}_{jt} : t=1,\ldots,T, i=1,\ldots,N_1, j=1,\ldots,N_2\} \)。不可观测：组归属 \( g^{(1)}_i, g^{(2)}_j \)，以及所有组参数 \( \lambda, \alpha, \zeta \)。

第二步：最小内核

最简特例：取 \( q=2 \)，\( G_1 = G_2 = 2 \)（每个网络两个组），无协变量（\( p_1=p_2=0 \)），且忽略自动量项（\( \alpha=0 \)）。则模型退化为：

\[Y_{ij,t} = \lambda^{(1)}_{g^{(1)}_i} \sum_{k} w^{(1)}_{ik} Y_{kj,t-1} + \lambda^{(2)}_{g^{(2)}_j} \sum_{k} w^{(2)}_{kj} Y_{ik,t-1} + \varepsilon_{ij,t}.\]
此时，每个节点 \( i \) 属于组 \( g^{(1)}_i \in \{1,2\} \)，每个节点 \( j \) 属于组 \( g^{(2)}_j \in \{1,2\} \)。参数只有 \( \lambda^{(1)}_1, \lambda^{(1)}_2, \lambda^{(2)}_1, \lambda^{(2)}_2 \) 四个标量。

核心思路：给定组分配，模型关于参数是线性的，可通过最小二乘闭式求解。给定参数，每个节点的最优组分配可通过最小化其个体损失函数独立确定（公式(14)）。因此，迭代更新组分配和参数即可。这个特例下，论文的全部理论（一致性、组分配一致性）都成立，且证明难度大大降低——因为不需要处理自动量项 \( \alpha \) 的跨组交互，也不需要处理协变量。论文的一般情形只是在这个内核上增加了自动量项（\( \alpha \) 依赖于所有维度的组组合）和协变量项，使得参数估计和组分配更新需要求解一个更大的线性系统，但核心的迭代策略不变。

数学困难：即使在这个最简特例中，同时估计两个网络的组分配仍然有挑战，因为两个网络的组分配通过 \( Y_t \) 耦合在一起。论文的关键想法是顺序更新：先固定一个网络的组分配，更新另一个；然后交替进行。这避免了联合优化所有组分配的高维组合问题。

三、这篇论文做了什么

三句话

  1. 研究了什么问题：提出了一个组张量网络自回归（GTNAR）模型，用于分析多关系网络上的张量值时间序列，允许每个网络维度上的节点具有潜在的组结构，组内共享网络效应、自动量效应和协变量效应参数。
  2. 核心工具/方法：通过最小化最小二乘目标函数，设计了一个迭代算法，交替更新组参数（闭式解）和组分配（逐节点最小化），并提出了基于信息准则（QIC）的组数选择方法。
  3. 主要结论：证明了当组数被正确指定或过指定时，参数估计和组分配估计均具有一致性；当组数正确指定时，参数估计具有渐近正态性，可进行统计推断；QIC可一致地选择真实组数。

关键设定与假设

  • 模型设定：公式(2)给出了一般形式，公式(3)为张量形式。关键结构：每个网络的主效应项 \( \lambda^{(l)}_{g^{(l)}_{i_l}} \sum_k w^{(l)}_{i_l k} Y_{\cdots} \) 只依赖于发送节点 \( i_l \) 的组，而不依赖于接收节点。这与Zhu et al. (2023) 的 \( \beta_{g_i g_j} \) 形式不同，简化了组分配估计。
  • 假设：
  • Assumption 1（参数有界）：\( \|\Theta\|_{\max} < \infty \)。
  • Assumption 2（凸性）：每个节点对应的设计矩阵期望 \( \Sigma_{i_1\cdots i_q} \) 的最小特征值 \( \tau_{\min} > 0 \)。
  • Assumption 3（噪声次高斯）：误差 \( \varepsilon \) 独立同分布次高斯，尺度参数 \( \nu \)。
  • Assumption 4（协变量K-凸）：协变量的任意线性组合满足K-凸浓度性质（Adamczak, 2015）。这是一个高维条件，允许协变量具有时间依赖。
  • Assumption 5（稳定性）：自回归系数矩阵谱半径小于1，确保时间序列平稳。
  • Assumption 6（组差异）：不同组的参数差异 \( c_{\text{gap}} \) 足够大，且允许 \( c_{\text{gap}} \to 0 \)（但速度慢于 \( T^{-1}(\sum \log N_l)^2 \)）。这是组可识别性的关键。
  • Assumption 7（组比例）：每个真实组的节点比例有正下界 \( c_\pi > 0 \)。
  • 相比已有文献的放宽/强化：Assumption 6 允许 \( c_{\text{gap}} \to 0 \)（而Su et al. 2016等假设 \( c_{\text{gap}} > c > 0 \)），这允许研究信号强度对理论性质的影响。Assumption 4 使用K-凸浓度而非独立同分布，允许协变量具有弱依赖。

主要结果

  • Theorem 2（参数一致性）：当 \( G_l \geq G_{l,0} \)（组数可能过指定）时，伪距离 \( d(\hat{\Theta}, \Theta^0) = O_p\{ (\sum \log N_l)^2 / T \} \)。这意味着只要 \( T \gg (\sum \log N_l)^2 \)，参数估计一致。允许 \( N_l \) 随 \( \sqrt{T} \) 指数增长。
  • Theorem 3（组数选择一致性）：若惩罚参数 \( \kappa \) 满足 \( T^{-1}(\sum \log N_l)^2 \ll \kappa \ll c_{\text{gap}} / (\prod G_l) \)，则QIC可一致选择真实组数。
  • Proposition 4（节点级参数一致性）：在过指定下，每个节点的参数估计误差一致有界 \( O_p\{ T^{-1}(\sum \log N_l)^2 \} \)。
  • Theorem 5（组分配强一致性）：在过指定下，每个估计组都包含于某个真实组（即真实组被分裂而非合并）。
  • Corollary 6（Oracle性质）：当组数正确指定时，估计组分配以概率1趋于真实分配，且参数估计渐近等价于已知组分配的Oracle估计。
  • Theorem 7（渐近正态性）：当 \( N_l \) 同阶（\( c_1 n \leq N_l \leq c_2 n \)）且组数正确时，\( n^{q/2} T^{1/2} (\hat{\xi} - \xi^0) \) 渐近正态，协方差矩阵为 \( \sigma^2 (M^0)^{-1} \)。这为统计推断提供了基础。

证明路线与技术技巧

整体路线（以Theorem 2为例）： 1. 定义伪距离 \( d(\hat{\Theta}, \Theta^0) \) 为所有节点参数误差的加权平均。 2. 利用凸性（Assumption 2）得到 \( Q^*(\Theta) - Q^*(\Theta^0) \geq \tau_{\min} d(\Theta, \Theta^0) \)（Lemma 23）。 3. 控制经验过程：证明 \( |Q(\Theta) - Q^*(\Theta)| \) 在参数空间上的一致收敛速度（Lemma 17, 19）。关键工具：Hanson-Wright型不等式（Adamczak, 2015）处理二次型；K-凸浓度性质处理协变量项；对时间序列的分解（\( Y_t = Y_t^c + Y_t^e \)）将确定性部分和随机部分分开处理（Lemma 18）。 4. 壳论证：将参数空间按 \( d(\Theta, \Theta^0) \) 分层，利用一致收敛界和 \( Q^* \) 的凸下界，证明全局最小化器 \( \hat{\Theta} \) 落入 \( d \leq O_p(a_{NT}^2) \) 的壳内（公式(A.43)-(A.44)）。

关键跳跃点： - 处理多网络组结构交互：自动量项 \( \alpha_{g^{(1)}\cdots g^{(q)}} \) 依赖于所有维度的组组合，使得组分配估计不能独立进行。论文通过顺序更新（Algorithm A.2 Step 2）和新的理论引理（Lemma 25）来证明组分配一致性。Lemma 25证明：当参数估计足够接近真实值时，每个节点的估计组分配必然落入与真实组对应的“邻域”内，且这些邻域互不相交。 - 节点级一致性的提升：从平均一致性（Theorem 2）到节点级一致性（Proposition 4）需要更精细的论证。论文通过构造一个“伪Oracle”参数 \( \Theta^\sigma \)（将每个节点的估计组替换为最接近的真实组），然后证明 \( \hat{\Theta} \) 与 \( \Theta^\sigma \) 的距离也是 \( O_p(a_{NT}^2) \)（公式(A.51)附近），从而得到节点级误差一致有界。 - 组数选择：Theorem 3的证明需要同时处理过指定和欠指定两种情况。过指定时，利用参数一致性证明QIC的差值主要由惩罚项主导；欠指定时，利用组差异假设（Assumption 6）证明模型无法拟合真实结构，导致损失函数显著增大。

技术技巧点名： - Hanson-Wright型不等式（Adamczak, 2015）：用于处理二次型 \( w^\top Y_t Y_t^\top w \) 的浓度（Lemma 18, 27）。 - K-凸浓度性质（Definition 1）：用于处理协变量项和确定性部分 \( Y_t^c \) 的浓度（Assumption 4, Lemma 29）。 - 时间序列的Wold分解：将 \( Y_t \) 分解为确定性部分 \( Y_t^c \)（由协变量驱动）和随机部分 \( Y_t^e \)（由噪声驱动），分别处理（公式(A.6)）。 - 壳论证（Shell argument）：标准的一致性证明技巧，用于从经验过程的一致收敛性推导估计量的收敛速度。 - 顺序更新与局部收敛：算法被证明单调递减目标函数，收敛到局部极小点（Appendix E）。全局最优性未证明，但通过多重初始化（Algorithm A.3）提高找到全局最优的概率。

真实例子与应用

  • 数据：Yelp数据集（2010-2018），5个北美城市。响应变量 \( Y_{ij,t} \) 为用户 \( i \) 对区域 \( j \) 在季度 \( t \) 的评论数（log(1+x)变换）。用户网络基于好友关系，空间网络基于地理相邻关系。协变量包括用户注册时长、VIP状态、收到的标签数（有用/有趣/酷），以及区域的平均星级和平均评论数。
  • 方法应用：对每个城市分别拟合GTNAR模型，使用QIC选择组数。例如，Phoenix估计出3个用户组和2个区域组。
  • 结果：空间网络效应均为正，且第二组区域（市中心商业区）的效应更大（\( \hat{\lambda}^{(2)}_2 = 0.270 \) vs \( \hat{\lambda}^{(2)}_1 = 0.05 \)），与文献中“几何聚集单元具有更强溢出效应”一致。用户网络效应在组1为负（\( \hat{\lambda}^{(1)}_1 = -0.02 \)），组3为正且最大（\( \hat{\lambda}^{(1)}_3 = 0.024 \)），且组3用户的网络度数更高。自动量效应 \( \hat{\alpha} \) 均为正，其中组1用户对组2区域的效应最大（\( \hat{\alpha}_{12} = 0.193 \)）。
  • 例子想说明什么：验证模型在实际数据中的可用性，展示估计结果的可解释性，并与现有实证研究结论一致。

🔎 结论是否比证明窄

  • Theorem 7（渐近正态性）要求 \( N_l \) 同阶（\( c_1 n \leq N_l \leq c_2 n \)），且组数正确指定。但实际应用中组数未知，需通过QIC选择，而QIC的一致性（Theorem 3）是在 \( N_l, T \to \infty \) 下成立的，有限样本下组数选择可能有误差。论文在模拟中展示了当组数被正确指定或过指定时的表现，但未证明在组数选择后推断的有效性（即“选择后推断”问题）。
  • Theorem 2 的收敛速度 \( O_p\{ (\sum \log N_l)^2 / T \} \) 在论文中被称为“typical in existing research”（Concluding Remarks），但作者也指出“how to obtain a minimax rate needs further investigation”。这意味着当前速度可能不是最优的。
  • 算法收敛到局部极小点（Appendix E），但全局最优性未证明。论文通过多重初始化来缓解，但理论上没有保证。

四、开放问题

  1. Minimax最优率：Theorem 2的收敛速度 \( O_p\{ (\sum \log N_l)^2 / T \} \) 是否是最优的？作者在Concluding Remarks中明确提到“how to obtain a minimax rate needs further investigation”。扎根于Section 8最后一句。

  2. 高维协变量：当前假设协变量维度 \( p_l \) 固定。若 \( p_l \) 随 \( N_l \) 或 \( T \) 增长，模型估计和理论将面临新的挑战。作者在Concluding Remarks中提到“It would be interesting to consider the high-dimensional covariates in this framework”。

  3. 非线性扩展与因子结构：作者在Section 8提到“introducing a hidden factor structure into the GTNAR model can potentially offer more insights”，以及在Appendix H中讨论了非线性扩展（如用深度学习拟合协变量效应）。这些扩展的理论性质（如因子数估计、非参数收敛率）尚未建立。

  4. 全局最优性：当前算法仅保证收敛到局部极小点（Appendix E）。如何设计算法或施加条件以保证全局最优，是一个开放问题。作者在Remark 0中写道“We leave the theoretical investigation for a global optimizer as an interesting future topic”。

  5. 选择后推断：Theorem 7的渐近正态性依赖于组数正确指定。实际中组数通过QIC选择，但选择后的推断（如置信区间的覆盖性质）未被研究。这是一个普遍问题，值得关注。

Maintained by 陈星宇 · Homepage · Source on GitHub

评论