Group-Sparse Smoothing for Longitudinal Models with Time-Varying Coefficients¶

讲者: Yu Lu
会场: Variable Selection and FDR Control and Network and Graphical Models
报告题目: Group-Sparse Smoothing for Longitudinal Models with Time-Varying Coefficients
链接: arXiv
来源: JCSDS 2026 · 返回会议总览

一、领域脉络与小综述¶

这个方向是什么¶

纵向数据（longitudinal data）分析中，协变量效应可能随时间动态变化。时变系数模型（VCM）允许效应函数 \(\beta_k(t)\) 平滑演化，但将所有效应都设为时变会导致过拟合、效率损失和可解释性下降；而标准线性混合模型（LMM）假设效应恒定，又会因忽略时间异质性而产生严重偏倚。本文所解决的子问题是：在纵向VCM中同时进行变量选择与结构识别——即判断每个协变量属于无关（零效应）、常数效应还是时变效应，并给出光滑估计。该方向当前成熟度中等：已有大量VCM估计与变量选择工作，但将“常数 vs 时变”的结构识别纳入统一惩罚框架的工作相对较少。

发展脉络（history）¶

奠基工作：Laird & Ware (1982) 建立随机效应框架；Liang & Zeger (1986) 引入GEE用于边际推断；Hastie & Tibshirani (1993) 提出VCM概念；Fan & Zhang (1999) 建立VCM统计估计理论；Hoover et al. (1998) 研究纵向数据非参数平滑估计；Wu & Zhang (2006) 系统总结纵向非参数回归。这些工作奠定了VCM的灵活建模能力，但也暴露出“所有效应都时变”的实践问题。
主要进展（惩罚方法）：Tibshirani (1996) Lasso；Fan & Li (2001) 非凹惩罚与oracle性质；Yuan & Lin (2006) 组Lasso；Meier et al. (2008) 块惩罚推广。在VCM中：Wang et al. (2008) 用样条基进行变量选择；Wei et al. (2011) 研究高维VCM的估计与选择；Huang et al. (2010) 在可加模型中强调分量稀疏性。平滑方面：Eilers & Marx (1996) P-splines；Lin & Zhang (2006) COSSO强调联合处理选择与平滑。理论方面：Lounici et al. (2011) 给出组稀疏的oracle不等式。
当前frontier：纵向高维方向：Wang et al. (2012) 惩罚GEE；Chen & He (2018) 高维时变系数推断；Dai & Kolar (2021) 高维分位VCM。结构识别方向：Ke et al. (2016) 面板数据结构识别；Li et al. (2015) 超高维半变系数模型。新方向：Bai et al. (2023) 可扩展贝叶斯VCM；Köber et al. (2023) 深度学习潜动态建模。
本文位置：作者将缺口frame为“现有VCM要么假设所有效应时变（过拟合），要么假设常数（有偏），缺乏统一的结构识别方法”。本文提出TV-Select，通过分解 \(\beta_k(t) = \mu_k + g_k(t)\) 并施加组Lasso+粗糙度双重惩罚，在一个框架内同时完成变量选择、常数/时变区分与光滑估计。

子线索聚类¶

VCM估计与推断：Fan & Zhang (1999), Hoover et al. (1998), Wu & Zhang (2006), Chen & He (2018), Dai & Kolar (2021)。侧重非参数估计、渐近性质、推断方法。
变量选择与结构识别：Wang et al. (2008), Wei et al. (2011), Huang et al. (2010), Ke et al. (2016), Li et al. (2015)。侧重通过惩罚选择相关变量或识别常数/时变结构。
平滑与惩罚方法：Eilers & Marx (1996), Lin & Zhang (2006), Antoniadis et al. (2012), Lounici et al. (2011)。侧重联合处理光滑性与稀疏性。
纵向数据特殊方法：Laird & Ware (1982), Liang & Zeger (1986), Wang et al. (2012), Bai et al. (2023)。侧重处理组内相关、随机效应、贝叶斯建模。

这个方向在追问的核心问题¶

如何同时识别哪些协变量效应是时变的、哪些是常数、哪些为零？
如何平衡函数估计的平滑性与结构稀疏性？
在纵向数据存在组内相关时，如何保证选择一致性与推断有效性？
高维情形（p 与 n 可比或更大）下，结构识别是否仍可行？

⚠️ 作者的 framing（必须明确标注成“这是作者的说法”）¶

作者把缺口 frame 成：“虽然 VCM 灵活，但将所有效应设为时变会导致过拟合和效率损失；而 LMM 假设常数又可能严重有偏。因此需要一种统一方法同时进行变量选择和结构识别。” 作者通过分解 \(\beta_k(t) = \mu_k + g_k(t)\) 并施加双重惩罚，使得“识别时变效应等价于选择非零偏差块”，从而将问题转化为组稀疏问题。竞争路线方面，作者淡化了“两步法”（先选变量再判断时变）和“贝叶斯方法”（Bai et al. 2023），仅将其作为对比方法（Screen+Reﬁt）或提及但未深入比较。什么明显该被引/该存在、却没出现在 intro 里？ 作者未引用关于“半变系数模型”（semi-varying coefficient models）的早期工作（如 Zhang et al. 2002, JASA），该模型也允许部分系数常数、部分时变，但通常通过假设检验或分步方法识别。此外，关于“post-selection inference”在VCM中的文献（如 Berk et al. 2013 选择性推断）未被讨论。这些是值得研究者去查的问题。

张力¶

被引工作之间未见明显对立结论。不同方法（如贝叶斯 vs 频率派、两步法 vs 联合法）各有优劣，但本文未提供直接比较的理论或模拟证据。

二、最核心、最简单的例子 / 数学问题¶

第一步：符号、模型、可观测数据交代清楚¶

符号：
\(N\)：个体数；\(n_i\)：个体 \(i\) 的观测次数；\(n = \sum_i n_i\)：总观测数。
\(y_{ij}\)：个体 \(i\) 在时间 \(t_{ij}\) 的响应（可观测）。
\(\mathbf{x}_{ij} = (x_{ij1}, \ldots, x_{ijp})^\top\)：\(p\) 维协变量向量（可观测）。
\(t_{ij} \in [0,1]\)：观测时间（可观测，已归一化）。
\(\beta_k(t)\)：第 \(k\) 个协变量的时变系数函数（未知，目标估计）。
\(\mu_k\)：第 \(k\) 个协变量的时间不变平均效应（参数，待估）。
\(g_k(t)\)：第 \(k\) 个协变量的中心化时变偏差，满足 \(\int_0^1 g_k(t) dt = 0\)（函数，待估）。
\(\tilde{\mathbf{B}}(t) = (\tilde{B}_1(t), \ldots, \tilde{B}_q(t))^\top\)：中心化 B 样条基函数（已知，由节点和阶数决定）。
\(\boldsymbol{\theta}_k \in \mathbb{R}^q\)：第 \(k\) 个偏差的样条系数（参数，待估）。
\(\varepsilon_{ij}\)：误差项，均值为零，方差 \(\sigma^2\)（不可观测）。
\(b_i\)：个体随机截距（通过去均值移除或忽略）。
\(S_{\text{zero}}, S_{\text{const}}, S_{\text{vary}}\)：分别表示零效应、常数效应、时变效应的指标集（目标识别）。
\(\lambda_1, \lambda_2\)：调谐参数（组Lasso惩罚和粗糙度惩罚的权重）。
\(\boldsymbol{\Omega}\)：粗糙度矩阵（已知，如二阶导数惩罚）。
模型：
\[y_{ij} = \beta_0 + \sum_{k=1}^p x_{ijk} \beta_k(t_{ij}) + b_i + \varepsilon_{ij},\]
其中 \(\beta_k(t) = \mu_k + g_k(t)\)，\(\int_0^1 g_k(t) dt = 0\)。通过个体内去均值（减去个体均值）可移除 \(b_i\)，得到工作独立模型：
\[y_{ij} = \beta_0 + \sum_{k=1}^p x_{ijk} \beta_k(t_{ij}) + \varepsilon_{ij},\]
且 \(\varepsilon_{ij}\) 在理论分析中假设独立（工作独立性假设）。
可观测数据：\(\{y_{ij}, \mathbf{x}_{ij}, t_{ij}\}_{i=1,\ldots,N, j=1,\ldots,n_i}\)。不可观测：\(\beta_k(\cdot), \mu_k, g_k(\cdot), \boldsymbol{\theta}_k, \varepsilon_{ij}, b_i\)。

第二步：最小内核¶

考虑最简特例：\(p=2\)，一个常数效应（\(\mu_1 \neq 0, g_1 \equiv 0\)），一个时变效应（\(\mu_2 = 0, g_2(t) = \sin(2\pi t)\)）。无随机截距（已去均值），独立同分布高斯误差 \(\varepsilon_{ij} \sim N(0,1)\)，时间点规则网格 \(t_{ij} = (j-1)/(n-1)\)，协变量独立且标准化。则模型退化为：

\[y_{ij} = x_{ij1} \mu_1 + x_{ij2} g_2(t_{ij}) + \varepsilon_{ij}.\]

用 \(q\) 个中心化 B 样条基近似 \(g_2(t) \approx \tilde{\mathbf{B}}(t)^\top \boldsymbol{\theta}_2\)。目标函数为：

\[\frac{1}{2n} \sum_{i,j} \left( y_{ij} - x_{ij1} \mu_1 - x_{ij2} \tilde{\mathbf{B}}(t_{ij})^\top \boldsymbol{\theta}_2 \right)^2 + \lambda_1 \|\boldsymbol{\theta}_2\|_2 + \lambda_2 \boldsymbol{\theta}_2^\top \boldsymbol{\Omega} \boldsymbol{\theta}_2.\]

这里 \(\mu_1\) 无惩罚，\(\boldsymbol{\theta}_2\) 受组Lasso和粗糙度双重惩罚。最小化时，先固定 \(\boldsymbol{\theta}_2\)，\(\mu_1\) 有闭式最小二乘解；固定 \(\mu_1\)，\(\boldsymbol{\theta}_2\) 通过“平滑（ridge）+ 选择（组软阈值）”更新。当 \(\lambda_1\) 足够大时，\(\|\hat{\boldsymbol{\theta}}_2\|_2 = 0\)，此时认为 \(g_2 \equiv 0\)（错误）；当 \(\lambda_1\) 适当小时，\(\hat{\boldsymbol{\theta}}_2 \neq 0\)，正确识别时变效应。理论要求信号强度（\(\|g_2\|\)）足够大以克服噪声。这个例子展示了核心思路：通过惩罚偏差块的 \(\ell_2\) 范数来判断是否时变，同时用粗糙度惩罚保证估计光滑。

三、这篇论文做了什么¶

三句话¶

研究问题：纵向数据时变系数模型中，同时进行变量选择与结构识别（区分零效应、常数效应、时变效应），并给出光滑估计。
核心工具：将每个系数函数分解为常数均值 \(\mu_k\) 与中心化时变偏差 \(g_k(t)\)，用 B 样条近似 \(g_k(t)\)，构建组Lasso（对 \(\boldsymbol{\theta}_k\) 的 \(\ell_2\) 范数）与粗糙度（\(\boldsymbol{\theta}_k^\top \boldsymbol{\Omega} \boldsymbol{\theta}_k\)）的双重惩罚目标函数。
主要结论：在正则条件下，估计误差达到 \(O_p(n^{-r/(2r+1)}\sqrt{\log p})\) 的速率（\(r\) 为光滑度）；时变集选择具有一致性（需不相关与 beta-min 条件）；常数效应在正确识别后具有 oracle 渐近正态性。

关键设定与假设¶

模型：工作独立性假设下的 VCM（式 (1)），通过个体内去均值处理随机截距。
分解：\(\beta_k(t) = \mu_k + g_k(t)\)，\(\int_0^1 g_k(t) dt = 0\) 保证可识别性。
样条近似：\(g_k(t) \approx \tilde{\mathbf{B}}(t)^\top \boldsymbol{\theta}_k\)，\(\tilde{\mathbf{B}}\) 为中心化 B 样条基，维数 \(q\) 随样本量增长。
假设：
Assumption 1 (设计正则性)：协变量子高斯，时间点非随机或独立于误差。
Assumption 2 (误差)：误差条件子高斯，工作独立性假设。
Assumption 3 (光滑性)：真偏差函数 \(g_{0k}\) 属于 Hölder 类 \(H^r\)，\(r>2\)；样条逼近误差 \(O(q^{-r})\)。
Assumption 4 (限制特征值)：设计矩阵 \([1_n, X, Z_S]\) 满足限制特征值条件，保证可识别性。
Assumption 5 (维度与调参)：\(p + s_v q = o(n)\)，\(\log p = o(n)\)；\(\lambda_1 \asymp \sqrt{q \log p / n}\)；\(\lambda_2\) 有界。
相比已有文献：与 Wang et al. (2008) 相比，本文增加了结构识别（常数 vs 时变）；与 Wei et al. (2011) 相比，增加了粗糙度惩罚；与 Ke et al. (2016) 相比，本文采用联合惩罚而非两步法。假设强度中等：限制特征值条件类似组Lasso文献，beta-min 条件常见于选择一致性。

主要结果¶

Theorem 1 (估计误差与速率)：以概率至少 \(1 - c_1 p^{-c_2}\)，预测误差和系数误差满足：
\[\frac{1}{n} \|X(\hat{\mu} - \mu_0) + \sum_k Z_k(\hat{\theta}_k - \theta_{0k}^*)\|_2^2 \leq C (s_v q \lambda_1^2 + s_v q^{-2r}),\]

\[\|\hat{\mu} - \mu_0\|_2^2 + \sum_{k \in S_{\text{vary}}} \|\hat{\theta}_k - \theta_{0k}^*\|_2^2 \leq C (s_v q \lambda_1^2 + s_v q^{-2r}).\]
选择 \(q \asymp n^{1/(2r+1)}\) 得近最优率 \(O_p(n^{-r/(2r+1)} \sqrt{\log p})\)。该界分离了样条逼近偏差（\(q^{-r}\)）与高维估计项（\(\sqrt{q \log p / n}\)）。
Theorem 2 (时变效应选择一致性)：在额外的不相关条件（incoherence）和 beta-min 条件（\(\min_{k \in S_{\text{vary}}} \|\theta_{0k}^*\|_2 \geq c_0 \lambda_1\)）下，\(\hat{S}_{\text{vary}} = S_{\text{vary}}\) 的概率趋于 1。不相关条件要求非活跃组的偏差块与活跃组设计的相关性受控，类似于组Lasso的 irrepresentable 条件。
Corollary 1 (零 vs 常数效应的一致分类)：在 Theorem 2 成立的基础上，对 \(\hat{\mu}_k\) 施加阈值 \(\tau_N \asymp \sqrt{\log p / n}\)，若常数效应信号强度超过阈值，则分类一致。
Theorem 3 (常数效应的 Oracle 渐近正态性)：假设 \(|S_{\text{const}}|\) 固定，在正确识别时变集的事件上，\(\hat{\mu}_{S_{\text{const}}}\) 的 \(\sqrt{n}\) 渐近分布与已知时变集时的 OLS 估计相同：
\[\sqrt{n} a^\top (\hat{\mu}_{S_{\text{const}}} - \mu_{0,S_{\text{const}}}) \xrightarrow{d} N(0, \sigma^2 a^\top V^{-1} a),\]
其中 \(V = \lim_{N\to\infty} n^{-1} X_{S_{\text{const}}}^\top M X_{S_{\text{const}}}\)，\(M\) 为投影掉 \([1_n, X_{S_{\text{vary}}}, Z_{S_{\text{vary}}}]\) 的残差生成矩阵。

证明路线与技术技巧¶

整体路线：
估计误差界 (Theorem 1)：由最优性条件导出基本不等式，利用组Lasso的锥条件（\(\|\Delta_{\theta, S^c}\|_{2,1} \leq 3 \|\Delta_{\theta, S}\|_{2,1}\)），结合限制特征值假设，得到 \(\|\Delta_\mu\|_2^2 + \|\Delta_{\theta,S}\|_2^2 \leq C(s_v \lambda_1^2 + s_v q^{-2r})\)。关键步骤：控制噪声-设计相关性（Lemma 2）和样条逼近误差（Lemma 1）。
选择一致性 (Theorem 2)：采用 primal-dual witness (PDW) 构造。先解限制问题（仅活跃组），构造候选解（非活跃组设为零）。验证严格对偶可行性：对非活跃组 \(k\)，需证 \(\|n^{-1} Z_k^\top \tilde{e}\|_2 < \lambda_1\)。将 \(\tilde{e}\) 分解为噪声+逼近误差+估计误差，利用不相关条件控制泄漏项，得到严格不等式。再通过 beta-min 条件保证活跃组不被收缩为零。
Oracle 渐近正态性 (Theorem 3)：在正确选择事件上，常数效应估计等价于部分回归（FWL 定理）。将估计误差分解为 \(\varepsilon\) 项和逼近误差 \(r\) 项，证明 \(r\) 项为 \(o_p(n^{-1/2})\)，然后对 \(\varepsilon\) 项应用 Lindeberg-Feller CLT。
关键跳跃点：
Lemma 2 (噪声-设计相关性控制)：需要处理 \(Z_k^\top \varepsilon\) 的 \(\ell_2\) 范数，通过 \(\varepsilon\)-net 和子高斯尾界得到 \(\max_k \|n^{-1} Z_k^\top \varepsilon\|_2 \leq C \sqrt{q \log p / n}\)。这是选择 \(\lambda_1\) 量级的依据。
PDW 中的不相关条件：需要证明非活跃组的 \(Z_k\) 与活跃组残差的相关性被 \((1-\eta)\lambda_1/2\) 控制，这依赖于不相关假设和估计误差的速率。
逼近误差处理：Lemma 1 给出 \(\|r\|_2^2 / n = O(s_v q^{-2r} \log(np))\)，在 \(q \asymp n^{1/(2r+1)}\) 下，\(r\) 项对 \(\sqrt{n}\) 渐近可忽略。
技术技巧点名：
Empirical process / 子高斯尾界：用于 Lemma 2 控制 \(\max_k \|Z_k^\top \varepsilon\|_2\)。
样条逼近理论：Lemma 1 利用 Hölder 类假设和 B 样条逼近性质。
组Lasso锥条件：从基本不等式推导 \(\|\Delta_{\theta, S^c}\|_{2,1} \leq 3 \|\Delta_{\theta, S}\|_{2,1}\)。
Primal-dual witness：用于选择一致性证明，构造限制问题解并验证 KKT 条件。
Frisch-Waugh-Lovell 定理：用于 Theorem 3 将常数效应估计表示为部分回归。
Lindeberg-Feller CLT：用于证明渐近正态性。

真实例子与应用¶

数据：Sleep-EDF Expanded 数据库的 sleep-cassette 子集，20 个夜间记录（10 个受试者），每个记录分为 5 分钟块，提取 12 个生理特征（EEG 频带功率、EOG、EMG、呼吸、体温、性别、年龄）。响应为对数转换的 delta 频带功率（慢波活动指标）。
方法应用：拟合 VCM \(Y_i = \beta_0 + \sum_{k=1}^{12} X_{ik} \{\mu_k + g_k(t_i)\} + \varepsilon_i\)，使用三次 B 样条，二阶差分粗糙度惩罚。调参通过 EBIC 选择。
结果：TV-Select 在 MAE (0.8967)、RMSE (1.1264)、粗糙度 (0.0693) 和稳定性 (0.9111) 上均优于 VC-Ridge、Group-Lasso、Screen+Reﬁt。图 8 显示 TV-Select 估计的时变效应曲线更平滑，且识别出 Alpha、Sigma、EOG、EMG、呼吸等变量的时变模式，符合睡眠生理学预期。
例子想说明：验证方法在实际纵向数据中的有效性，展示结构识别和光滑估计的优势，以及生理可解释性。

🔎 结论是否比证明窄¶

Theorem 3 的 oracle 渐近正态性是在“正确识别时变集”的事件上成立的，且假设 \(|S_{\text{const}}|\) 固定。论文未提供 post-selection inference 的调整（如考虑选择不确定性），因此实际应用中若选择错误，推断可能失效。论文在结论部分提到“post-selection inference for the estimated varying eﬀects”作为未来方向，说明作者意识到此局限。
Theorem 2 的选择一致性需要 beta-min 条件和不相关条件，这些条件在实际中难以验证。论文未讨论条件不满足时的行为。
模拟中 \(p\) 最大为 300，属于中等维度，未覆盖超高维（\(p \gg n\)）情形。理论假设 \(p + s_v q = o(n)\)，排除了 \(p > n\) 的情况。

四、开放问题（点到为止，扎根具体语句）¶

扩展到更一般的响应类型：论文在结论中提到“extensions to more general longitudinal response types”（Section 7），但未具体展开。可考虑广义线性模型或分位回归框架，需修改损失函数和理论分析。
更明确的组内相关性建模：论文使用工作独立性假设，但结论中提及“more explicit modeling of within-subject dependence”。可引入随机效应或工作相关结构，但会改变惩罚形式和理论证明（如需要处理相关误差的尾界）。
时变效应的 post-selection inference：论文仅给出常数效应的 oracle 推断，对时变效应未提供置信带或假设检验。结论中明确提到“post-selection inference for the estimated varying eﬀects”作为未来方向。这需要处理选择不确定性，可能涉及条件推断或同时置信带。
超高维情形：理论假设 \(p + s_v q = o(n)\)，未处理 \(p \gg n\)。可考虑使用更弱的条件（如限制特征值在稀疏子空间上成立）或引入 screening 步骤。论文未讨论此方向，但相关文献（如 Wei et al. 2011）已处理高维 VCM，可借鉴。
自适应权重与稳健估计：论文提到可扩展到自适应权重（Zou 2006; Wang & Leng 2008）和稳健推断（Hu et al. 2021），但未实现。可考虑用自适应组Lasso改善选择性能，或用 M-估计处理厚尾误差。

注意：以上开放问题均扎根于论文的结论部分（Section 7）或理论假设的局限性。研究者若想确认某条是否为真 gap，可阅读同子领域近期约 5 篇论文的 intro（如 Bai et al. 2023, Chen & He 2018, Dai & Kolar 2021, Ke et al. 2016, Li et al. 2015），看它们是否共同指向这些方向。

Maintained by 陈星宇 · Homepage · Source on GitHub