跳转至

Online Augmented Plug-in Inference for Multi-group Fair Prediction

作者: Enze Shi, Jinhan Xie, Linglong Kong, Bei Jiang
主题: 因果推断
相关性: 6/10
链接: https://arxiv.org/abs/2610.29099


一、领域脉络与小综述

这个方向是什么

本文所处的子方向是「在线公平机器学习中的统计推断」。它要解决的根本问题是:当模型在数据流上以随机优化方式训练、且训练目标中加入了公平性正则项时,如何对最终模型参数构造渐近有效且计算上可行的置信区间。这个方向的特殊性在于,公平性约束(如 demographic parity)通常由同一数据流估计得到,导致参数估计量与约束估计量之间存在耦合,传统的"把正则项当作已知"的推断会低估不确定性。该方向当前处于"方法快速涌现但推断理论尚不完整"的阶段——大量工作关注如何训练公平模型,但对其不确定性量化(尤其在线设定下)的严格处理是近几年的活跃 frontier。

发展脉络(history)

  • 奠基工作:公平性准则的形式化。Hardt et al. (2016) 提出 equalized odds 等可操作的公平性定义,并给出在已知真实标签率时对任意分类器进行后处理调整的最优方法;Dwork et al. (2012) 提出 individual fairness 框架,强调相似个体应被相似对待。这两篇奠定了"公平性作为可量化约束"的范式,但均未涉及估计不确定性的传播。
  • 主要进展:公平性约束下的训练算法。Zafar et al. (2019) 提出基于决策边界协方差约束的凸优化框架,将 fairness 转化为可微的凸代理;Kamishima et al. (2012) 提出 prejudice remover 正则项,在训练目标中直接加入公平性惩罚。这些工作确立了"协方差惩罚作为 demographic parity 代理"的技术路线,但作者指出其"reduction need not reduce the disparity in threshold decisions"——即代理与真实准则之间存在 gap。
  • 当前 frontier:公平性的不确定性量化。Cherian and Candès (2024) 将公平性审计框架化为多重假设检验问题,用 bootstrap 同时控制多个子群的性能差异;Rajkumar (2022) 针对 demographic parity 的 min-over-max 估计量推导了渐近分布,并处理了非光滑点;Liu and Zhao (2024) 用经验似然构造协方差公平性代理的置信域;Roy and Mohapatra (2026) 研究约束随机优化训练的分类器的不确定性,使用在线乘子 bootstrap。这些工作开始认真对待"公平性度量本身是估计量"这一事实,但大多假设模型已训练完毕、只对公平性度量做推断。
  • 在线推断的谱系:Robbins and Monro (1951) 的随机逼近与 Polyak and Juditsky (1992) 的 Polyak-Ruppert 平均奠定了在线估计的渐近理论;Schifano et al. (2016) 提出可再生能源方程框架,允许在数据流上更新估计与推断;Chen et al. (2020) 与 Zhu et al. (2023) 分别发展了在线协方差估计与基于 SGD 轨迹的递归协方差估计。本文的位置是将 Polyak-Ruppert 平均的推断理论推广到"参数与约束同时在线估计"的耦合设定,这是上述两条谱系的交汇点。

子线索聚类

  1. 公平性准则与代理设计(Hardt 2016; Dwork 2012; Zafar 2019; Kamishima 2012; Wei 2021):定义公平性、设计可优化的代理。核心张力是代理与真实准则之间的 gap。
  2. 公平性的统计推断(Rajkumar 2022; Cherian & Candès 2024; Liu & Zhao 2024; Roy & Mohapatra 2026):对已训练模型的公平性度量做置信推断。核心问题是度量本身的估计误差。
  3. 在线估计与推断(Robbins-Monro 1951; Polyak-Juditsky 1992; Schifano 2016; Chen 2020; Zhu 2023; Han 2024):数据流上的参数估计与协方差估计。核心问题是递推更新与渐近效率。
  4. 公平性的动态/时序视角(Liu et al. 2018; Henzinger et al. 2023):公平性在时间上的演化与运行时监控。本文未深入此线索,但将其列为 future work。

这个方向在追问的核心问题

  1. 代理与真实准则的 gap 如何量化? 协方差惩罚为零是否意味着 demographic parity 成立?作者明确承认"equal mean scores do not imply equal threshold decision rates",但未给出 gap 的界。
  2. 在线估计中,约束估计量的不确定性如何传播到参数推断? 这是本文的核心贡献——它证明这种传播是一阶效应,不能忽略。
  3. 如何在不存储数据的前提下构造一致的协方差估计? 本文用固定内存递推解决,但代价是引入了 harmonic weights 的额外项。
  4. 公平性正则项的强度如何选择? 固定 λ 与消失 λ 对应不同的推断目标(正则化目标 vs. 未正则化目标),本文通过 Corollary 1 给出了 λ_n 的率条件。

⚠️ 作者的 framing(这是作者的说法)

作者将本文定位为"在线公平预测中第一个处理约束估计不确定性的推断框架"。其核心论点是:由于公平性算子 C 与参数 β 从同一数据流估计,naive 的"plug-in 后忽略算子不确定性"会导致置信区间系统性偏窄。作者用 harmonic weights 刻画了这种"重复使用"效应,并声称这是"treating the learned operator as fixed can miscalibrate confidence intervals"的严格证明。注意:作者没有声称解决了代理与真实 fairness 准则之间的 gap——这是一个被明确搁置的问题(见 Section 2.1 末尾)。

张力

  • 代理 vs. 真实准则:协方差惩罚是 demographic parity 的代理,但作者承认二者不等价。这意味着一组在代理上"公平"的系数可能在真实准则上仍不公平。
  • 固定 λ vs. 消失 λ:固定 λ 的推断目标 β_λ 本身随 λ 变化,而消失 λ 的推断目标 β 需要额外的率条件。两种模式下的置信区间含义不同。
  • 在线 vs. 离线:本文的在线设定要求固定内存,但离线设定下可以用更成熟的 bootstrap 方法(如 Cherian & Candès 2024)。在线方法的优势是单遍扫描,但代价是推断效率可能低于离线方法。
  • 未见明显对立引用:被引文献之间没有直接矛盾,但存在"代理设计"与"代理推断"两条路线之间的分工张力——前者假设代理已给定,后者假设代理已训练完毕。本文是少数同时处理两者的工作。

二、最核心、最简单的例子 / 数学问题

第一步:符号、模型、可观测数据交代清楚

数据与随机变量:

  • 数据流:独立同分布样本 \((V_i, Y_i, Z_i)\),\(i = 1, 2, \ldots\),其中 \(V_i \in \mathcal{V}\) 是原始协变量,\(Y_i\) 是响应(二分类或连续),\(Z_i \in \{1, \ldots, K\}\) 是敏感属性(如性别、种族),\(K \geq 2\)。
  • 设计向量:\(X_i = \phi(V_i) \in \mathbb{R}^p\),其中 \(\phi: \mathcal{V} \to \mathbb{R}^p\) 是预先固定的特征映射(可含截距、变换、交互项)。
  • 紧凑记号:\(W_i = (X_i, Y_i, Z_i)\)。
  • 分组指示:\(Z_{i,g} = \mathbf{1}\{Z_i = g\}\),\(Z_i = (Z_{i,1}, \ldots, Z_{i,K})^\top \in \mathbb{R}^K\) 是 one-hot 向量。
  • 分组概率:\(\pi = E Z_i \in \mathbb{R}^K\),\(\pi_g = \Pr(Z_i = g)\),假设 \(\pi_g > 0\) 对所有 \(g\) 成立。

参数与目标量:

  • 模型参数:\(\beta \in \mathbb{R}^p\),是要估计并做推断的对象。
  • 决策分数:\(\delta_\beta(V) = X^\top \beta\)。
  • 阈值分类器:\(\hat{Y}_\beta = \mathbf{1}\{X^\top \beta \geq 0\}\)。
  • 损失函数:\(L(W, \beta)\),逐样本损失;\(L(\beta) = E L(W, \beta)\) 为总体风险。
  • 公平性算子(核心对象):\(C = E[(Z - \pi)(X - \mu_X)^\top] \in \mathbb{R}^{K \times p}\),其中 \(\mu_X = E X\)。这是总体层面的 group-score 协方差矩阵。注意 \(C\) 的每一行 \(e_g^\top C = \pi_g \Delta_g^s(\beta)\),其中 \(\Delta_g^s(\beta) = E[X^\top \beta \mid Z = g] - E[X^\top \beta]\) 是第 \(g\) 组的平均决策分数偏离总体均值的量。
  • 惩罚矩阵:\(M = C^\top C \in \mathbb{R}^{p \times p}\),半正定。
  • 正则化目标:\(L_\lambda(\beta) = L(\beta) + \frac{\lambda}{2} \|C\beta\|^2 = L(\beta) + \frac{\lambda}{2} \beta^\top M \beta\),其中 \(\lambda \geq 0\) 是惩罚强度。
  • 目标参数:\(\beta^*_\lambda = \arg\min_{\beta \in \mathcal{B}} L_\lambda(\beta)\),其中 \(\mathcal{B} \subseteq \mathbb{R}^p\) 是凸参数空间。注意:推断目标是 \(\beta^*_\lambda\)(固定 λ 的正则化目标),而非未正则化的 \(\beta^* = \beta^*_0\)。

可观测数据:研究者实际能观测到的是数据流 \(\{W_i\}_{i=1}^n\),即 \((X_i, Y_i, Z_i)\) 的三元组。不可观测的是总体量 \(C\)、\(M\)、\(\beta^*_\lambda\)、\(A\)(下面定义)、\(S\)(下面定义)——这些都需要从数据中估计。

关键二阶量(用于推断):

  • 损失梯度:\(\Psi(\beta, W) = \nabla_\beta L(W, \beta)\)。
  • 总体梯度:\(g(\beta) = E \Psi(\beta, W) + \lambda M \beta\)。
  • 曲率矩阵:\(A = \nabla^2 L(\beta^*_\lambda) + \lambda M = E[\nabla^2_\beta L(W, \beta^*_\lambda)] + \lambda M\)。
  • 分数方差:\(S = E[\eta_i \eta_i^\top]\),其中 \(\eta_i = -[\Psi(\beta^*_\lambda, W_i) + \lambda M \beta^*_\lambda]\) 是总体层面的影响函数(influence function)。
  • 算子影响:\(Q_i = (Z_i - \pi)(X_i - \mu_X)^\top - C \in \mathbb{R}^{K \times p}\),这是 \(C\) 的总体影响函数。
  • 算子对参数的"推送":\(\rho_i = (C^\top Q_i + Q_i^\top C) \beta^*_\lambda \in \mathbb{R}^p\),这是 \(C\) 的估计误差对参数估计的一阶影响。

模型假设(作者的条件):

  • 条件 1:特征映射 \(\phi\) 预先固定,决策分数线性于 \(\beta\),公平性正则作用于决策分数而非阈值指示器。
  • 条件 2:损失函数 \(L(W, \cdot)\) 几乎处处凸,\(g\) 在 \(\mathcal{B}\) 上 Lipschitz 且强单调。
  • 条件 3:\(\{ \zeta_i(\beta) \}\) 是鞅差序列,条件二阶矩有界,条件 Lindeberg 条件在 \(\beta^*_\lambda\) 处成立。
  • 条件 4:\(\pi_g > 0\),\(E\|X\|^4 < \infty\),\(\sup_{\lambda \in \Lambda} \|\beta^*_\lambda\| < \infty\)。
  • 条件 5:损失函数二次连续可微,梯度/Hessian 满足矩条件,\(A\) 正定。

第二步:最小内核

剥掉所有一般性设定后,本文的核心数学问题是:

设 \(\beta^*_\lambda\) 是正则化总体风险 \(L_\lambda(\beta)\) 的唯一最小点。我们以随机逼近方式在线更新参数估计 \(\hat{\beta}_n\),同时用同一数据流在线更新公平性算子估计 \(\hat{C}_n\)。问题是:\(\sqrt{n}(\hat{\beta}_n - \beta^*_\lambda)\) 的极限分布是什么?它与"已知 \(C\)"的 oracle 情形有何不同?

最小例子(线性回归 + 二组公平性):

设 \(K = 2\)(两组),\(p = 1\)(单特征),\(Y = X\beta^* + \varepsilon\),平方损失 \(L(W, \beta) = \frac{1}{2}(Y - X\beta)^2\)。公平性惩罚为 \(\frac{\lambda}{2}(C\beta)^2\),其中 \(C = E[(Z - \pi)X]\) 是标量。

  • 总体目标:\(L_\lambda(\beta) = \frac{1}{2}E(Y - X\beta)^2 + \frac{\lambda}{2} C^2 \beta^2\)。
  • 一阶条件:\(E[X(Y - X\beta)] + \lambda C^2 \beta = 0\),解得 \(\beta^*_\lambda = \frac{E[XY]}{E[X^2] + \lambda C^2}\)。
  • 在线更新:\(\hat{\beta}_n = \hat{\beta}_{n-1} - \gamma_n [ -X_n(Y_n - X_n \hat{\beta}_{n-1}) + \lambda \hat{C}_{n-1}^2 \hat{\beta}_{n-1} ]\),其中 \(\hat{C}_{n-1}\) 是从前 \(n-1\) 个样本估计的协方差。
  • 关键点:\(\hat{C}_{n-1}\) 不是常数,它随 \(n\) 变化且与 \(\hat{\beta}_{n-1}\) 相关。naive 的做法是"先估计 \(\hat{C}\),然后当作已知 \(C\) 代入",这会丢失 \(\hat{C}\) 的估计不确定性。

为什么 naive 做法会失败?

将 \(\hat{\beta}_n\) 的递推线性化。记 \(e_n = \hat{\beta}_n - \beta^*_\lambda\),\(D_n = \hat{C}_n^2 - C^2\)。则:

\[e_n \approx (1 - \gamma_n A) e_{n-1} + \gamma_n \eta_n - \gamma_n \lambda D_n \beta^*_\lambda\]

其中 \(A = E[X^2] + \lambda C^2\),\(\eta_n = X_n(Y_n - X_n \beta^*_\lambda) - \lambda C^2 \beta^*_\lambda\)。

  • 第一项 \((1 - \gamma_n A) e_{n-1}\):参数估计的收缩。
  • 第二项 \(\gamma_n \eta_n\):普通 score 噪声。
  • 第三项 \(-\gamma_n \lambda D_n \beta^*_\lambda\):算子估计误差的推送。

为什么第三项不能忽略? 因为 \(D_n\) 是 \(\hat{C}_n^2 - C^2\),而 \(\hat{C}_n\) 是前 \(n\) 个样本的均值。观察 \(i\) 进入 \(\hat{C}_n\) 后,会通过后续所有更新步骤影响 \(\hat{\beta}_k\)(\(k > i\))。因此,第三项在时间上累积,其贡献在 Polyak 平均后是 \(O_p(n^{-1/2})\) 量级——与普通 score 噪声同阶。这就是本文的核心发现:算子估计的不确定性在在线推断中是一阶效应,而非二阶可忽略项。

为什么是 harmonic weights?

将第三项展开。\(\hat{C}_n\) 的估计误差可以写成影响函数和:

\[\hat{C}_n - C = \frac{1}{n} \sum_{i=1}^n Q_i + O_p(n^{-1})\]

其中 \(Q_i = (Z_i - \pi)(X_i - \mu_X) - C\)。代入递推并求和,第三项的累积贡献为:

\[-\lambda \beta^*_\lambda \sum_{i=1}^n \sum_{j=i}^n \gamma_j \cdot \frac{1}{j} Q_i \cdot (\text{收缩因子})\]

内层求和 \(\sum_{j=i}^n \gamma_j / j\) 在 \(\gamma_j = \gamma j^{-\alpha}\) 时近似为 \(\gamma \sum_{j=i}^n j^{-(1+\alpha)}\)。当 \(\alpha \in (1/2, 1)\) 时,这个和收敛到 \(O(i^{-\alpha})\),但不是 \(O(i^{-1})\)——它比 \(1/i\) 衰减得更慢。这个"慢衰减"正是算子估计误差在 Polyak 平均中无法被完全平均掉的数学原因。作者用 harmonic weights \(h_{i,n} = \sum_{j=i}^n j^{-1}\) 精确刻画了这一累积效应。

最小内核的结论:

\[\sqrt{n}(\hat{\beta}_n - \beta^*_\lambda) \Rightarrow N(0, A^{-1} \Omega_{\text{aug}} A^{-1})\]

其中 \(\Omega_{\text{aug}} = S - \lambda(\Gamma_{\eta\rho} + \Gamma_{\eta\rho}^\top) + 2\lambda^2 \Gamma_{\rho\rho}\),\(\Gamma_{\eta\rho} = E(\eta_i \rho_i^\top)\),\(\Gamma_{\rho\rho} = E(\rho_i \rho_i^\top)\)。

  • 当 \(\lambda = 0\) 或 \(C\) 已知时,\(\Omega_{\text{aug}} = S\),退化为 oracle 情形。
  • 当 \(\lambda > 0\) 且 \(C\) 未知时,\(\Omega_{\text{aug}} \neq S\):交叉项 \(\Gamma_{\eta\rho}\) 是有符号的(可正可负),二次项 \(\Gamma_{\rho\rho}\) 是正定的。因此,naive 的 oracle 协方差可能高估或低估真实方差,取决于交叉项的符号。

为什么这个例子是"最小内核"?

因为它揭示了本文所有技术结果的本质:在线估计中,约束算子的估计误差通过"重复使用"效应进入参数估计的一阶渐近分布,其贡献由 harmonic weights 精确刻画,且不能通过简单的 plug-in 消除。 线性回归 + 二组公平性 + 单特征的情形已经包含了全部核心机制;一般情形(逻辑回归、平滑 SVM、多组、高维特征)只是在这个内核上添加了技术细节。


三、这篇论文做了什么

三句话

  1. 研究了什么问题:在数据流上训练带公平性协方差惩罚的预测模型时,如何对模型参数构造渐近有效且内存固定的置信区间——即处理"公平性算子与参数同时在线估计"带来的额外不确定性。
  2. 核心工具/方法:耦合的 Polyak-Ruppert 平均递推(参数与算子同时更新),推导带 harmonic weights 的渐近展开,构造增广协方差估计量 \(\hat{\Omega}_{\text{aug}}\),并用固定内存递推一致估计。
  3. 主要结论:当公平性算子未知且从同一数据流估计时,naive 的 oracle 协方差会系统性低估不确定性;增广协方差 \(\Omega_{\text{aug}} = S - \lambda(\Gamma_{\eta\rho} + \Gamma_{\eta\rho}^\top) + 2\lambda^2 \Gamma_{\rho\rho}\) 修正了这一偏差,且其估计量 \(\hat{\Omega}_{\text{aug}}\) 是相合的,由此构造的 Wald 置信区间达到渐近名义覆盖。

关键设定与假设

  • 模型类别:广义线性模型族,包括逻辑回归(二分类)、平滑 SVM(hinge 的光滑逼近)、线性回归(连续响应)。损失函数需满足条件 2(凸性、Lipschitz、强单调)和条件 5(二次连续可微、矩条件)。
  • 公平性算子:\(C = E[(Z - \pi)(X - \mu_X)^\top]\),即 group-score 协方差。惩罚项为 \(\frac{\lambda}{2}\|C\beta\|^2\)。关键:\(C\) 未知,需在线估计。
  • 在线设定:数据流独立同分布,每步只看到当前样本 \((X_i, Y_i, Z_i)\),不能存储历史数据。参数 \(\hat{\beta}_n\) 与算子 \(\hat{C}_n\) 同时更新。
  • 步长条件:\(\gamma_n = \gamma n^{-\alpha}\),\(\alpha \in (1/2, 1)\)。这是 Polyak-Ruppert 平均的标准条件,保证最后一步迭代的均方误差为 \(O(\gamma_n)\)。
  • 相比已有文献的放宽/强化:
  • 放宽:允许算子与参数耦合估计,而非假设算子已知(对比 Zafar et al. 2019 的离线设定)。
  • 强化:要求固定内存(对比 Cherian & Candès 2024 的 bootstrap 方法,后者需要存储数据或多次扫描)。
  • 局限:固定维度 \(p\),独立同分布采样,特征映射预先固定。不覆盖高维(\(p \to \infty\))、自适应特征学习、或依赖数据(如时间序列)。

主要结果

定理 1(迭代与平均速率):在条件 1-4 下,对 \(m = 1, 2\),\(E\|\hat{\beta}_n - \beta^*_\lambda\|^m = O(\gamma_n^{m/2})\)。若条件 5 也成立,则 \(m = q = 2 + \delta\) 时同样成立。直觉:最后一步迭代的误差由步长控制,Polyar-Ruppert 平均将累积噪声压缩到 \(O_p(n^{-1/2})\)。

定理 2(不可行泛函中心极限定理):减去不可行的协方差估计路径 \(\hat{b}_i\) 后,\(\Phi_n^{\text{aug}}(r) = n^{-1/2} \sum_{i=1}^{\lfloor nr \rfloor} (\hat{\beta}_i - \beta^*_\lambda - \hat{b}_i) \Rightarrow A^{-1} S^{1/2} W_p(r)\)。直觉:减去路径项后,剩余波动是纯 score 噪声,收敛到布朗运动。

定理 3(联合端点展开):\(\sqrt{n}(\bar{\beta}_n - \beta^*_\lambda) = A^{-1} n^{-1/2} \sum_{i=1}^n (\eta_i - \lambda h_{i,n} \rho_i) + o_p(1)\)。这是核心定理——它精确刻画了参数估计的一阶展开:普通 score 项 \(\eta_i\) 减去 harmonic 加权的算子影响项 \(\lambda h_{i,n} \rho_i\)。

定理 4(增广中心极限定理):\(\sqrt{n}(\bar{\beta}_n - \beta^*_\lambda) \Rightarrow N(0, \Sigma_{\text{aug}})\),其中 \(\Sigma_{\text{aug}} = A^{-1} \Omega_{\text{aug}} A^{-1}\),\(\Omega_{\text{aug}} = S - \lambda(\Gamma_{\eta\rho} + \Gamma_{\eta\rho}^\top) + 2\lambda^2 \Gamma_{\rho\rho}\)。

定理 5(plug-in 相合性):\(\hat{A}_n \to_p A\),\(\hat{\Omega}_{\text{aug},n} \to_p \Omega_{\text{aug}}\),\(\hat{\Sigma}_{\text{aug},n} \to_p \Sigma_{\text{aug}}\)。由此 Wald 区间 \(\bar{\beta}_{n,j} \pm z_{1-a/2} \sqrt{(\hat{\Sigma}_{\text{aug},n})_{jj}/n}\) 达到渐近覆盖 \(1-a\)。

关键公式(增广协方差):

\[\Omega_{\text{aug}} = S - \lambda(\Gamma_{\eta\rho} + \Gamma_{\eta\rho}^\top) + 2\lambda^2 \Gamma_{\rho\rho}\]

其中: - \(S = E(\eta_i \eta_i^\top)\):普通 score 方差。 - \(\Gamma_{\eta\rho} = E(\eta_i \rho_i^\top)\):score 与算子影响的交叉协方差(有符号)。 - \(\Gamma_{\rho\rho} = E(\rho_i \rho_i^\top)\):算子影响的方差(正定)。

为什么 harmonic weights 产生系数 2?

在定理 3 的展开中,\(\sum_{i=1}^n h_{i,n} \rho_i\) 的方差为:

\[\text{Var}\left(\sum_{i=1}^n h_{i,n} \rho_i\right) = \sum_{i=1}^n h_{i,n}^2 \Gamma_{\rho\rho} \approx 2n \Gamma_{\rho\rho}\]

因为 \(h_{i,n} = \sum_{j=i}^n j^{-1} \approx \log(n/i)\),而 \(\sum_{i=1}^n \log^2(n/i) \approx 2n\)。这个"2"不是偶然的——它来自 harmonic 权重的平方和,是重复使用效应的精确度量。

证明路线与技术技巧

整体路线(3-5 步):

  1. 耦合递推线性化:将参数更新 \(\hat{\beta}_n\) 和算子更新 \(\hat{C}_n\) 写成联合递推,在 \((\beta^*_\lambda, C)\) 处做 Taylor 展开,得到误差 \(e_n = \hat{\beta}_n - \beta^*_\lambda\) 的线性递推,其中包含算子误差 \(D_n = \hat{C}_n - C\) 的推送项。
  2. 算子误差的影响函数展开:利用 \(\hat{C}_n - C = n^{-1} \sum_{i=1}^n Q_i + O_p(n^{-1})\),将推送项写成历史样本的加权和。关键技巧:识别出权重是 harmonic 的,因为观察 \(i\) 进入 \(\hat{C}_j\)(\(j \geq i\))后,通过后续所有更新步骤影响 \(\hat{\beta}_k\)(\(k > j\)),累积权重为 \(\sum_{j=i}^n \gamma_j / j\)。
  3. Polyak 平均的求和反转:将 Polyak 平均 \(\bar{\beta}_n = n^{-1} \sum_{i=1}^n \hat{\beta}_i\) 代入线性递推,利用求和反转(summation by parts)将双重求和转化为单重求和,得到定理 3 的展开式。关键技巧:harmonic weights \(h_{i,n}\) 自然出现,且其渐近行为 \(\sum_i h_{i,n}^2 \approx 2n\) 由 Euler-Maclaurin 求和给出。
  4. 鞅中心极限定理:验证展开式中的主项 \(\sum_{i=1}^n (\eta_i - \lambda h_{i,n} \rho_i)\) 满足鞅差 CLT 的条件(条件 3 的鞅差性质 + 条件 5 的矩条件),得到定理 4。
  5. plug-in 相合性:用递推估计量 \(\hat{A}_n\)、\(\hat{\Omega}_{\text{aug},n}\) 替换总体量,证明相合性(定理 5)。关键技巧:利用条件 5 的矩条件控制估计误差,用 Chebyshev 不等式得到 \(O_p(n^{-1/2})\) 或更快的收敛速率。

技术技巧点名:

  • Polyak-Ruppert 平均:核心估计器,将最后一步迭代的 \(O(\gamma_n^{1/2})\) 误差压缩到 \(O_p(n^{-1/2})\)。
  • 影响函数展开:将算子估计误差写成 i.i.d. 影响函数的和,便于后续 CLT。
  • 求和反转(summation by parts):将双重求和转化为单重求和,是得到 harmonic weights 的关键代数操作。
  • 鞅差 CLT:验证展开式主项满足鞅差条件,得到渐近正态性。
  • 固定内存递推:用 Welford 型递推更新 \(\hat{C}_n\) 和协方差估计量,避免存储历史数据。
  • Euler-Maclaurin 求和:计算 \(\sum_i h_{i,n}^2 \approx 2n\),得到 harmonic 项的精确系数。

真实例子与应用

模拟实验:3 种损失(逻辑回归、平滑 SVM、线性回归)× 2 组数(\(K=2,5\))× 2 维度(\(d=10,40\))× 5 个 λ 值,共 60 个配置,每个配置 200 条独立数据流,长度 300,000。四个臂(表 1)分离中心估计与协方差估计的效应: - 臂 1(oracle):已知 \(C\),用 \(\Sigma_{\text{ord}}\)。 - 臂 2(naive):学习 \(C\),但用 \(\Sigma_{\text{ord}}\)。 - 臂 3(augmented):学习 \(C\),用 \(\Sigma_{\text{aug}}\)。 - 臂 4(infeasible):学习 \(C\),减去路径项后用 \(\Sigma_{\text{ord}}\)。

核心结果:臂 2 在 λ 增大时覆盖率显著低于名义水平(如 λ=4 时降至 0.85 以下),臂 3 恢复名义覆盖率(0.94-0.96),臂 4 与臂 3 一致(验证了路径项修正的正确性)。区间长度随 λ 增大而增大,反映公平性约束带来的额外不确定性。

真实数据: - Adult income:二分类(收入是否 >$50K),102 维特征,性别为敏感属性。λ 从 0 到 2 时,demographic parity gap 下降 41%,准确率下降 1.2 个百分点(逻辑回归)和 1.0 个百分点(平滑 SVM)。系数轨迹显示 hours-per-week 变化最大(下降 0.053),education 略微上升。 - IPUMS CPS:连续响应(log 时薪),53 维特征,6 个时期(1980-2015)。性别公平性目标下,λ=4 时 gap 下降 66.1%,MSE 上升 2.75%;年龄公平性目标下,gap 下降 47.5%,MSE 上升 2.85%。系数轨迹显示 Female 系数在 λ 从 1 到 4 时发生符号反转,年龄组系数单调下降。

例子想说明什么:① 增广协方差在有限样本下恢复名义覆盖率,而 naive 方法在 λ 增大时失效;② 公平性-效用权衡是平滑的,λ 提供了连续的调节旋钮;③ 系数轨迹揭示公平性约束的"方向性"——它主要调整与敏感属性相关的特征权重,而非均匀收缩。

🔎 结论是否比证明窄

  • 明确证明的:定理 1-5 在条件 1-5 下成立,覆盖逻辑回归、平滑 SVM、线性回归三种损失,固定维度、独立同分布设定。
  • 被泛化声称的:作者在摘要和引言中声称框架适用于"多组公平预测",但定理的条件(条件 2 的强单调性、条件 5 的 Hessian 光滑性)对多组情形需要额外验证——特别是当 \(K\) 增大时,\(C\) 的行线性相关性增强,\(M = C^\top C\) 可能接近奇异,影响 \(A\) 的正定性。作者在模拟中只报告了 \(K=5\) 的结果,没有理论保证 \(K\) 可以任意大。
  • 被回避的:
  • 代理与真实 fairness 准则的 gap 未被量化。作者承认"equal mean scores do not imply equal threshold decision rates",但没有给出 gap 的界或修正方法。
  • 高维设定(\(p\) 随 \(n\) 增长)未被处理。条件 4 要求 \(E\|X\|^4 < \infty\) 且 \(p\) 固定,这不覆盖现代机器学习中的高维特征。
  • 自适应特征学习(如神经网络)被明确排除(条件 1 要求特征映射预先固定)。
  • 依赖数据(时间序列、空间数据)未被处理,鞅差条件(条件 3)要求条件独立性。
  • 值得注意的:定理 3 的展开式(公式 3.10)是精确的一阶展开,但作者没有讨论高阶项。在 λ 很大或 \(C\) 接近奇异时,高阶项可能不可忽略,导致有限样本偏差。模拟中 λ=4 时覆盖率仍接近名义水平,但 λ 更大时(如 λ=10)的行为未报告。

四、开放问题

  1. 代理与真实 fairness 准则的 gap 量化(扎根于 Section 2.1 末尾:"Equal mean scores do not imply equal threshold decision rates")。要证明什么:给定 \(\|C\hat{\beta}\|\) 的上界,能否给出 demographic parity gap \(\Delta^{\text{cls}}_{DP}\) 的显式界?这需要处理阈值指示器的非光滑性。

  2. 高维设定下的推断(扎根于条件 4 的固定维度假设)。要证明什么:当 \(p\) 随 \(n\) 增长时,增广协方差估计量是否仍然相合?需要什么稀疏性条件?能否用去偏 Lasso 或 debiased SGD 的技术?

  3. 自适应 λ 选择(扎根于 Corollary 1 的 λ_n 条件)。要证明什么:如何数据驱动地选择 λ_n 使得推断同时达到名义覆盖率和最小的公平性 gap?这需要权衡估计误差和近似误差。

  4. 依赖数据的流(扎根于条件 3 的鞅差假设)。要证明什么:当数据流具有时间依赖性(如马尔可夫链)时,harmonic weights 的渐近行为是否改变?需要什么混合条件?

  5. 多组公平性的退化问题(扎根于 \(C\) 的行线性相关性)。要证明什么:当 \(K\) 增大时,\(M = C^\top C\) 的最小特征值如何衰减?这是否导致 \(A\) 接近奇异,从而影响 Wald 区间的有限样本性质?

  6. 非线性公平性约束(扎根于 Section 7 的 future work)。要证明什么:当公平性约束不是二次型(如 equalized odds 的交叉项)时,增广协方差公式如何推广?需要什么新的影响函数?


提示:若要确认上述开放问题是否为真 gap,建议去读以下近期文献的 intro(每篇约 5 篇):(i) online fairness 方向的 ICML/NeurIPS 2024-2025 论文;(ii) 在线推断方向的 Annals of Statistics 2023-2025;(iii) Cherian & Candès (2024) 的后续引用。若这些文献的 intro 都指向同一问题,则大概率是共识性 gap;若互相矛盾,则是机会。


Maintained by 陈星宇 · Homepage · Source on GitHub

评论