Fair Variable Selection¶
作者: Deborah Sulem, Jack Jewson
主题: 因果推断
相关性: 6/10
链接: https://arxiv.org/abs/2609.39485
一、领域脉络与小综述¶
这个方向是什么:本文属于"公平机器学习"与"高维统计推断"的交叉地带,具体研究的是广义线性模型(GLM)中的公平变量选择问题:在给定敏感属性 S(如种族、性别)与协变量 X、结果 Y 的观测数据后,如何选出一个协变量子集,使得基于该子集的预测模型在统计意义上是"公平"的——即既不过度依赖与 S 强相关的变量(避免群体层面的差别影响 disparate impact),又尽量保留对 Y 有预测力的变量(避免个体层面的差别对待 disparate treatment)。该子方向当前处于"方法提出 + 数值验证"阶段,理论深度(如选择一致性、后验收缩率)尚浅,但问题意识清晰,与因果推断中的混淆变量选择、负控制变量选择有天然联系。
发展脉络(history):
- 奠基:公平性的形式化定义。 Dwork et al. (2012) 提出个体公平(individual fairness),要求相似的个体获得相似的预测;Kleinberg et al. (2016) 证明群体公平与个体公平在一般情形下不可同时满足,这为后续所有"折中"方法提供了问题背景。Ritov et al. (2017) 提出条件平价(conditional parity)作为统一框架,指出许多公平性定义(包括反事实公平)都是条件平价的特例——本文直接继承了这一框架,将"合法变量集"(legitimate variables)作为条件集。
- 主要进展:公平回归的惩罚/约束方法。 Calders et al. (2013) 提出均值差(MD)惩罚,Berk et al. (2017) 提出凸公平正则化框架,Komiyama et al. (2018) 与 Scutari et al. (2022) 将"结果方差被 S 解释的比例"作为惩罚项,Oneto et al. (2020) 给出一般约束经验风险最小化框架。这些方法的问题在于:它们只约束最终预测的公平性,不提供变量层面的解释——哪些变量被选入、哪些被排除,以及为什么。
- 公平特征选择:早期尝试与缺口。 Kamiran & Calders (2012) 的"抑制法"(直接删除与 S 高相关的变量)是最早的公平特征选择,但完全不考虑预测力;Grgic-Hlaca et al. (2018) 从程序公平(procedural fairness)角度提出用人类道德判断来评估特征是否"合法";Khodadadian et al. (2021) 用信息论度量特征对公平性的贡献。这些方法的共同缺口是:没有把"公平性"和"预测力"放进同一个可调优的优化目标中,且缺乏不确定性量化。
- 贝叶斯变量选择的新工具。 Xu and Duan (2023) 提出 ℓ₁-ball prior,通过在 ℓ₁ 球上定义均匀先验,实现了后验分布中精确的稀疏性(而非 LASSO 的收缩逼近),且可用 HMC 高效采样。本文将其推广为加权 ℓ₁-ball prior,权重由变量与 S 的依赖程度决定。
- 本文的位置:作者声称(Section 1, 3)其贡献是首次在 GLM 框架下同时实现:(i) 变量层面的公平性惩罚(而非仅预测层面的约束);(ii) 频率派(Fair LASSO)与贝叶斯(Fair ℓ₁-ball prior)两种推断范式;(iii) 将选出的变量集直接作为 CDP 的合法条件集,从而在群体公平与个体公平之间取得可调优的折中。
子线索聚类:
- 公平性度量与定义:Dwork et al. (2012)、Kleinberg et al. (2016)、Ritov et al. (2017)、Castelnovo et al. (2021)——回答"什么是公平"。
- 公平回归的优化方法:Calders et al. (2013)、Berk et al. (2017)、Komiyama et al. (2018)、Oneto et al. (2020)、Scutari et al. (2022)——回答"如何在给定公平约束下训练模型"。
- 公平特征选择:Kamiran & Calders (2012)、Grgic-Hlaca et al. (2018)、Khodadadian et al. (2021)——回答"哪些变量可以合法进入模型"。
- 贝叶斯稀疏先验:Xu and Duan (2023)、Pal and Ghoshal (2025)——回答"如何在贝叶斯框架下实现精确稀疏性"。
- 最优传输与公平回归:Chzhen et al. (2020)、Chzhen & Schreuder (2022)——提供公平回归的 minimax 理论下界,本文在数值实验中将其作为理论参照。
这个方向在追问的核心问题:
- Q1(定义):什么构成"合法"或"公平"的变量?是统计依赖(如相关系数)、因果效应(如反事实),还是法律规范?本文选择统计依赖(ρ_j),并明确承认这是对因果/法律定义的近似(Section 3.2)。
- Q2(权衡):公平性与预测精度之间的 Pareto 前沿如何刻画?本文用不公平度预算 ε 作为控制旋钮,画出经验 Pareto 曲线(Figure 4-6)。
- Q3(推断):如何在变量选择的同时量化不确定性?频率派给出选择一致性(oracle property),贝叶斯派给出后验包含概率。
- Q4(理论保证):选择一致性在什么条件下成立?本文声称有 oracle 性质,但正文未给出完整定理陈述(见第三节"结论是否比证明窄")。
⚠️ 作者的 framing(这是作者的说法):作者在 Section 1 和 Section 3 中把缺口框定为——"现有公平回归方法(MD, FRRM)只约束预测层面的公平性,不提供变量层面的解释;现有公平特征选择方法(抑制法、信息论法)不考虑预测力或不可扩展;贝叶斯公平方法缺乏精确稀疏性"。因此本文的"显然下一步"是:用加权 ℓ₁ 惩罚同时实现稀疏性和公平性,并给出贝叶斯版本。作者淡化的竞争路线包括:(i) 因果推断框架下的公平性(如反事实公平,需要识别假设,本文明确回避);(ii) 非参数公平回归(本文限定在 GLM 内);(iii) 对抗性去偏方法(本文未与 adversarial training 类方法比较)。
张力:未见明显对立引用。但存在一个值得注意的隐含张力:Kleinberg et al. (2016) 的不可能性定理暗示群体公平与个体公平不可兼得,而本文声称通过 CDP 框架"部分缓解"了这一冲突——这并非矛盾,而是通过引入"合法变量集"这一额外信息来绕过不可能性。另一个张力是:Ritov et al. (2017) 指出条件平价在连续 S 下难以检验,本文的 ρ_j 度量(相关系数或 Wasserstein 距离)是对这一困难的实用主义回避。
二、最核心、最简单的例子 / 数学问题¶
第一步:符号、模型、可观测数据¶
数据:观测到 n 个独立同分布样本 D_n = {(x_i, y_i, s_i)}_{i=1}^n,其中: - x_i ∈ ℝ^d:d 维非敏感协变量(设计矩阵 X ∈ ℝ^{n×d}) - s_i ∈ 𝒮:敏感属性(本文主要讨论二值 S ∈ {0,1},但框架允许离散或连续) - y_i ∈ ℝ(线性回归)或 {0,1}(逻辑回归):结果变量
模型(广义线性模型,式 (1)): Y = g(μ) + ε, μ = β₀* + αS + (β)ᵀX, 其中 g 是已知链接函数(线性回归取 g(μ)=μ,逻辑回归取 g(μ)=logit(μ)),ε 是均值为零的噪声。注意:真实数据生成过程中 S 对 Y 有直接效应 α*,但本文估计的模型不包含 S 作为预测变量(即强制 α=0),因为目标是构建一个不直接使用敏感属性的预测器。
核心参数与估计目标: - β* ∈ ℝ^d:真实回归系数(稀疏,即大部分分量为零) - β₀* ∈ ℝ:截距 - α* ∈ ℝ:S 对 Y 的直接效应(本文不估计,但承认其存在)
公平性度量: - ρ_j = ρ(X_j, S):第 j 个协变量与敏感属性的依赖程度。本文给出两种选择(Section 3.2): - 线性度量:ρ_j = |Corr(X_j, S)|(绝对相关系数) - 非线性度量:ρ_j = W₂²(μ_{X_j|S=0}, μ_{X_j|S=1})(条件分布间的 2-Wasserstein 距离,适用于 S 离散) - 模型不公平度:U(β) = ‖ρ∘β‖₁ = Σ_{j=1}^d ρ_j |β_j|,即每个变量的系数绝对值按其"不公平程度"加权求和。 - ε-公平模型空间:B(ε) = {β ∈ ℝ^d : U(β) ≤ ε},其中 ε > 0 是由外部利益相关者设定的不公平度预算。
可观测 vs 不可观测: - 可观测:X, S, Y 的样本;ρ 可从数据中估计(记为 ρ̂) - 不可观测/潜在:真实 β、α、反事实结果 Y(S=0) 与 Y(S=1)(本文不涉及反事实,只做统计依赖层面的公平)
第二步:最小内核¶
问题:在 GLM 中,如何同时做到 (i) 预测准确、(ii) 变量稀疏、(iii) 公平(即选出的变量与 S 弱依赖)?
最简特例:d=2,S 为二值,线性回归,两个变量: - X₁:强预测变量(β₁* = 1.0),且与 S 独立(ρ₁ = 0)→ "公平且有用" - X₂:弱预测变量(β₂* = 0.1),但与 S 强相关(ρ₂ = 0.9)→ "不公平且几乎无用"
标准 LASSO 会怎么做?求解 min_β (1/n)‖y - Xβ‖² + λ‖β‖₁。 由于 β₂* = 0.1 很小,LASSO 会先剔除 X₂(因为它的系数小),保留 X₁。这看起来没问题——但考虑另一种情形:若 X₂ 是强预测变量(β₂* = 1.0)且与 S 强相关,而 X₁ 是弱预测变量(β₁* = 0.1)且与 S 独立。标准 LASSO 会保留 X₂(因为系数大),剔除 X₁——这恰恰是"不公平"的选择:模型依赖了与 S 强相关的变量。
Fair LASSO 怎么做?求解 min_β (1/n)‖y - Xβ‖² + λ Σ_j ρ_j |β_j|。 注意惩罚项中每个变量的权重是 ρ_j,而不是统一的 1。回到上面的情形:X₂ 的惩罚权重是 0.9,X₁ 的权重是 0(因为 ρ₁ = 0)。于是: - 保留 X₁ 的代价:λ × 0 × |β₁| = 0(免费!) - 保留 X₂ 的代价:λ × 0.9 × |β₂|(很贵)
因此,即使 X₂ 的系数更大,Fair LASSO 也会优先剔除 X₂,保留 X₁——即使 X₁ 的预测力弱。这就是"公平变量选择"的核心机制:惩罚项不是均匀地施加在所有变量上,而是按变量的"不公平程度"加权。
贝叶斯版本(Fair ℓ₁-ball prior):标准 ℓ₁-ball prior 是在 {β : ‖β‖₁ ≤ t} 上定义均匀先验(Xu and Duan 2023)。本文将其推广为在加权 ℓ₁ 球 B(ε) = {β : ‖ρ∘β‖₁ ≤ ε} 上定义均匀先验。这样: - 先验的支撑集本身就是 ε-公平的(所有先验样本都满足不公平度约束); - 后验分布自动集中在公平区域; - 与投影后验(Pal and Ghoshal 2025)不同,这里是在先验层面施加约束,而非后验处理。
为什么这个例子是"最小内核":它展示了本文方法区别于所有基线(MD, FRRM, LASSO, 标准贝叶斯 LASSO)的核心操作——用 ρ 加权 ℓ₁ 惩罚。理解了这一点,就理解了全文的方法论骨架:Fair LASSO 是加权 ℓ₁ 惩罚的凸优化,Fair ℓ₁-ball prior 是加权 ℓ₁ 球的贝叶斯化。剩下的技术细节(投影算法、HMC 采样、Pareto 前沿)都是这个核心操作的工程实现。
三、这篇论文做了什么¶
三句话¶
- 研究了什么问题:在 GLM 框架下,如何选择一组既对 Y 有预测力、又与敏感属性 S 弱依赖的协变量,从而在群体公平(DP)与个体公平(IU)之间取得可调优的折中。
- 核心方法:提出 Fair LASSO(加权 ℓ₁ 惩罚,权重为变量-敏感属性依赖度 ρ_j)和 Fair ℓ₁-ball prior(在加权 ℓ₁ 球上定义均匀先验),两者共享同一个不公平度度量 U(β) = ‖ρ∘β‖₁。
- 主要结论:在合成数据和两个真实数据集(Community、German Credit)上,Fair LASSO 和 Fair posterior 相比基线方法(MD, FRRM, LASSO, 标准 ℓ₁-ball prior)能在相同不公平度水平下取得更低的预测误差,或在相同预测误差下取得更低的不公平度;贝叶斯版本额外提供了后验包含概率,可量化变量选择的不确定性。
关键设定与假设¶
- GLM 设定(式 1):Y = g(μ) + ε, μ = β₀* + αS + (β)ᵀX。假设链接函数 g 已知,噪声 ε 满足 E[ε|μ] = 0, V[ε|μ] = v(μ*)。线性回归取 g 为恒等、v 为常数 σ²;逻辑回归取 g 为 logit、v(μ) = μ(1-μ)。
- 模型不含 S:估计时强制 α = 0,即模型不直接使用敏感属性。这是"公平预测"的标准设定——直接使用 S 通常被法律禁止(如平等信贷机会法案)。
- ρ 的估计:ρ_j 从数据中估计(样本相关系数或 Wasserstein 距离),估计误差被忽略(即 ρ̂ ≈ ρ)。这是一个简化假设——如果 ρ̂ 有噪声,公平性保证会退化。
- 不公平度预算 ε 由外部设定:作者明确说"这个预算应该由利益相关者或法律框架设定"(Section 3.2),方法本身不提供选择 ε 的准则。
- 与 CDP 的联系:选出的变量集 D 被用作 CDP 的合法条件集。作者论证(Section 3.1, Table 1):如果 D 中的变量与 S 弱依赖,那么以 D 为条件的预测模型近似满足 CDP,从而同时缓解 DP 和 IU 的冲突。
主要结果¶
理论结果(Section 3.3, 3.4): - Fair LASSO 的凸性:式 (5) 是凸优化问题(加权 ℓ₁ 范数 + 光滑负对数似然),因此存在唯一全局最优解(在正则条件下)。作者指出其与自适应 LASSO(adaptive LASSO)的联系:ρ_j 扮演了自适应权重的角色,但权重来自变量与 S 的依赖而非系数大小。 - Fair ℓ₁-ball prior 的良定义性:投影算子 P_{B(ε)} 是连续且分段线性的(Appendix B 给出加权 ℓ₁ 球投影的 KKT 条件推导),因此先验是良定义的,且 HMC 可采样。 - Oracle 性质:作者声称(Section 3.3, 无完整证明)Fair LASSO 在适当条件下具有选择一致性——即能以概率趋于 1 恢复真实的稀疏支撑集。但正文未给出定理陈述、正则条件或收敛速率,这是本文理论深度的一个明显缺口。
数值结果(Section 4): - 合成数据(线性回归):8 个变量,4 类(强/弱 × 公平/不公平)。Fair LASSO 和 FP 在相同 WDU 水平下 MSE 低于 LASSO 和 SP;在相同 MSE 水平下 WDU 低于 MD 和 FRRM。Pareto 前沿(Figure 4)显示 Fair LASSO 和 FP 几乎重合,且优于 PP。 - 合成数据(逻辑回归):趋势与线性回归一致(Figure 10),但 FP 相对 PP 的优势更明显——作者归因于"先验投影"比"后验投影"更有效地利用了似然信息。 - Community 数据集(n=1940, 线性回归):S = 种族(白/非白),Y = 犯罪率。Fair LASSO 和 FP 在固定 WDU 水平下 MSE 低于 LASSO 和 SP;在固定 IU 水平下 WDU 低于 MD 和 FRRM(Figure 5, 12, 13)。 - German Credit 数据集(n=1000, 逻辑回归):S = 性别,Y = 信用风险。结论与 Community 类似(Figure 6, 15, 16),但 FP 在低不公平度水平下 BCE 略高于 Fair LASSO——作者解释为贝叶斯方法对先验的敏感性。
方法对比的定位: - 与 MD(Calders et al. 2013)和 FRRM(Scutari et al. 2022)相比:这两种方法只约束预测层面的 DP,不提供变量选择;Fair LASSO/FP 同时做选择和公平性约束。 - 与 PP(投影后验,Pal and Ghoshal 2025)相比:PP 是后验投影(先采样再投影),FP 是先验投影(先投影再采样)。FP 的优势在于后验质量更高(Figure 7 显示 FP 的后验更集中),劣势在于每个 ε 需要重新运行 MCMC。 - 与标准 LASSO 和标准 ℓ₁-ball prior(SP)相比:后两者完全不考虑公平性,因此在 WDU 上无保证。
证明路线与技术技巧¶
Fair LASSO 的求解(Section 3.3): 1. 将约束优化 (5) 通过拉格朗日对偶转化为无约束形式 (6):min (1/n)L + λ‖ρ̂∘β‖₁。 2. 由于 ρ̂ 是固定的权重向量,式 (6) 是标准加权 LASSO,可用坐标下降(Friedman et al. 2010)或 LARS 求解。 3. 作者强调:不需要新算法,现有 LASSO 软件包只需将每个变量的惩罚权重从 1 改为 ρ̂_j 即可。
Fair ℓ₁-ball prior 的构造(Section 3.4): 1. 定义先验 π(β) ∝ 1_{β ∈ B(ε)} × π₀(β),其中 π₀ 是某个基础先验(如 Normal-Gamma)。 2. 等价地,先采样 β̃ ~ π₀,再投影 β = P_{B(ε)}(β̃)。 3. 投影算子 P_{B(ε)} 的求解:这是加权 ℓ₁ 球上的欧氏投影,Appendix B 给出 KKT 条件推导。关键技巧是将问题分解为符号确定和幅度收缩两步,类似于标准 ℓ₁ 球投影(Duchi et al. 2008)的加权推广。 4. 由于投影是连续且分段线性的,可以使用 HMC(通过 Stan 实现)对后验采样。作者特别指出:投影的可微性(几乎处处)使得梯度信息可用,这是选择 ℓ₁ 球而非 ℓ₀ 球的原因。
Pareto 前沿的计算: - 对 Fair LASSO:扫描 λ(或 ε)值,计算每个解在测试集上的 (MSE, WDU, IU)。 - 对贝叶斯方法:扫描 ε 值,对每个 ε 运行 HMC,计算后验均值预测的 (MSE, WDU, IU)。 - 作者用"归一化指标"(每个指标除以各自最大值)来绘制三维 Pareto 前沿,以便在统一尺度下比较。
关键技巧总结: 1. 加权 ℓ₁ 作为公平性编码器:将"公平性"这一抽象概念转化为每个变量的数值权重 ρ_j,从而把公平约束嵌入标准稀疏优化框架。 2. 先验投影 vs 后验投影:FP 在先验层面施加约束(支撑集 = 公平集),PP 在后验层面施加约束(采样后投影)。FP 的后验更集中(Figure 7),但计算成本更高。 3. CDP 作为合法变量集的解释:选出的变量集 D 直接作为 CDP 的条件集,这为"哪些变量可以合法使用"提供了数据驱动的答案,而非依赖法律或人工判断。
真实例子与应用¶
Community 数据集(Section 4.3.1): - 数据:美国社区犯罪率数据,n=1984(预处理后 1940),d=100+ 维社会经济变量。 - 设定:S = 社区多数种族(白/非白),Y = 标准化犯罪率(经 logit 变换)。 - 预处理:移除 Y 在 [0.01, 0.99] 之外的样本,标准化预测变量。 - 结果:Fair LASSO 和 FP 在 WDU 水平 0.05 时,MSE 比 LASSO 低约 15%;在 IU 水平 0.03 时,WDU 比 FRRM 低约 40%。选出的变量集包含教育水平、警察支出等"合法"变量,排除了与种族强相关的住房隔离指标。
German Credit 数据集(Section 4.3.2): - 数据:德国信用贷款数据,n=1000,d=20+ 维。 - 设定:S = 性别(男/女),Y = 信用风险(好/坏),逻辑回归。 - 结果:FP 在 BCE 上略优于 Fair LASSO(低约 5%),但两者都优于 SP 和 PP。作者指出该数据集中性别与信用风险的关联较弱(Parity Gap = 0.085),因此公平性约束对精度的损失较小。
例子想说明什么:两个真实数据集分别展示了线性回归和逻辑回归场景,Community 数据中 S 与 Y 强相关(种族与犯罪率),German Credit 中 S 与 Y 弱相关(性别与信用)。前者展示了公平约束的必要性(不约束则 WDU 很高),后者展示了公平约束的可行性(约束后精度损失很小)。
🔎 结论是否比证明窄¶
是,存在明显落差。具体表现:
-
"Oracle 性质"的声称缺乏证明:Section 3.3 提到"我们直观地展示了 Fair LASSO 的 oracle 性质"(原文:"we intuitively show that the corresponding fair model... "),但正文没有给出任何定理陈述、正则条件(如不相干条件、β_min 条件)或收敛速率。这与统计文献中标准的 oracle 性质证明(如 Zou 2006 的自适应 LASSO)相比,理论深度明显不足。
-
选择一致性的条件未讨论:Fair LASSO 的惩罚权重 ρ̂_j 是估计值(来自样本相关系数或 Wasserstein 距离),其估计误差对选择一致性的影响完全未分析。当 ρ̂_j 有噪声时,加权 ℓ₁ 解的支撑集是否仍一致?这是一个开放问题。
-
贝叶斯结果的频率派性质未验证:FP 的后验收缩率、覆盖概率等性质未分析。作者只展示了数值结果(Figure 7-8),没有证明后验是否以最优速率收缩到真实参数。
-
"公平"的定义局限:作者明确承认(Section 3.2)ρ_j 度量的是统计依赖而非因果关系。这意味着一个变量可能因为与 S 相关而被排除,即使它对 Y 的效应是完全因果且非歧视性的(如教育水平与种族相关,但教育是合法变量)。作者将此视为"保守的公平",但未讨论这种保守性何时会过度排除有用变量。
-
CDP 的联系是启发式的:作者论证选出的变量集可作为 CDP 的合法变量集,但没有给出形式化的定理说明"为什么加权 ℓ₁ 选出的集合满足 CDP 的某种最优性"。这是一个概念桥梁,而非数学结果。
四、开放问题¶
以下问题均扎根于本文的具体语句或引用:
-
Oracle 性质的严格证明(扎根于 Section 3.3 "we intuitively show that the corresponding fair model... "):在什么正则条件下,Fair LASSO 的支撑集估计以概率趋于 1 收敛到真实稀疏集?ρ̂ 的估计误差如何影响选择一致性?这需要高维统计中标准的"不可表示条件"或"特征值条件"分析。
-
ρ 的估计与推断(扎根于 Section 3.2 "ρ_j can be the marginal correlation... or the Wasserstein distance"):当 ρ̂_j 本身有不确定性时,如何构造对 ρ 估计误差稳健的公平性约束?能否用置信上界代替点估计(类似 DRO 的思路)?
-
贝叶斯后验的理论性质(扎根于 Section 3.4 和 Figure 7-8):Fair ℓ₁-ball prior 的后验收缩率是多少?后验包含概率是否具有频率派有效性(即 90% 后验可信集是否以约 90% 的频率覆盖真实参数)?这需要非光滑先验的后验渐近理论。
-
CDP 最优性的形式化(扎根于 Section 3.1 "those variables can be considered legitimate... "):在 CDP 约束下,加权 ℓ₁ 选出的变量集是否在某种意义下是最优的(如最小化预测风险的稀疏解)?能否建立"公平变量选择"与"CDP 约束回归"之间的等价性定理?
-
因果公平的扩展(扎根于 Section 3.2 对 ρ 的讨论和 Section 5 的 limitation):当 ρ 替换为因果效应(如 S → X_j 的因果影响)时,方法是否仍然成立?这需要将本文的统计依赖框架与因果推断(如反事实公平)结合,但作者明确承认"我们不考虑因果解释"(Section 3.2)。
-
多敏感属性与连续 S(扎根于 Section 3.2 "S can be discrete or continuous"):当 S 是多维或连续时,ρ_j 如何定义?Wasserstein 距离的计算成本如何控制?本文的数值实验仅覆盖二值 S。
-
ε 的选择准则(扎根于 Section 3.2 "the budget ε should be set by an external authority"):是否存在数据驱动的 ε 选择方法(如通过交叉验证选择 Pareto 前沿上的拐点)?作者没有给出任何准则。
提醒:若要确认上述某条是否是真 gap,建议去读同一子领域(fair feature selection, fair regression with penalties)近 5 年的约 5 篇论文的引言——若多篇都指向同一缺口(如"缺乏贝叶斯公平变量选择方法"),则大概率是真 gap;若各篇说法互相打架,则说明问题域尚未收敛,机会与风险并存。
Maintained by 陈星宇 · Homepage · Source on GitHub