Orthogonal Moments in Likelihood Models¶
作者: Stéphane Bonhomme, Koen Jochmans, Martin Weidner
主题: 效率理论 / Debiased ML
相关性: 7/10
链接: https://arxiv.org/abs/2609.31561
一、领域脉络与小综述¶
这个方向是什么¶
本文研究的根本问题是incidental parameter problem(冗余参数问题):在似然模型中,当存在大量且估计不精确的冗余参数(如面板数据中的个体固定效应、网络数据中的节点效应)时,对这些冗余参数进行估计会污染目标参数的推断。该问题的经典表现是:当冗余参数维度随样本量增长时,最大似然估计(MLE)对目标参数可能不一致(Neyman & Scott, 1948)。本文的核心贡献在于系统性地梳理并连接了三种"正交性"概念——Neyman 正交性、q 阶 Neyman 正交性、完全正交性——并证明它们都可以通过同一个几何操作(投影)来构造。该方向在计量经济学和统计学中已有较长历史,但本文试图提供一个统一框架,将看似不同的方法(如条件似然、固定效应消除、去偏机器学习)纳入同一视角。
发展脉络¶
- 奠基工作:Neyman (1959) 首次提出"正交性"概念,通过构造对冗余参数一阶导数不敏感的估计方程来消除一阶偏差。这是整个领域的起点。本文引言明确指出:"The first one is Neyman orthogonality, introduced in Neyman (1959). It requires the first derivative of the expected moment with respect to the nuisance parameters to be zero at the truth." 这一概念后来成为现代去偏机器学习(DML)的理论基石。
- 现代复兴——DML 框架:Chernozhukov, Chetverikov, Demirer, Duflo, Hansen, Newey, and Robins (2018) 将 Neyman 正交性作为 double/debiased machine learning 的核心工具,使得目标参数可以在冗余参数以较慢速率收敛时仍获得 √n 一致估计。本文引言将其定位为"at the heart of the modern double/debiased machine-learning (DDML) literature"。
- 高阶推广:Mackey, Syrgkanis, and Zadik (2018) 提出 q 阶 Neyman 正交性,要求前 q 阶导数均为零,从而允许冗余参数以更慢的速率收敛。本文将其作为第二种正交性概念,并指出其构造可通过投影到 Bhattacharyya (1946) 基的前 q 个元素上实现。
- 完全正交性——功能差分:Bonhomme (2012) 提出 functional differencing 方法,构造对冗余参数取值完全不敏感的估计方程(全局性质而非局部性质)。本文将其重新解释为投影到所有似然比张成的闭线性空间的正交补上,从而与 Neyman 正交性统一起来。
- 面板数据中的条件似然:Rasch (1961)、Andersen (1970)、Chamberlain (1980) 发展的条件似然方法可视为完全正交性的特例——通过条件在充分统计量上消除冗余参数。本文指出,在面板 logit 模型中,当 q = T 时,q 阶正交性自动退化为条件似然得分。
- 本文位置:本文(Bonhomme, Jochmans, Weidner, 2026)是一篇综述性/统一性论文,将上述三种正交性概念放在同一个投影框架下,并给出显式构造。其新颖之处在于:(i) 明确刻画了三种正交性对应的投影空间是嵌套的;(ii) 在一般似然模型下给出了完全正交性的投影构造(而非仅限于面板数据);(iii) 将框架扩展到目标参数为冗余参数泛函的情形。
子线索聚类¶
- Neyman 正交性与去偏机器学习:这条线索关注如何通过正交化使得目标参数估计对冗余参数估计误差不敏感。代表工作:Neyman (1959)、Chernozhukov et al. (2018)、Newey (1994)。核心工具是影响函数(influence function)和样本分割(sample splitting)。已知瓶颈:Neyman 正交性只消除一阶偏差,当冗余参数收敛速率慢于 n^{-1/4} 时失效。
- 高阶正交性与 Bhattacharyya 基:这条线索关注如何通过消除更高阶导数来进一步放松对冗余参数收敛速率的要求。代表工作:Mackey et al. (2018)、Small & McLeish (1989)、Waterman & Lindsay (1996)。核心工具是 Bhattacharyya 基(广义得分函数)。已知瓶颈:随着 q 增大,Gram 矩阵条件数可能恶化,且需要冗余参数维度固定。
- 完全正交性与功能差分:这条线索关注如何构造对冗余参数取值完全免疫的估计方程。代表工作:Bonhomme (2012)、Honoré & Weidner (2025)、Dano (2023)。核心工具是投影到似然比张成空间的正交补。已知瓶颈:完全正交的矩条件可能不存在(如本文例 1 所示),且投影通常是无限维的,需要数值近似。
这个方向在追问的核心问题¶
- 正交性的代价是什么? 正交化会移除估计方程中与冗余参数相关的信息,这可能降低目标参数的估计效率。三种正交性之间的信息损失如何量化?本文通过投影框架给出了几何直觉(投影空间越大,保留信息越少),但未给出一般性的效率界。
- 何时存在非平凡的完全正交矩? 本文例 1 表明,在面板 logit 模型中,当协变量连续且系数异质时,完全正交矩不存在(因为充分统计量映射是单射的)。这是一个深刻的识别问题:完全正交性要求矩条件在冗余参数的整个取值空间上成立,这通常要求模型具有某种对称性或可加性。
- 如何在高维冗余参数下构造正交矩? 当冗余参数维度 d_η 随样本量增长时,Bhattacharyya 基的 Gram 矩阵可能退化,投影构造需要正则化。本文未深入讨论这一情形,但引言中提到的 Sur & Candès (2019) 高维 logistic 回归结果暗示了这一方向的重要性。
⚠️ 作者的 framing¶
作者将本文定位为"统一三种正交性概念的综述性论文",其核心论点是:三种正交性都可以通过同一个投影操作来构造,区别仅在于投影空间的选择。作者将 Neyman 正交性、q 阶正交性、完全正交性分别对应到由得分函数、Bhattacharyya 基前 q 个元素、所有似然比张成的嵌套子空间。这一 framing 使得本文成为"显然的下一步"——既然三种正交性共享同一几何结构,那么选择哪种正交性就变成了一个"投影空间大小 vs. 稳健性"的权衡问题。
被淡化或回避的竞争路线: - 作者将完全正交性等同于功能差分(Bonhomme, 2012),但功能差分在计量经济学中通常被理解为一种识别策略(通过条件矩约束消除冗余参数),而非投影操作。作者将两者统一可能忽略了功能差分在非似然模型中的适用性。 - 作者回避了贝叶斯方法(如分层 Bayes 中的部分池化)作为冗余参数问题的替代解决方案。虽然频率学派框架下正交化是主流,但贝叶斯方法通过正则化先验也能缓解冗余参数问题。 - 作者没有讨论计算方面的问题:完全正交投影涉及无限维空间中的算子求逆,其数值实现和收敛性分析在文中仅以"附录 B"一笔带过。
值得研究者去查的问题:本文引言引用了 Bonhomme, Jochmans, and Weidner (2024) 作为 q 阶正交性的具体构造来源,但该文是 arXiv 预印本(arXiv:2412.10304),尚未正式发表。值得追踪其后续发表状态和审稿意见,以了解该框架的潜在弱点。
张力¶
未见明显对立引用。但存在一个微妙的张力:Neyman 正交性(局部性质,只需一阶导数为零)和完全正交性(全局性质,要求所有取值下矩条件为零)在面板 logit 模型中的表现截然不同——前者总是存在(通过投影构造),后者可能不存在(当充分统计量映射单射时)。这一对比暗示:正交性的"强度"与"存在性"之间存在根本性权衡,但作者未将其作为核心张力来讨论。
二、最核心、最简单的例子 / 数学问题¶
第一步:符号、模型、可观测数据¶
符号: - θ ∈ Θ ⊆ ℝ^{d_θ}:目标参数(低维),是研究者关心的 estimand。 - η ∈ H ⊆ ℝ^{d_η}:冗余参数(可能高维),如面板数据中的个体固定效应。 - y ∈ 𝒴:结果变量(可观测)。 - x ∈ 𝒳:协变量(可观测,可能包含内生变量和外生变量)。 - f(y|x; θ, η):给定协变量和参数的条件密度(似然函数),是已知的模型结构。 - u(y, x, θ, η):原始矩函数(moment function),满足 E[u(y, x, θ₀, η₀)] = 0。 - u*(y, x, θ, η):正交化后的矩函数。 - w_j(y, x, θ, η):Bhattacharyya 基的第 j 个元素,即 ∇^j_η f(y|x; θ, η)/f(y|x; θ, η)。 - s:充分统计量(在指数族中,s = x₂ᵀy)。 - n:样本量(在面板数据中 n = NT,N 为个体数,T 为时期数)。 - E_{x;θ,η}[·]:在给定 x 和参数 (θ, η) 下对 y 的条件期望。
模型:本文考虑条件似然模型,即给定协变量 x,结果 y 的分布由参数 (θ, η) 决定:y|x ~ f(·|x; θ, η)。目标参数 θ₀ 通过矩条件 E[u(y, x, θ₀, η₀)] = 0 识别,其中 η₀ 是未知的冗余参数。观测数据为独立同分布的样本 {(yᵢ, xᵢ)}_{i=1}^n。
可观测数据:研究者观测到 (yᵢ, xᵢ),但观测不到 η₀。η₀ 必须通过某种方式估计(如 MLE)或消除(如条件似然、正交化)。这是整个问题的核心困难:η₀ 的估计误差会通过矩条件传导到 θ 的估计中。
第二步:最小内核¶
最简特例:考虑最简单的面板 logit 模型(Example 1 的特例):
- 数据:y_{it} ∈ {0,1},i = 1,...,N,t = 1,...,T。
- 模型:P(y_{it} = 1 | x_{it}, η_i) = Λ(x_{it}θ₀ + η_i),其中 Λ(u) = e^u/(1+e^u) 是 logistic 函数。
- 目标参数:θ₀(标量,为简化)。
- 冗余参数:η_i(每个个体一个固定效应,共 N 个)。
- 可观测数据:{(y_{it}, x_{it}) : i = 1,...,N, t = 1,...,T}。
核心问题:当 N → ∞ 且 T 固定时,MLE 对 θ₀ 不一致( Chamberlain, 1980)。原因在于:每个 η_i 只有 T 个观测来估计,当 T 固定时,η̂_i 的估计误差不会消失,从而污染 θ 的估计。
最小内核的数学表述:考虑单个个体的得分函数。令 ℓ_i(θ, η_i) = Σ_{t=1}^T [y_{it}(x_{it}θ + η_i) - log(1 + exp(x_{it}θ + η_i))] 为个体 i 的对数似然。MLE 求解 Σ_i ∇_θ ℓ_i(θ, η̂_i(θ)) = 0,其中 η̂_i(θ) 是给定 θ 下对 η_i 的 MLE。问题是:E[∇_θ ℓ_i(θ₀, η̂_i(θ₀))] ≠ 0,因为 η̂_i(θ₀) ≠ η_i 且偏差不随 N 增大而消失。
Neyman 正交化的核心思想:构造修正后的得分函数 u*(y, x, θ, η) = u(y, x, θ, η) - Λ₁(x; θ, η) w₁(y, x, θ, η),其中 u = ∇_θ ℓ_i 是原始得分,w₁ = ∇_η ℓ_i 是冗余参数得分,Λ₁ 是投影系数。这个修正使得 E[∇_η u*] = 0,即 u* 对 η 的一阶导数在期望意义下为零。代入 η̂ 后,一阶偏差被消除。
为什么这个特例是"最小内核":它包含了问题的所有本质要素:(1) 冗余参数维度随样本量增长(N 个 η_i);(2) 每个冗余参数只有有限观测(T 固定);(3) 原始矩条件(得分)对冗余参数敏感;(4) 通过投影到得分空间的正交补来消除敏感性。一般模型只是这个特例的"加壳"——将标量 η_i 替换为高维 η,将 logistic 替换为一般似然,将得分替换为一般矩函数。
关键洞察:三种正交性的区别仅在于投影空间的选择: - Neyman 正交性:投影到 span{w₁}(一阶得分) - q 阶正交性:投影到 span{w₁, ..., w_q}(前 q 阶 Bhattacharyya 基) - 完全正交性:投影到所有似然比张成的闭线性空间
投影空间越大,对冗余参数的稳健性越强,但保留的目标参数信息越少。这就是图 1 所示的几何直觉。
三、这篇论文做了什么¶
三句话¶
① 研究了什么问题:在似然模型中,如何系统地构造对冗余参数(如固定效应)不敏感的矩函数,以缓解 incidental parameter problem,并统一三种正交性概念(Neyman、q 阶、完全正交)。
② 核心工具/方法:将正交矩的构造统一为投影操作——将原始矩函数投影到由得分函数(Neyman)、Bhattacharyya 基前 q 个元素(q 阶)、或所有似然比(完全正交)张成的子空间的正交补上。投影系数通过最小二乘回归显式给出。
③ 主要结论:三种正交性构成一个嵌套序列,其投影空间逐次增大;在指数族模型中,Neyman 正交化等价于对充分统计量条件化;在面板 logit 中,q = T 时 q 阶正交化退化为条件 logit;完全正交矩的存在性依赖于充分统计量映射是否单射,在连续协变量异质系数模型中不存在。
关键设定与假设¶
- 似然框架:假设数据服从条件似然模型 f(y|x; θ, η),其中 θ 是低维目标参数,η 是高维冗余参数。这一框架覆盖了面板数据、网络数据、以及一般的非线性回归模型。
- 矩条件识别:目标参数 θ₀ 通过 E[u(y, x, θ₀, η₀)] = 0 识别,其中 u 是已知的矩函数(通常取得分函数 ∇_θ log f)。
- 样本分割:假设 η 的估计(如 MLE)基于独立于估计 θ 的样本(或通过样本分割实现),这是 DML 框架的标准假设,用于简化偏差分析。
- 正则性条件:需要矩函数对 η 的导数存在且可积,Gram 矩阵 E[w_j w_j^T] 非奇异(对 q 阶正交性),以及似然比属于 L²(对完全正交性)。
- 与已有文献的比较:相比 Neyman (1959) 只考虑一阶正交性,本文将其推广到任意阶;相比 Bonhomme (2012) 的功能差分(限于面板数据),本文将其推广到一般似然模型;相比 Mackey et al. (2018) 的 q 阶正交性(在矩条件模型下),本文给出了似然模型下的显式构造。
主要结果¶
结果 1(Neyman 正交化的显式构造):在似然模型下,Neyman 正交矩由 u*₁ = u - Λ₁ w₁ 给出,其中 Λ₁ = E[u w₁^T] (E[w₁ w₁^T])^{-1}。这推广了 Neyman (1959) 的原始构造,并给出了显式的投影系数。关键性质:E[∇_η u*₁] = 0,即一阶偏差被消除。
结果 2(q 阶正交化的显式构造):q 阶正交矩由 u*_q = u - Λ_q W_q 给出,其中 W_q = (w₁^T, ..., w_q^T)^T 是 Bhattacharyya 基的前 q 个元素,Λ_q = E[u W_q^T] (E[W_q W_q^T])^{-1}。关键性质:E[∇^j_η u*_q] = 0 对所有 j = 1, ..., q 成立,因此偏差的阶数为 q+1。
结果 3(嵌套结构):三种正交性对应的投影空间满足 span{w₁} ⊆ span{w₁, ..., w_q} ⊆ S(所有似然比的闭包),因此 q 阶正交性比 Neyman 正交性更稳健,完全正交性最稳健。但投影空间越大,保留的目标参数信息越少,这是一个 trade-off。
结果 4(面板 logit 的闭式解):在面板 logit 模型中,q 阶正交矩的投影空间由充分统计量 s = Σ_t y_t 的幂次张成。当 q = T 时,投影空间包含所有关于 s 的函数,因此 u*_T = u - E[u|s] 是条件 logit 得分。这统一了条件似然方法与正交化方法。
结果 5(完全正交矩的存在性):完全正交矩存在当且仅当充分统计量映射 s: 𝒴 → ℝ^{d_η} 不是单射。在面板 logit 中,当协变量连续且系数异质时(模型 5.14),s = Σ_t z_{it} y_{it} 是单射的,因此不存在非平凡的完全正交矩。此时 q 阶正交性是唯一可行的选择。
结果 6(目标参数为泛函的情形):当目标参数 µ₀ = E[u(y, x, θ₀, η₀)] 是冗余参数的泛函时(如平均偏效应),正交化需要修正矩函数的条件均值。Neyman 正交矩由 u*₁ = u - E[u|s] - Λ₁ w₁ 给出,其中 E[u|s] 项修正了泛函对 η 的依赖。
证明路线与技术技巧¶
整体路线:论文的证明分为三步:
-
偏差展开:将 E[u(y, x, θ₀, η̂)] 在 η₀ 处做泰勒展开,得到偏差的表达式。对于 Neyman 正交矩,一阶项消失;对于 q 阶正交矩,前 q 阶项消失。这是标准的 von Mises 展开或影响函数分析。
-
投影构造:通过最小二乘投影,将原始矩函数分解为正交分量和可预测分量。正交分量即为正交矩。关键技巧是利用 Bhattacharyya 基的正交性——在指数族中,w_j 是正交多项式(如 Hermite 多项式),这使得投影系数可以显式计算。
-
存在性分析:对于完全正交性,将问题转化为求解泛函方程 E[u* r_{η'}] = 0 对所有 η' 成立。利用似然比张成空间的闭包性质,证明这等价于 u* 与所有似然比正交,进而等价于 u* 的条件均值为零。在面板 logit 中,通过分析充分统计量映射的单射性来判断是否存在非平凡解。
关键技术技巧:
- Bhattacharyya 基:利用 Bhattacharyya (1946) 提出的广义得分函数族 {w_j},它们构成 L²(f) 中的正交系。这使得投影到前 q 个元素上的操作可以显式完成,且 Gram 矩阵具有分块对角结构(在指数族中)。
- 充分统计量条件化:在指数族中,似然比张成的空间恰好等于充分统计量 s 的可测函数空间。因此,完全正交化等价于对 s 条件化,即 u*_∞ = u - E[u|s]。这一洞察将无限维投影问题转化为有限维条件期望问题。
- Fàa di Bruno 公式:在计算高阶 Bhattacharyya 基时,使用多元 Fàa di Bruno 公式(Constantine & Savits, 1996)处理复合函数的导数。这使得 w_j 的表达式可以系统化地写出。
- 蒙特卡洛模拟:论文通过模拟验证了理论结果。设计包括面板 Poisson 和面板 logit 模型,N = 1000, T = 5,比较 plug-in、Neyman 正交、q 阶正交和条件似然估计的偏差和方差。模拟结果(图 2-5)显示,q 阶正交化能有效消除偏差,且方差损失可控。
真实例子与应用¶
例子 1(面板 logit):这是最核心的例子。论文展示了从 Neyman 正交化(q=1)到 q=2,3 再到条件 logit(q=T)的完整序列。模拟显示,plug-in 估计有显著偏差,Neyman 正交化减少但未消除偏差,q=2 时偏差已很小,q=3 时与条件 logit 几乎一致。这验证了理论预测:偏差阶数为 T^{-(q+1)/2}。
例子 2(面板 Poisson):论文指出,在 Poisson 模型中,Neyman 正交化自动实现完全正交化(因为 Poisson 的均值-方差关系使得一阶正交性蕴含高阶正交性)。这解释了为什么固定效应 Poisson 估计没有 incidental parameter 问题。
例子 3(非线性回归):论文考虑了高斯非线性回归模型 y = m(x, β, η) + σε。这里 Bhattacharyya 基由 Hermite 多项式给出,投影可以显式计算。论文推导了方差分量的二阶正交矩,并展示了其与 Kline, Saggio, Sølvsten (2020) 的 leave-out 估计的联系。
例子 4(网络模型):论文将框架应用于 β-模型(网络形成模型),其中节点效应是冗余参数。Neyman 正交化给出度分层的矩条件,而完全正交化在度分布退化时不存在。
🔎 结论是否比证明窄¶
- 论文声称"三种正交性构成嵌套序列",但这一结论在一般似然模型下并未严格证明。论文只对指数族(logit, Poisson)给出了显式验证,对一般模型仅给出启发式论证。特别是,Bhattacharyya 基的正交性在非指数族中不成立,因此投影系数的显式表达式可能失效。
- 论文声称"完全正交化等价于对充分统计量条件化",但这一等价性只在指数族中严格成立。对于弯曲指数族(如 Example 3 的非线性回归),充分统计量可能不存在,此时完全正交化的构造需要额外的假设。
- 论文对 q 阶正交化的偏差阶数给出了 T^{-(q+1)/2} 的预测,但这一结果依赖于 η̂ 的收敛速率假设。在 T 固定、N → ∞ 的渐近框架下,η̂ 的偏差是 O_p(T^{-1}),因此 q 阶正交化的偏差是 O_p(T^{-(q+1)/2})。但论文未讨论 η̂ 的偏差是否会影响高阶项。
- 论文未讨论高维冗余参数(d_η 随 n 增长)的情形。引言中提到的 Sur & Candès (2019) 表明,在高维 logistic 回归中,MLE 的偏差可能更严重,正交化是否仍有效需要额外分析。
四、开放问题¶
-
q 阶正交化的最优阶数选择:论文指出 q 越大越稳健,但信息损失也越大。如何在实际中选择最优的 q?论文在结论部分提到"Choosing the order q in practice remains an open question"(第 7 节),但没有给出任何准则。扎根于第 7 节最后一段。
-
非似然模型下的正交化:论文的方法依赖于似然结构(特别是 Bhattacharyya 基)。对于矩条件模型(moment condition models)或分位数回归等非似然设定,如何构造高阶正交矩?论文在结论中提到"Developing methods to construct orthogonal moments outside likelihood models is an important direction for future research"(第 7 节),并引用了 Chetverikov, Sørensen, Tsyvinski (2026) 和 Bonhomme, Jochmans, Newey, Weidner (2026) 作为正在进行的工作。
-
完全正交矩的存在性刻画:论文通过充分统计量映射的单射性来判断完全正交矩的存在性,但这一判断标准在一般模型中难以验证。是否存在更一般的代数或拓扑条件?扎根于第 4.3 节和附录 B 的讨论。
-
高维冗余参数下的行为:当 d_η 随 n 增长时,Bhattacharyya 基的 Gram 矩阵可能退化,投影构造需要正则化。论文未讨论这一情形。扎根于引言中对 Sur & Candès (2019) 的引用,但未深入。
-
效率损失的量化和最优性:正交化会损失信息,但损失多少?是否存在某种意义下的最优正交化(在稳健性和效率之间达到帕累托最优)?论文未给出效率界的分析。
提示:要确认上述问题是否为真 gap,建议阅读 Bonhomme, Jochmans, Weidner (2024) 的 arXiv 预印本(arXiv:2412.10304)以及 Chetverikov, Sørensen, Tsyvinski (2026) 和 Bonhomme, Jochmans, Newey, Weidner (2026) 的最新预印本,看它们是否已经解决了这些问题。
Maintained by 陈星宇 · Homepage · Source on GitHub