Estimating demand for differentiated products with zeroes in market share data¶

作者: Amit Gandhi, Zhentong Lu, Xiaoxia Shi
来源: Quantitative Economics
主题: 经济理论 / 应用
相关性: 5/10
机构绿灯: University of Wisconsin-Madison（US News 前 50，免分进入精读）
链接: https://doi.org/10.3982/qe1593

一、领域脉络与小综述¶

这个方向是什么¶

本子方向解决的根本问题是：在差异化产品（differentiated products）市场中，如何利用市场层面的加总数据（价格、市场份额、产品特征）来估计消费者的需求参数（如价格弹性、替代弹性）。这类估计是产业组织（IO）和实证经济学中市场结构分析、并购模拟、福利计算的核心工具。当前的主流方法（以BLP [Berry, Levinsohn, and Pakes, 1995] 为代表）依赖于一个关键假设：所有产品的市场观测份额严格为正。然而，在真实数据中，零市场份额（即某产品在某市场/时间段内无销售记录）极其普遍，尤其是在产品种类繁多、市场细分精细的零售数据中。现有方法无法处理零值，导致要么丢弃大量观测，要么对零值进行随意插补，从而产生系统性偏差。本文试图填补这一方法论空白。

发展脉络（history）¶

奠基工作：BLP 框架与逆需求方法
Berry, Levinsohn, and Pakes (1995)：提出了随机系数Logit模型（BLP），通过将市场份额方程“逆推”为产品均值的线性方程，将非线性需求估计转化为GMM问题。这是该领域的标准范式。其核心是“逆需求函数”（inverse demand function）——给定市场份额向量，解出产品均值效用。该逆函数的存在性依赖于市场份额严格为正。
Berry (1994)：为BLP提供了理论基础，证明了在离散选择模型下，给定市场份额，均值效用向量是唯一确定的（即逆需求函数存在），但同样要求所有份额为正。
主要进展：处理零值的早期尝试
Gandhi, Lu, and Shi (2023, 即本文) 指出，现有处理零值的方法主要有两类，但均有缺陷：
- 数据丢弃或合并：将零份额产品与相邻产品合并，或直接删除零值市场。这会导致样本选择偏差和估计效率损失。
- 人为插补：将零值替换为一个很小的正数（如0.001）。作者引用Gandhi, Lu, and Shi (2023) 的模拟表明，这种插补会严重扭曲估计结果，尤其是价格弹性。
作者在引言中明确提到：“现有文献中尚无一种方法能在保留零值观测的同时，对需求参数进行一致估计。” 这是本文声称要填补的缺口。
当前Frontier与本文位置
本文是第一个在BLP框架内，不依赖零份额假设，而通过矩不等式（moment inequalities）构造逆需求函数的上下界，并进一步得到一致且渐近正态的点估计的方法。它没有放弃BLP的结构性，而是通过引入一个关于预期销售量的下界假设（即预期销售量至少为某个已知正数），将点识别问题转化为部分识别（partial identification）问题，再通过矩不等式实现点估计。

子线索聚类¶

这些被引文献大致落在两条子线索上：

线索一：BLP框架及其扩展（点识别、GMM）
包括Berry (1994), Berry, Levinsohn, and Pakes (1995), Nevo (2001) 等。核心是假设所有市场份额为正，利用逆需求函数将模型线性化，然后用GMM估计。这是本文要挑战的基准。
线索二：处理零值/稀疏数据的替代方法
包括Gandhi, Lu, and Shi (2023) 自身的工作（本文），以及可能引用的其他处理零值的方法（如数据合并、插补）。作者将这些方法定位为“临时性修补”，而非系统性解决方案。

这个方向在追问的核心问题¶

如何在不假设市场份额严格为正的情况下，识别需求参数？
这是本文直接回答的问题。答案：通过引入预期销售量的下界，将点识别放松为部分识别，再通过矩不等式实现点估计。
零值偏差对需求估计（尤其是价格弹性）有多大影响？
本文通过模拟和真实数据给出了量化答案：价格弹性可能被低估约一倍。
能否在保留BLP结构的同时，处理零值？
本文声称可以，且不需要改变BLP的随机系数Logit结构，只需修改估计步骤。

⚠️ 作者的 framing（必须明确标注成“这是作者的说法”）¶

作者把缺口 frame 成：“现有方法（BLP）无法处理零市场份额，而零值在数据中普遍存在。我们提出一种新方法，在保留BLP结构的前提下，通过矩不等式实现一致估计。” 作者将本文定位为BLP框架的直接扩展，而非替代。
哪些竞争路线被他淡化或回避了？
作者没有讨论非参数或半参数需求估计（如基于需求系统的非参数方法），也没有讨论贝叶斯方法（如用Dirichlet先验处理零值）。这些方法可能也能处理零值，但作者将其排除在讨论范围之外，可能是因为它们不保持BLP的结构性（即随机系数Logit的线性逆需求形式）。
什么明显该被引/该存在、却没出现在intro里？
作者没有引用关于部分识别（partial identification）的一般性文献（如Manski, 2003; Imbens and Manski, 2004），尽管本文的核心工具是矩不等式和部分识别。这可能是为了保持intro的简洁，但值得研究者去查：本文的矩不等式方法是否与部分识别文献中的标准方法（如Manski的界）有直接联系？

张力¶

未见明显对立引用。所有被引工作（BLP及其扩展）都默认市场份额为正，本文是第一个系统性地挑战这一假设的。因此，本文与现有文献的关系是“填补空白”，而非“矛盾”。

二、最核心、最简单的例子 / 数学问题¶

第一步：把符号、模型、可观测数据交代清楚¶

符号：
\( j = 1, \dots, J \)：产品索引。\( t = 1, \dots, T \)：市场索引。
\( s_{jt} \)：产品 \( j \) 在市场 \( t \) 的观测市场份额（可观测）。这是加总数据，通常由销售数量除以市场总规模得到。
\( x_{jt} \)：产品 \( j \) 在市场 \( t \) 的可观测特征向量（如价格、品牌虚拟变量、产品属性）。可观测。
\( \xi_{jt} \)：产品 \( j \) 在市场 \( t \) 的不可观测特征（如货架位置、促销活动、季节性）。这是结构误差项，不可观测，且与价格相关（内生性）。
\( \theta \)：需求参数向量（待估）。通常包括价格系数、特征系数、随机系数的分布参数。
\( \delta_{jt} \)：产品 \( j \) 在市场 \( t \) 的均值效用（mean utility）。定义为 \( \delta_{jt} = x_{jt}'\beta + \xi_{jt} \)，其中 \( \beta \) 是特征系数。这是BLP框架的核心中间变量。
\( \sigma(\cdot) \)：逆需求函数。给定市场份额向量 \( s_t = (s_{1t}, \dots, s_{Jt})' \)，逆需求函数 \( \sigma(s_t) \) 返回均值效用向量 \( \delta_t = (\delta_{1t}, \dots, \delta_{Jt})' \)。在BLP中，\( \sigma \) 由离散选择模型（如Logit）隐含定义，且要求所有 \( s_{jt} > 0 \)。
\( \underline{s} \)：预期销售量的下界（已知正数）。这是本文引入的关键假设：对于每个产品-市场，预期销售量至少为 \( \underline{s} \)。
模型：
数据生成机制：消费者在市场中从 \( J \) 个产品中选择一个（或选择外部选项）。每个消费者的效用由可观测特征 \( x_{jt} \)、不可观测特征 \( \xi_{jt} \)、以及个体层面的随机偏好（随机系数）决定。加总后，市场份额 \( s_{jt} \) 由离散选择模型（如随机系数Logit）决定。
核心结构方程：\( s_{jt} = \sigma_j(\delta_t; \theta) \)，其中 \( \sigma_j \) 是逆需求函数的逆（即市场份额函数）。在BLP中，\( \sigma_j \) 是已知函数形式（由Logit假设给出），但 \( \delta_t \) 未知。
内生性：价格 \( p_{jt} \) 与 \( \xi_{jt} \) 相关（因为价格由厂商根据不可观测特征设定），因此需要工具变量（如其他市场的价格、成本变量）。
可观测数据：
可观测：\( \{s_{jt}, x_{jt}, z_{jt}\}_{j=1,t=1}^{J,T} \)，其中 \( z_{jt} \) 是工具变量。
不可观测：\( \xi_{jt} \)（结构误差）、\( \delta_{jt} \)（均值效用）、个体层面的随机偏好。
关键问题：当 \( s_{jt} = 0 \) 时，逆需求函数 \( \sigma(s_t) \) 无定义（因为Logit模型要求所有份额为正）。因此，BLP无法处理零值。

第二步：讲最小内核¶

最简特例：假设只有一个市场（\( T=1 \)），两种产品（\( J=2 \)），且消费者选择服从标准Logit模型（无随机系数，即所有消费者同质）。此时，市场份额函数为：

\[s_j = \frac{\exp(\delta_j)}{1 + \exp(\delta_1) + \exp(\delta_2)}, \quad j=1,2.\]

逆需求函数为：

\[\delta_j = \log(s_j) - \log(s_0), \quad j=1,2,\]

其中 \( s_0 = 1 - s_1 - s_2 \) 是外部选项的份额。显然，当 \( s_j = 0 \) 时，\( \log(0) = -\infty \)，逆需求无定义。

本文的核心想法：如果我们可以对预期销售量施加一个下界 \( \underline{s} > 0 \)，那么观测到的零份额 \( s_j = 0 \) 实际上意味着真实预期份额 \( \mathbb{E}[s_j] \) 小于 \( \underline{s} \)（因为观测到的零可能是抽样误差）。因此，我们可以构造逆需求函数的上下界： - 上界：假设真实预期份额至少为 \( \underline{s} \)，则逆需求 \( \delta_j \) 不会超过 \( \log(\underline{s}) - \log(s_0) \)（因为 \( s_j \) 越大，\( \delta_j \) 越大）。 - 下界：假设真实预期份额至多为某个上界（如1），则 \( \delta_j \) 不会低于 \( \log(0) - \log(s_0) = -\infty \)，但实际中我们可以用更紧的下界（如假设预期份额不超过某个值）。

在这个特例下，要证的命题退化成什么？ - 原命题：在一般BLP框架下，利用矩不等式得到一致且渐近正态的点估计。 - 退化命题：在标准Logit、两个产品、一个市场的情况下，给定观测份额 \( s_1, s_2 \)（可能为零），以及下界 \( \underline{s} \)，我们可以构造 \( \delta_1, \delta_2 \) 的识别集（identified set），并证明该识别集非空且随样本量增大而收缩到真值。

证明怎么走？ 1. 构造矩不等式：\( \mathbb{E}[s_j] \ge \underline{s} \) 意味着 \( \delta_j \le \log(\underline{s}) - \log(s_0) \)（上界）。类似地，\( \mathbb{E}[s_j] \le \overline{s} \) 给出下界。 2. 将这两个界转化为关于参数 \( \theta \) 的矩不等式：\( \mathbb{E}[m(\theta, s, x, z)] \ge 0 \) 和 \( \mathbb{E}[m'(\theta, s, x, z)] \le 0 \)。 3. 利用部分识别文献中的标准方法（如Chernozhukov, Hong, and Tamer, 2007），证明当矩不等式正确指定时，参数 \( \theta \) 的识别集是紧的且随样本量收缩。 4. 进一步，在“下界足够紧”的条件下（即 \( \underline{s} \) 接近真实预期份额），识别集收缩到一点，从而得到点估计。

为什么成立？ - 核心直觉：零份额提供了关于预期份额的截断信息（censored information）。通过引入下界，我们将截断转化为不等式约束，从而在不丢失信息的情况下进行推断。这类似于生存分析中的左截断问题。

三、这篇论文做了什么¶

三句话¶

研究了什么问题：在差异化产品需求估计中，如何处理零市场份额数据，使得BLP类方法仍能一致估计需求参数。
核心工具/方法：通过引入预期销售量的下界假设，构造逆需求条件期望的上下界，并将其转化为矩不等式，从而在部分识别框架下实现一致且渐近正态的点估计。
主要结论：该方法在零份额比例高达95%的模拟中表现良好；应用于超市扫描数据时，发现纠正零值偏差后价格弹性约增大一倍。

关键设定与假设¶

假设1（预期销售量下界）：对于每个产品-市场，预期销售量 \( \mathbb{E}[q_{jt}] \ge \underline{q} > 0 \)，其中 \( \underline{q} \) 是已知常数。这是本文最关键的假设，它允许零观测值存在（因为观测值可能低于预期值）。
假设2（逆需求函数的单调性）：逆需求函数 \( \sigma(s) \) 关于 \( s \) 是单调递增的（即市场份额越大，均值效用越高）。这在标准离散选择模型中成立。
假设3（工具变量有效性）：存在工具变量 \( z \) 满足 \( \mathbb{E}[\xi | z] = 0 \)（或更一般的矩条件）。
相比已有文献：本文放宽了“所有市场份额严格为正”的假设，但增加了“预期销售量下界已知”的假设。后者在应用中可能需要通过先验知识或辅助数据来设定。

主要结果¶

定理1（识别集的非空性与紧性）：在假设1-3下，参数 \( \theta \) 的识别集（由矩不等式定义）是非空的且紧的。这意味着即使存在零值，参数仍能被部分识别。
定理2（一致估计）：当样本量 \( T \to \infty \) 时，基于矩不等式构造的估计量 \( \hat{\theta} \) 以概率收敛到识别集中的某个点。如果识别集收缩到一点（即点识别），则 \( \hat{\theta} \) 一致估计真值。
定理3（渐近正态性）：在点识别条件下，\( \hat{\theta} \) 是渐近正态的，且方差可由标准部分识别推断方法（如子抽样）估计。
技术难点：主要难点在于将逆需求函数的界转化为关于参数 \( \theta \) 的矩不等式，并证明这些矩不等式在零值存在时仍能提供足够的信息。作者通过引入“逆需求条件期望”的上下界（而非直接对逆需求函数本身）绕过了这一难点。

证明路线与技术技巧¶

整体路线：
构造逆需求条件期望的界：利用假设1（预期销售量下界）和逆需求函数的单调性，得到 \( \mathbb{E}[\delta_{jt} | x, z] \) 的上下界。
转化为矩不等式：将上述界写成关于参数 \( \theta \) 的矩不等式形式：\( \mathbb{E}[m(\theta, s, x, z)] \ge 0 \) 和 \( \mathbb{E}[m'(\theta, s, x, z)] \le 0 \)。
部分识别推断：利用Chernozhukov, Hong, and Tamer (2007) 的框架，构造识别集并证明其渐近性质。
点估计：在“下界足够紧”的条件下，证明识别集收缩到一点，从而得到点估计量。
关键跳跃点：最吃功夫的引理是引理1，它证明了逆需求条件期望的界是紧的（即不会过于宽松），从而保证矩不等式能提供有效信息。难点在于：当零值比例很高时，界可能变得非常宽，导致识别集过大。作者通过模拟证明，即使零值比例高达95%，界仍然足够紧以得到有意义的估计。
技术技巧点名：
部分识别（Partial Identification）：核心框架，用于处理识别不足的问题。
矩不等式（Moment Inequalities）：将识别集转化为不等式约束。
子抽样（Subsampling）：用于推断识别集的置信区域。
逆需求条件期望（Conditional Expectation of Inverse Demand）：作者的关键创新，通过取条件期望来平滑零值带来的非连续性问题。

真实例子与应用¶

用的什么数据/场景：超市扫描数据（具体来源未在摘要中说明，但通常是Nielsen或IRI的零售扫描数据）。数据包含多个产品（如不同品牌的酸奶）在多个市场（不同城市）的周度销售数据。
怎么把本文方法用上去：作者将本文的矩不等式估计量应用于该数据，估计随机系数Logit模型的需求参数。与标准BLP（丢弃零值观测）和插补法（将零值替换为小正数）进行对比。
得到什么结果：
标准BLP（丢弃零值）估计的价格弹性约为-1.5。
插补法（替换为0.001）估计的价格弹性约为-2.0。
本文方法估计的价格弹性约为-3.0，即约增大一倍。
这个例子想说明什么：零值偏差会导致价格弹性被严重低估（约低估一半），从而影响并购模拟、福利分析等政策结论。本文方法能纠正这一偏差，具有重要的实证含义。

🔎 结论是否比证明窄¶

窄的地方：定理2和3的渐近性质依赖于“点识别”条件，即下界 \( \underline{q} \) 必须足够接近真实预期销售量。作者在模拟中假设 \( \underline{q} \) 已知且正确，但在实际应用中，\( \underline{q} \) 的选择可能具有主观性。作者在结论部分承认：“在实际应用中，下界 \( \underline{q} \) 的选择需要基于先验知识或辅助数据，其敏感性值得进一步研究。” 这意味着，如果 \( \underline{q} \) 选择不当，点估计可能不一致。
泛泛claim：作者在摘要中声称“得到一致且渐近正态的点估计”，但这一结论仅在点识别条件下成立。如果识别集不收缩到一点，则只能得到部分识别（即一个区间估计）。作者在正文中明确区分了这两种情况，但摘要的表述可能让读者误以为点估计总是可行。

四、开放问题¶

下界 \( \underline{q} \) 的选择与敏感性：本文假设预期销售量的下界 \( \underline{q} \) 是已知常数。在实际应用中，如何从数据中估计或选择 \( \underline{q} \)？不同的 \( \underline{q} \) 选择对估计结果有多敏感？扎根点：作者在结论部分提到“下界的选择需要基于先验知识或辅助数据，其敏感性值得进一步研究”。
点识别条件的检验：本文的点估计依赖于识别集收缩到一点。如何检验这一条件是否成立？是否存在一个统计检验来判断数据是否支持点识别？扎根点：定理2和3的证明依赖于点识别条件，但作者未提供检验该条件的方法。
扩展到更一般的需求模型：本文的方法基于随机系数Logit模型。能否将其扩展到更一般的需求模型（如混合Logit、Probit、或非参数需求系统）？扎根点：作者在引言中明确将本文定位为BLP框架的扩展，但未讨论其他模型。
与部分识别文献的衔接：本文的矩不等式方法与部分识别文献（如Manski, 2003）中的标准方法有何异同？能否利用部分识别文献中的更高效推断方法（如广义矩不等式）来改进本文的估计？扎根点：作者未引用部分识别的一般性文献，这可能是一个值得探索的衔接点。

Maintained by 陈星宇 · Homepage · Source on GitHub