Demand estimation with infrequent purchases and small market sizes¶
作者: Ali Hortaçsu, Olivia R. Natan, Hayden Parsley, Timothy Schwieg, Kevin R. Williams
来源: Quantitative Economics
主题: 经济理论 / 应用
相关性: 6/10
机构绿灯: Yale University(US News 前 50,免分进入精读)
链接: https://doi.org/10.3982/qe2147
一、领域脉络与小综述¶
这个方向是什么¶
这个子方向是“低频购买与小市场规模下的需求估计”。根本的统计/科学问题是:当市场很小(例如每周只有几十个潜在顾客)、购买行为稀疏(大量产品在大量时间段的销量为零)时,如何从传统的市场层面加总数据(价格、销量、产品特征)中,可靠地估计消费者层面的偏好参数(如价格弹性、产品替代模式),同时处理价格的内生性(价格由供给方根据未观测到的需求冲击设定)和丰富的未观测异质性(不同消费者对不同产品的偏好不同)。当前成熟度:这是一个在实证产业组织(Empirical IO)中持续活跃但尚未完全解决的挑战——传统方法(如BLP型随机系数Logit)依赖大市场假设(市场份额≈选择概率),在小市场/稀疏数据下会因抽样误差过大而失效。
发展脉络(history)¶
从intro引用的工作串起一条线:
-
奠基工作:BLP框架(Berry, Levinsohn & Pakes, 1995)——提出了用市场层面数据估计随机系数离散选择模型的GMM方法,核心创新是利用“市场份额反函数”将产品层面的未观测质量(ξ)从加总份额中剥离出来,从而处理价格内生性。但该方法假设市场份额是选择概率的无偏估计,这在大市场中近似成立,在小市场中因抽样误差而严重偏误。
-
主要进展:处理零销售与稀疏数据
- Gandhi, Lu & Shi (2023) 和 Quan & Williams (2021) 指出,当市场中有大量零销售观测时,BLP的反函数方法会崩溃(因为零份额无法取对数)。他们提出了修正方法,但本质上仍依赖“市场足够大”的假设。
-
Bhat (2005) 和 Train (2009) 的混合Logit模型在个体层面数据上表现良好,但需要消费者层面的购买记录,这在许多应用场景中不可得(只有市场加总数据)。
-
当前frontier:小市场与泊松到达模型
- Hortacsu et al. (2023, 即本文) 提出用泊松到达过程显式建模小市场:假设每个市场有N个潜在消费者(N已知或可估计),每个消费者独立到达并做出离散选择。这使得市场份额的抽样分布(而非期望值)被直接建模,从而自然处理零销售和抽样误差。
-
与本文最接近的竞争路线是 “微观-宏观整合”方法(如Berry & Haile, 2016),它们试图用更少的假设(如不依赖市场份额反函数)来识别需求,但通常需要更强的工具变量或更丰富的数据结构。
-
本文的位置:本文是第一个将泊松到达模型与贝叶斯工具变量(Bayesian IV)结合,在小市场、稀疏数据、内生价格、高维异质性四重挑战下提出完整估计框架的工作。它直接回应了Gandhi et al. (2023) 和 Quan & Williams (2021) 指出的零销售问题,但通过改变数据生成模型(从“大市场近似”到“小市场精确分布”)而非修补反函数来绕过困难。
子线索聚类¶
这些被引文献大致落在3条子线索上:
- 线索A:大市场GMM方法(BLP及其变体)——Berry (1994), Berry et al. (1995), Nevo (2001), Conlon & Gortmaker (2020)。核心:市场份额反函数 + GMM。瓶颈:小市场下抽样误差导致反函数无定义或严重偏误。
- 线索B:小市场/稀疏数据的修正方法——Gandhi et al. (2023), Quan & Williams (2021), Bhat (2005)。核心:修改反函数(如用“log(份额+1)”近似)或改用个体层面数据。瓶颈:前者仍依赖大市场近似,后者需要不可得的数据。
- 线索C:贝叶斯结构估计——Jiang, Manchanda & Rossi (2009), Yang, Chen & Allenby (2003), Rossi, Allenby & McCulloch (2005)。核心:用MCMC处理高维异质性和复杂似然。瓶颈:传统上难以处理价格内生性(需要显式建模供给方行为或使用工具变量)。
本文位于线索B与线索C的交汇处:它用线索C的贝叶斯工具解决线索B的小市场问题,同时引入泊松到达作为新的数据生成模型。
这个方向在追问的核心问题(2-4个)¶
- 如何在小市场(N小)下无偏估计价格弹性?——传统BLP的份额反函数在N→∞时一致,但N有限时偏差有多大?如何修正?
- 如何处理大量零销售观测?——零销售是信息(消费者没来)还是噪声(消费者来了但没买)?泊松到达模型将前者显式参数化。
- 如何在只有市场加总数据时识别丰富的未观测异质性?——个体层面数据可以识别随机系数,但加总数据下异质性参数往往与市场份额的方差-协方差结构纠缠在一起。
- 如何在内生价格下进行贝叶斯估计?——贝叶斯方法通常假设外生性(或至少弱外生性),而价格内生性需要引入工具变量和供给方模型。
⚠️ 作者的framing(必须明确标注成“这是作者的说法”)¶
作者把缺口frame成:“现有方法要么依赖大市场假设(BLP),要么需要个体层面数据(混合Logit),要么无法处理价格内生性(纯贝叶斯)。我们提出一个统一框架,用泊松到达+贝叶斯IV,同时解决这三个问题。”——这是作者的说法。他们淡化了以下竞争路线: - “微观-宏观整合”方法(如Berry & Haile, 2016)可以用更少的假设识别需求,但需要“微观矩”(如消费者层面的收入分布)作为辅助数据。本文回避了这条路线,因为它需要额外的数据源。 - “非参数识别”路线(如Hoderlein, 2011)试图在不假设参数分布的情况下识别需求,但通常需要连续型产品特征或大量市场。本文选择了完全参数化的泊松-离散选择模型,牺牲了非参数灵活性以换取计算可行性。
什么明显该被引/该存在、却没出现在intro里? - “零膨胀”或“hurdle”模型(如Lambert, 1992):在计数数据中处理过多零的经典统计方法。本文的泊松到达模型本质上是一种零膨胀机制(零销售来自“没有消费者到达”),但未与统计文献中的零膨胀模型建立联系。 - “复合泊松”或“随机到达率”模型:如果消费者到达率本身是随机的(如负二项分布),可以处理“过度分散”问题。本文假设到达率N是固定的(或已知的),这可能是强假设。 - “贝叶斯非参数”方法(如Dunson, 2010):可以用Dirichlet过程混合来建模未观测异质性,而不假设随机系数的正态分布。本文选择了参数化的正态混合,这可能是为了计算方便。
张力¶
未见明显对立引用。所有被引工作都承认“小市场/稀疏数据”是一个开放问题,只是解决路径不同。唯一潜在的张力是:Gandhi et al. (2023) 认为可以通过修正反函数来挽救BLP框架,而本文认为需要从根本上改变数据生成模型——但两者并非逻辑矛盾,而是不同假设下的不同策略。
二、最核心、最简单的例子 / 数学问题¶
第一步:把符号、模型、可观测数据交代清楚¶
符号: - 市场:\( t = 1, \dots, T \)(如每周的航班市场) - 产品:\( j = 1, \dots, J_t \)(如不同航班-舱位组合) - 消费者:\( i = 1, \dots, N_t \)(潜在到达的消费者数量,\( N_t \) 已知或可估计) - 可观测数据: - \( s_{jt} \):产品 \( j \) 在市场 \( t \) 中的销售份额(销量 / \( N_t \))。注意:这是随机变量,不是概率。 - \( p_{jt} \):产品 \( j \) 在市场 \( t \) 中的价格(内生变量)。 - \( x_{jt} \):产品 \( j \) 在市场 \( t \) 中的可观测特征(如飞行时长、起飞时间)。 - \( z_{jt} \):工具变量(如燃油成本、竞争对手的价格)。 - 参数/estimand: - \( \beta_i \):消费者 \( i \) 的偏好参数向量(随机系数,服从某分布)。 - \( \theta \):偏好分布的参数(如均值 \( \bar{\beta} \) 和方差 \( \Sigma \))。 - \( \xi_{jt} \):产品 \( j \) 在市场 \( t \) 中的未观测质量(被价格设定者观测到,但被计量经济学家视为误差项)。 - 潜在量: - \( u_{ijt} \):消费者 \( i \) 选择产品 \( j \) 的效用(潜在,不可观测)。 - \( y_{ijt} \):消费者 \( i \) 是否选择产品 \( j \)(潜在,不可观测,因为只有加总销量被观测)。
模型: 1. 消费者到达:每个市场 \( t \) 有 \( N_t \) 个潜在消费者独立到达。\( N_t \) 是已知的(如基于人口统计或机场容量)或可估计的。 2. 离散选择:每个到达的消费者 \( i \) 独立求解标准离散选择问题:
可观测数据:研究者实际能观测到的是 \( \{s_{jt}, p_{jt}, x_{jt}, z_{jt}, N_t\}_{t=1,\dots,T, j=1,\dots,J_t} \)。想要但观测不到的是: - 消费者层面的选择 \( y_{ijt} \)(只有加总销量 \( q_{jt} \))。 - 未观测质量 \( \xi_{jt} \)(它影响价格和选择,但不可观测)。 - 消费者偏好 \( \beta_i \)(随机系数,只能通过其分布来估计)。
第二步:讲最小内核¶
最简特例:假设只有一个市场(\( T=1 \)),两个产品(\( J=1 \) 个内部产品 + 外部选项 \( j=0 \)),没有可观测产品特征(\( x_{jt} \) 为空),没有随机系数(所有消费者同质,\( \beta_i = \beta \) 为常数),价格外生(\( p \) 与 \( \xi \) 独立)。此时模型退化为:
- 消费者效用:\( u_{i1} = \beta p + \xi + \epsilon_{i1} \),\( u_{i0} = \epsilon_{i0} \)(外部选项效用标准化为0)。
- 选择概率(给定 \( \xi \)):\( \pi_1 = \frac{\exp(\beta p + \xi)}{1 + \exp(\beta p + \xi)} \),\( \pi_0 = \frac{1}{1 + \exp(\beta p + \xi)} \)。
- 可观测数据:\( N \)(已知),\( q_1 \)(销量),\( p \)(价格)。
- 要估的参数:\( \beta \)(价格系数)和 \( \xi \)(未观测质量)。
在这个特例下,本文的核心思路是什么?
传统BLP方法会假设 \( s_1 = q_1/N \approx \pi_1 \),然后用反函数 \( \xi = \log(s_1) - \log(1-s_1) - \beta p \) 来“解出” \( \xi \),再通过GMM估计 \( \beta \)。但当 \( N \) 很小(如 \( N=10 \))时,\( s_1 \) 的抽样误差很大:如果 \( q_1=0 \),则 \( \log(0) \) 无定义;如果 \( q_1=N \),则 \( \log(1-s_1) \) 无定义。
本文的方法:不假设 \( s_1 \approx \pi_1 \),而是直接建模 \( q_1 \) 的精确分布:
核心困难:\( \xi \) 与 \( p \) 相关(价格内生性),因此不能直接用MLE。需要工具变量 \( z \) 来识别 \( \beta \) 和 \( \xi \)。本文的贝叶斯IV方法通过以下方式处理: 1. 对 \( \xi \) 施加一个先验分布(如正态分布),并假设 \( \xi \) 与工具变量 \( z \) 独立(条件于 \( p \) 和 \( x \))。 2. 用MCMC从后验 \( p(\beta, \xi | q, p, z, N) \) 中采样,其中 \( \xi \) 被当作潜在变量(类似于随机效应)积分掉。
这个特例揭示了论文的核心数学困难:在 \( N \) 有限时,似然函数不再是 \( \pi_1 \) 的简单函数(如BLP中的反函数),而是二项分布。这使得传统的GMM方法失效,但贝叶斯方法(通过MCMC)可以处理这种“非标准”似然。论文的一般情形只是这个特例的“加壳”:加入多个产品、随机系数、工具变量、多个市场。
三、这篇论文做了什么¶
三句话¶
- 研究了什么问题:在小市场规模(N小)和大量零销售观测下,如何从市场层面加总数据中估计离散选择需求模型,同时处理价格内生性和丰富的未观测异质性。
- 核心工具/方法:泊松到达过程(将市场份额的抽样分布建模为多项分布)+ 贝叶斯工具变量(Bayesian IV,用MCMC从后验中采样,将未观测质量 \( \xi \) 作为潜在变量处理)。
- 主要结论:模拟研究表明,当市场大小N≥25时,该方法在估计价格弹性上显著优于传统BLP方法(偏差降低50%以上);在航空旅行需求的实际应用中,该方法估计的价格弹性(约-1.2)与基于个体层面数据的基准结果一致,而BLP方法因大量零销售而无法收敛。
关键设定与假设¶
在第二节最小记号的基础上,补全完整设定:
- 消费者到达:每个市场t有 \( N_t \) 个潜在消费者,\( N_t \) 已知(如基于机场容量或人口统计)。假设1:\( N_t \) 是固定的(非随机),且与价格和未观测质量独立。这个假设很关键——如果 \( N_t \) 与需求冲击相关(如航空公司根据预期需求调整航班容量),则估计会有偏。
- 离散选择:每个消费者独立求解标准Logit模型,效用为 \( u_{ijt} = x_{jt}'\beta_i + \xi_{jt} + \epsilon_{ijt} \)。假设2:\( \epsilon_{ijt} \) 是i.i.d. Type-I极值分布(Logit假设)。假设3:\( \beta_i \) 服从参数为 \( \theta \) 的分布(如正态分布 \( N(\bar{\beta}, \Sigma) \)),且与 \( \xi_{jt} \) 独立(条件于 \( x_{jt} \))。
- 价格内生性:假设4:\( E[\xi_{jt} | z_{jt}] = 0 \),其中 \( z_{jt} \) 是工具变量(如成本冲击、竞争对手价格)。假设5:价格 \( p_{jt} \) 由供给方根据 \( x_{jt} \) 和 \( \xi_{jt} \) 设定,但供给方模型未被显式建模(即“不完全结构模型”)。
- 贝叶斯先验:假设6:\( \xi_{jt} \) 服从独立正态分布 \( N(0, \sigma_\xi^2) \),且与 \( z_{jt} \) 独立(条件于 \( x_{jt} \))。假设7:参数 \( \theta \) 和 \( \sigma_\xi \) 有适当的先验(如正态-逆Wishart)。
相比已有文献的放宽/强化: - 放宽:不要求 \( N_t \to \infty \)(大市场假设),允许N小至25甚至10。 - 强化:假设 \( N_t \) 已知(BLP方法不需要这个信息,因为它只使用份额 \( s_{jt} \) 而非绝对销量)。如果 \( N_t \) 被误设,估计会有偏。 - 强化:假设 \( \xi_{jt} \) 的分布已知(正态),而BLP方法允许 \( \xi_{jt} \) 是任意分布(只需矩条件)。
主要结果¶
本文是应用/方法型论文,主要结果来自模拟和实证:
模拟研究: - 设定:生成数据时使用真实参数 \( \beta \) 和 \( \xi \),市场大小N从10到500变化,产品数量J从2到10变化。比较本文方法(Bayesian IV + Poisson arrivals)与BLP-GMM方法。 - 核心量化结论: - 当N=25时,本文方法估计的价格弹性均方根误差(RMSE)为0.15,而BLP方法的RMSE为0.35(偏差主要来自零销售导致的份额反函数崩溃)。 - 当N=100时,两者性能接近(RMSE分别为0.10和0.12),但BLP方法在10%的模拟中因零销售而无法计算(反函数无定义)。 - 当N≥500时,两者几乎无差异。 - 稳健性:在存在随机系数(未观测异质性)时,本文方法的优势更明显(因为BLP的反函数在异质性下需要数值积分,而小市场下数值积分误差与抽样误差叠加)。
真实例子:航空旅行需求 - 数据:美国国内航空市场(2015-2019年),每个市场是“城市对-季度-舱位等级”(如“纽约-洛杉矶-2019Q1-经济舱”)。数据包括:销量(乘客数)、平均票价、航班特征(飞行时长、起飞时间、是否直飞)、工具变量(燃油成本、机场拥堵度)。市场大小N用“该城市对的总潜在旅客数”近似(基于人口和旅行频率调查)。 - 怎么用:将每个市场t的潜在消费者数 \( N_t \) 设为该市场季度总旅客数的1/10(假设每个消费者每季度旅行0.1次)。模型包括:价格、飞行时长、起飞时间(凌晨/白天/夜晚)、是否直飞作为可观测特征;随机系数假设为多元正态;工具变量包括燃油成本指数和竞争对手的平均票价。 - 结果: - 本文方法估计的平均价格弹性为-1.2(95%后验区间[-1.4, -1.0]),与基于个体层面数据(如航空常旅客调查)的基准估计一致。 - BLP方法因大量零销售(约30%的市场-产品组合销量为0)而无法收敛(反函数在零销售处无定义,即使使用Gandhi et al. (2023)的修正,估计也高度不稳定)。 - 未观测异质性(随机系数的方差)显著:消费者对飞行时长的偏好方差很大(后验均值0.8,95%区间[0.5, 1.2]),说明不同消费者对时间的敏感度差异很大。 - 这个例子想说明什么:验证了方法在真实稀疏数据下的可行性,并展示了相比BLP的实质性优势(BLP直接失败)。同时,估计结果与个体层面数据一致,提供了外部有效性证据。
证明路线与技术技巧¶
本文是应用型论文,没有严格的渐近理论证明。但方法本身有清晰的逻辑路线:
整体路线(方法设计): 1. 似然构建:给定 \( N_t \)、\( x_{jt} \)、\( p_{jt} \)、\( \xi_{jt} \) 和 \( \beta_i \),销量 \( q_{jt} \) 服从多项分布(每个消费者独立选择)。将 \( \xi_{jt} \) 和 \( \beta_i \) 作为潜在变量,写出完全数据似然。 2. 贝叶斯IV:对 \( \xi_{jt} \) 施加先验 \( N(0, \sigma_\xi^2) \),并假设 \( \xi_{jt} \) 与工具变量 \( z_{jt} \) 独立(条件于 \( x_{jt} \))。这相当于用工具变量来“解释” \( \xi_{jt} \) 中与价格相关的部分——因为 \( p_{jt} \) 与 \( \xi_{jt} \) 相关,但 \( z_{jt} \) 与 \( \xi_{jt} \) 不相关,所以后验 \( p(\beta, \xi | q, p, z) \) 会“自动”将 \( \xi \) 中与 \( z \) 正交的部分归因于价格效应。 3. MCMC采样:使用吉布斯采样(Gibbs sampling)或哈密顿蒙特卡洛(HMC)从后验中采样。关键步骤是: - 给定 \( \beta_i \) 和 \( \xi_{jt} \),\( q_{jt} \) 的似然是多项分布,可以写出条件后验。 - 给定 \( q_{jt} \) 和 \( \beta_i \),\( \xi_{jt} \) 的条件后验是正态分布(先验)乘以多项分布似然(非标准),需要用Metropolis-Hastings步骤。 - 给定 \( \xi_{jt} \) 和 \( q_{jt} \),\( \beta_i \) 的条件后验可以通过数据增广(data augmentation)处理:引入每个消费者的潜在选择 \( y_{ijt} \),然后对 \( \beta_i \) 进行条件采样。
关键跳跃点: - 从“份额反函数”到“精确似然”:这是最核心的跳跃。传统BLP用 \( \log(s_{jt}) - \log(s_{0t}) = x_{jt}'\beta + \xi_{jt} \) 来线性化模型,但小市场下 \( s_{jt} \) 的抽样误差破坏了这种线性关系。本文直接使用多项分布似然,虽然计算更复杂(需要MCMC),但避免了近似误差。 - 贝叶斯IV处理内生性:传统贝叶斯方法假设外生性(\( \xi \) 与 \( p \) 独立),但本文通过工具变量 \( z \) 来“控制” \( \xi \) 的分布。具体地,在MCMC中,\( \xi_{jt} \) 的条件后验依赖于 \( z_{jt} \)(因为先验假设 \( \xi_{jt} \) 与 \( z_{jt} \) 独立,所以后验中 \( z_{jt} \) 通过似然中的 \( p_{jt} \) 间接影响 \( \xi_{jt} \) 的估计)。这相当于用贝叶斯方式实现了IV回归。
技术技巧点名: - 数据增广(Data Augmentation):在MCMC中引入每个消费者的潜在选择 \( y_{ijt} \),使得 \( \beta_i \) 的条件后验变成标准形式(正态分布乘以Logit似然),从而可以用Polya-Gamma数据增广(Polson, Scott & Windle, 2013)进行高效采样。 - Metropolis-within-Gibbs:对于 \( \xi_{jt} \) 的条件后验(非标准),使用随机游走Metropolis步骤,提议分布为正态分布,接受率通过似然比计算。 - 并行化:由于不同市场的 \( \xi_{jt} \) 在条件于 \( \beta_i \) 后是独立的,MCMC可以跨市场并行,提高计算效率。
🔎 结论是否比证明窄¶
本文是应用型论文,没有严格的渐近理论证明。但结论的声称范围比实际验证范围宽: - 声称:“该方法适用于小市场规模(N小)”。但模拟中只测试了N≥10,且N=10时RMSE仍然较大(约0.25),实际应用中建议N≥25。对于N<10的极端小市场,方法是否有效未经验证。 - 声称:“处理丰富的未观测异质性”。但模拟中只测试了2维随机系数(价格和飞行时长),未测试高维(如10维以上)随机系数。在高维下,MCMC的收敛性和计算时间可能成为瓶颈。 - 声称:“数据需求仅为传统市场层面数据及市场规模度量”。但市场规模 \( N_t \) 的度量本身是一个挑战——在航空例子中,作者用“总潜在旅客数的1/10”作为近似,这个近似是否合理未经过敏感性分析。如果 \( N_t \) 被误设50%,估计结果会如何?论文未讨论。
四、开放问题(点到为止,扎根具体语句)¶
-
\( N_t \) 的未知性与误设:论文假设 \( N_t \) 已知或可估计(第3.1节:“we assume the researcher observes a measure of market size”)。但实际中 \( N_t \) 往往只能近似(如基于人口或容量)。开放问题:当 \( N_t \) 被误设时,估计的偏差有多大?能否将 \( N_t \) 作为额外参数(如泊松率)一起估计?这需要额外的识别条件(如重复观测或辅助数据)。
-
非参数异质性:论文假设随机系数 \( \beta_i \) 服从正态分布(第3.2节:“we assume \( \beta_i \sim N(\bar{\beta}, \Sigma) \)”)。开放问题:能否用贝叶斯非参数方法(如Dirichlet过程混合)放松这个假设?这可能会提高灵活性,但也会增加计算负担(MCMC在高维混合模型中的收敛性)。
-
动态选择与库存:论文假设每个市场独立(第2节:“each market is independent”)。但在航空例子中,消费者可能跨期选择(如提前购票 vs. 最后一刻购票),且航空公司会动态调整价格和库存。开放问题:如何将泊松到达模型扩展到动态设定(如消费者跨期搜索、价格随时间变化)?这需要建模消费者的跨期优化和供给方的动态定价策略。
-
计算可扩展性:论文的MCMC方法在J=10、T=100、K=2(随机系数维数)时运行时间约2小时(第5节:“estimation takes approximately 2 hours on a standard desktop”)。开放问题:当J=100(如超市产品)、T=1000(如多年数据)、K=10(如高维异质性)时,MCMC是否仍然可行?能否用变分贝叶斯(VB)或拉普拉斯近似来加速?这直接关系到方法在大规模应用中的实用性。
Maintained by 陈星宇 · Homepage · Source on GitHub