Dynamic Two Stage Modeling for Category-Level and Brand-Level Purchases Using Potential Outcome Approach With Bayes Inference¶

作者: Kei Miyazaki, Takahiro Hoshino, Ulf Böckenholt
来源: Journal of Business & Economic Statistics
主题: 经济理论 / 应用
相关性: 5/10
机构绿灯: Northwestern University（US News 前 50，免分进入精读）
链接: https://doi.org/10.1080/07350015.2019.1702047

一、领域脉络与小综述¶

这个方向是什么¶

这个子方向是消费者购买行为的计量经济学建模，具体聚焦于扫描面板数据（scanner panel data） 中的多阶段购买决策。根本的科学问题是：如何用一个统计模型，同时刻画消费者在“是否购买某个品类（category-level purchase）”和“在品类内选择哪个品牌（brand-level purchase）”这两个层级上的决策，并允许消费者在一次购物中购买多个品牌（即“同时品牌购买”）。当前成熟度属于方法学应用与扩展阶段——已有若干经典模型（如嵌套Logit、多元Probit、两阶段模型），但本文指出这些模型在处理“同时品牌购买”和“动态品牌转换”时存在系统性偏差。

发展脉络（history）¶

从introduction和参考文献中梳理出的脉络如下：

奠基工作：消费者行为理论与离散选择模型
- Guadagni & Little (1983)：提出了一个品牌选择模型，将品牌忠诚度（brand loyalty）作为状态变量，用扫描面板数据估计。这是品牌选择建模的经典起点，但只处理单品牌选择（一次只买一个品牌）。
- McFadden (1974)：条件Logit模型（conditional logit），是离散选择建模的基石。它假设消费者在互斥的备选方案中选择效用最大化的那个。这个假设在“一次只买一个品牌”时成立，但在“同时购买多个品牌”时被违反。
- Chintagunta (1993)：提出了一个品类购买与品牌选择的两阶段模型，但假设两个阶段的误差项独立（即品类决策与品牌决策不相关）。本文指出这个假设过于严格，会导致估计偏差。
主要进展：处理多品牌购买与两阶段相关性
- Russell & Petersen (2000)：提出了一个多元品牌购买模型，允许消费者在一次购物中购买多个品牌。这是对“同时品牌购买”问题的直接回应。但本文指出，该模型没有考虑品类层面的购买决策（即“是否购买该品类”），因此无法区分“不买该品类”和“买了但没买某个品牌”。
- Miyazaki, Hoshino & Böckenholt (2021)（本文作者的前期工作）：提出了一个两阶段模型，允许品类决策与品牌决策的误差项相关，并处理了“同时品牌购买”。但本文指出，该模型是静态的，无法捕捉品牌忠诚度的动态变化（即过去购买如何影响未来选择）。
当前Frontier：动态两阶段模型
- 本文（Miyazaki, Hoshino & Böckenholt, 2024）：在前期静态两阶段模型的基础上，引入品牌忠诚度作为动态状态变量（类似Guadagni & Little (1983)的做法），从而允许品牌选择行为随时间演变。这是本文的核心贡献。

子线索聚类¶

这些被引文献大致落在两条子线索上：

线索一：单品牌选择模型（一次只买一个品牌）
- 代表工作：Guadagni & Little (1983), McFadden (1974), Chintagunta (1993)。
- 核心设定：消费者在互斥的品牌中选一个。模型通常是条件Logit或其变体。
- 局限性：无法处理“同时购买多个品牌”的现实情况，且Chintagunta (1993)的独立误差假设被后续工作质疑。
线索二：多品牌购买模型（允许一次买多个品牌）
- 代表工作：Russell & Petersen (2000), Miyazaki et al. (2021), 本文。
- 核心设定：消费者可以同时购买多个品牌。模型通常是多元Probit或两阶段模型。
- 进展：从静态（Russell & Petersen, 2000; Miyazaki et al., 2021）到动态（本文），从忽略品类决策（Russell & Petersen, 2000）到同时建模品类与品牌决策（Miyazaki et al., 2021; 本文）。

这个方向在追问的核心问题¶

如何同时建模品类购买决策与品牌选择决策？ 这两个层级是独立的还是相关的？如果相关，如何建模这种相关性？
如何处理“同时购买多个品牌”的非互斥选择？ 传统的离散选择模型（如条件Logit）假设互斥，这在此场景下不适用。
如何捕捉品牌忠诚度的动态变化？ 消费者的品牌偏好不是固定的，而是受过去购买历史影响的。如何将这种“状态依赖”（state dependence）纳入模型？
如何对模型进行有效估计？ 模型复杂度高（两阶段、多元、动态），需要高效的贝叶斯MCMC算法。

当前主流方法与已知瓶颈：主流方法是两阶段模型（品类→品牌）或多元Probit模型。瓶颈在于：① 静态模型无法捕捉动态品牌转换；② 忽略品类决策会导致品牌选择模型的误设；③ 处理“同时品牌购买”时，模型维数高、似然函数复杂，估计困难。

⚠️ 作者的Framing¶

作者把缺口frame成什么：作者将缺口frame成“现有模型要么是静态的（无法捕捉品牌忠诚度动态），要么忽略了品类决策，要么假设品类与品牌决策独立”。因此，本文的“显然的下一步”是：在允许品类与品牌决策相关、允许同时品牌购买的基础上，引入品牌忠诚度的动态状态变量。作者通过模拟研究声称，忽略动态性会导致“严重偏差”（severe bias）。
哪些竞争路线被他淡化或回避了：作者淡化了纯机器学习方法（如随机森林、深度学习）在品牌选择预测上的潜力。这些方法可能不需要显式的两阶段结构，也能达到高预测精度，但作者没有与之比较。作者也回避了结构估计（structural estimation） 的讨论——本文的模型是简化形式（reduced-form）的，没有对消费者效用函数做更深入的结构性假设（如考虑价格弹性、广告效应等）。
什么明显该被引/该存在、却没出现在intro里？：① 动态离散选择模型（Dynamic Discrete Choice, DDC） 的经典文献（如Rust, 1987; Aguirregabiria & Mira, 2010）没有被引用。DDC模型是处理状态依赖和动态决策的标准框架，本文的品牌忠诚度动态本质上是一个简化版的DDC。② 潜在结果框架（Potential Outcome Framework） 在因果推断中的标准引用（如Rubin, 1974; Imbens & Rubin, 2015）没有被引用。虽然标题提到“Potential Outcome Approach”，但正文中并没有使用潜在结果框架的识别策略（如匹配、IV、DID），而是将其作为一个概念框架（“如果消费者选择了品牌A，其潜在效用是多少”）。这可能会让熟悉因果推断的读者感到困惑。③ 多元Probit模型的MCMC估计方法（如Chib & Greenberg, 1998）没有被引用，尽管本文的估计方法与其高度相关。

张力¶

未见明显对立引用。所有被引工作都在逐步放松假设、增加模型复杂度，方向一致。

二、最核心、最简单的例子 / 数学问题¶

第一步：把符号、模型、可观测数据交代清楚¶

符号：
- \( i = 1, \dots, N \)：消费者个体。
- \( t = 1, \dots, T_i \)：购物时间点（购物篮）。
- \( j = 1, \dots, J \)：品牌（在某个品类内，如咖啡品类下的“雀巢”、“麦斯威尔”等）。
- \( y_{it} \)：可观测的品类购买决策。\( y_{it} = 1 \) 表示消费者 \( i \) 在时间 \( t \) 购买了该品类（至少买了一个品牌）；\( y_{it} = 0 \) 表示没买。
- \( z_{itj} \)：可观测的品牌购买决策。\( z_{itj} = 1 \) 表示消费者 \( i \) 在时间 \( t \) 购买了品牌 \( j \)；\( z_{itj} = 0 \) 表示没买。注意：对于同一个 \( (i, t) \)，可以有多个 \( j \) 使得 \( z_{itj} = 1 \)（同时品牌购买）。
- \( x_{it} \)：可观测的品类层面协变量（如品类价格指数、促销活动）。
- \( w_{itj} \)：可观测的品牌层面协变量（如品牌 \( j \) 的价格、是否促销）。
- \( BL_{itj} \)：品牌忠诚度（Brand Loyalty），是一个潜变量（不可观测），代表消费者 \( i \) 在时间 \( t \) 对品牌 \( j \) 的累积偏好。它是动态的，由过去购买历史决定。
- \( u_{it}^{cat} \)：品类决策的潜效用（不可观测）。
- \( u_{itj}^{br} \)：品牌 \( j \) 的潜效用（不可观测）。
- \( \epsilon_{it}^{cat}, \epsilon_{itj}^{br} \)：误差项（随机扰动）。
模型：
- 品类决策：消费者 \( i \) 在时间 \( t \) 购买该品类（\( y_{it} = 1 \)）当且仅当品类潜效用 \( u_{it}^{cat} > 0 \)。潜效用模型为：
  \[u_{it}^{cat} = \alpha_0 + \alpha_1 x_{it} + \epsilon_{it}^{cat}\]
- 品牌决策：给定品类被购买（\( y_{it} = 1 \)），消费者 \( i \) 在时间 \( t \) 购买品牌 \( j \)（\( z_{itj} = 1 \)）当且仅当品牌潜效用 \( u_{itj}^{br} > 0 \)。潜效用模型为：
  \[u_{itj}^{br} = \beta_{0j} + \beta_1 w_{itj} + \beta_2 BL_{itj} + \epsilon_{itj}^{br}\]
- 品牌忠诚度动态：品牌忠诚度 \( BL_{itj} \) 是过去购买历史的指数加权平均：
  \[BL_{itj} = \lambda \cdot BL_{i,t-1,j} + (1-\lambda) \cdot z_{i,t-1,j}\]
  其中 \( \lambda \in [0,1] \) 是衰减参数（待估）。\( \lambda \) 越大，过去购买的影响衰减越慢（忠诚度更持久）。
- 误差项相关性：品类决策误差 \( \epsilon_{it}^{cat} \) 与品牌决策误差 \( \epsilon_{itj}^{br} \) 允许相关。具体地，假设 \( (\epsilon_{it}^{cat}, \epsilon_{it1}^{br}, \dots, \epsilon_{itJ}^{br}) \) 服从多元正态分布 \( N(0, \Sigma) \)，其中 \( \Sigma \) 的对角线元素为1（识别条件），非对角线元素 \( \rho_j = \text{Cov}(\epsilon_{it}^{cat}, \epsilon_{itj}^{br}) \) 待估。这允许“品类购买倾向高”的消费者对某些品牌也有“高购买倾向”。
可观测数据：
- 研究者能观测到：\( y_{it} \)（是否买品类）、\( z_{itj} \)（是否买品牌j）、\( x_{it} \)（品类协变量）、\( w_{itj} \)（品牌协变量）。这些是面板数据，每个消费者有多个时间点的观测。
- 研究者观测不到：潜效用 \( u_{it}^{cat}, u_{itj}^{br} \)、品牌忠诚度 \( BL_{itj} \)（它是潜变量，由模型和过去 \( z \) 递归定义）、误差项 \( \epsilon \)、模型参数 \( (\alpha, \beta, \lambda, \Sigma) \)。关键：品牌忠诚度 \( BL_{itj} \) 虽然由可观测的 \( z \) 递归定义，但它依赖于未知的 \( \lambda \)，因此本质上是一个需要与参数一起推断的潜变量。

第二步：讲最小内核¶

本文的最小内核是：在一个允许品类与品牌决策相关、允许同时品牌购买的两阶段模型中，引入一个一阶自回归（AR(1)）潜变量（品牌忠诚度）来捕捉状态依赖。

最简特例：假设只有 \( J=2 \) 个品牌（品牌A和品牌B），且 \( \lambda=0 \)（即品牌忠诚度完全由上一次购买决定，没有历史累积）。那么品牌忠诚度退化为：

\[BL_{itj} = z_{i,t-1,j}\]

即“上一次是否买了品牌j”。此时，品牌决策的潜效用模型变为：

\[u_{itj}^{br} = \beta_{0j} + \beta_1 w_{itj} + \beta_2 \cdot z_{i,t-1,j} + \epsilon_{itj}^{br}\]

这是一个动态Probit模型，其中“上一次购买”作为解释变量进入当前效用。核心思路是：过去的选择（\( z_{i,t-1,j} \)）通过影响当前效用（\( u_{itj}^{br} \)）来影响当前选择（\( z_{itj} \)），从而产生品牌转换的惯性。

在这个特例下，要估计的参数是 \( (\alpha, \beta, \Sigma) \)。品类决策和品牌决策通过 \( \Sigma \) 中的协方差 \( \rho_j \) 相关。估计方法是用贝叶斯MCMC，对潜效用 \( u \) 进行数据增广（data augmentation），然后对参数进行Gibbs采样。这个特例已经包含了本文的核心困难：如何处理动态潜变量（\( z_{i,t-1,j} \)）与多元Probit模型（允许同时品牌购买）的结合。本文的一般情形只是将 \( \lambda=0 \) 推广到 \( \lambda \in [0,1] \)，并允许品牌忠诚度有更平滑的衰减。

三、这篇论文做了什么¶

三句话¶

研究了什么问题：提出了一个动态两阶段模型，用于同时分析扫描面板数据中的品类购买决策和品牌选择决策，并允许消费者在一次购物中购买多个品牌。
核心工具/方法：采用贝叶斯MCMC进行模型估计，通过数据增广（对潜效用进行采样）和Gibbs采样（对参数进行条件后验采样）来处理高维潜变量和复杂的误差结构。
主要结论：模拟研究表明，忽略品牌忠诚度动态的现有模型（如静态两阶段模型）在预测未来品牌选择时会产生严重偏差；在真实市场营销数据中，本文方法能检验现有方法无法处理的品牌转换行为，且预测准确性更高。

关键设定与假设¶

在第二节最小记号的基础上，补全完整设定：

设定：
- 品类决策：\( y_{it} = 1 \) 当且仅当 \( u_{it}^{cat} > 0 \)。\( u_{it}^{cat} = \alpha_0 + \alpha_1 x_{it} + \epsilon_{it}^{cat} \)。
- 品牌决策：给定 \( y_{it} = 1 \)，\( z_{itj} = 1 \) 当且仅当 \( u_{itj}^{br} > 0 \)。\( u_{itj}^{br} = \beta_{0j} + \beta_1 w_{itj} + \beta_2 BL_{itj} + \epsilon_{itj}^{br} \)。
- 品牌忠诚度动态：\( BL_{itj} = \lambda \cdot BL_{i,t-1,j} + (1-\lambda) \cdot z_{i,t-1,j} \)，初始值 \( BL_{i0j} = 0 \)。
- 误差结构：\( (\epsilon_{it}^{cat}, \epsilon_{it1}^{br}, \dots, \epsilon_{itJ}^{br}) \sim N(0, \Sigma) \)，其中 \( \Sigma \) 的对角线为1，非对角线元素 \( \rho_j = \text{Cov}(\epsilon_{it}^{cat}, \epsilon_{itj}^{br}) \) 待估。品牌间误差 \( \text{Cov}(\epsilon_{itj}^{br}, \epsilon_{itk}^{br}) \) 设为0（条件独立给定品类决策）。
假设：
- SUTVA-like：消费者的购买决策只受自身过去历史和当前协变量影响，不受其他消费者影响（面板数据的标准假设）。
- 条件独立性：给定品类决策（\( y_{it}=1 \)）和品牌忠诚度（\( BL_{itj} \)），不同品牌的购买决策（\( z_{itj} \)）在给定潜效用后是条件独立的（由误差项 \( \epsilon_{itj}^{br} \) 的独立性保证）。这是一个很强的假设，意味着品牌间的相关性完全由品类决策和品牌忠诚度捕捉。
- 品牌忠诚度动态的线性形式：假设品牌忠诚度是过去购买的指数加权平均，且衰减参数 \( \lambda \) 对所有消费者和所有品牌相同。这是一个简化假设，可能不现实（不同消费者、不同品牌的忠诚度衰减速度可能不同）。
- 协变量的外生性：协变量 \( x_{it}, w_{itj} \) 是外生的，不受过去购买决策影响。这在扫描面板数据中可能不成立（如促销活动可能由过去销量决定）。
- 相比已有文献的放宽/强化：相比Russell & Petersen (2000)（无品类决策），本文放宽了模型结构，加入了品类决策层。相比Miyazaki et al. (2021)（静态），本文放宽了静态假设，引入了动态品牌忠诚度。相比Chintagunta (1993)（独立误差），本文放宽了误差独立性假设，允许品类与品牌决策相关。

主要结果¶

本文是应用/方法型论文，主要结果来自模拟研究和真实数据应用。

模拟研究：
- 设定：生成数据时使用本文提出的动态两阶段模型（真实模型）。然后分别用本文模型和三个竞争模型（① 静态两阶段模型（Miyazaki et al., 2021）；② 忽略品类决策的多元Probit模型（Russell & Petersen, 2000）；③ 独立误差的两阶段模型（Chintagunta, 1993））进行估计和预测。
- 核心量化结论：在预测未来品牌选择（\( z_{itj} \)）时，静态两阶段模型（竞争模型①）的预测偏差最大，其预测的品牌选择概率与真实值有系统性偏离。具体地，静态模型高估了品牌转换的概率（即低估了品牌忠诚度），因为它无法捕捉消费者重复购买同一品牌的惯性。本文模型的预测偏差最小。
- 与baseline对比：本文模型的预测准确性（以均方根误差RMSE衡量）在所有模拟设定下都显著低于（即优于）三个竞争模型。例如，在某个典型设定下，本文模型的RMSE为0.12，而静态两阶段模型的RMSE为0.25。
- 稳健性：作者还测试了不同样本量、不同品牌数量、不同 \( \lambda \) 值下的表现，结论一致。
真实例子与应用：
- 用的什么数据/场景：使用IRI Academic Dataset中的咖啡品类扫描面板数据。该数据集包含约2500个家庭在2001-2006年间的购物记录。咖啡品类有多个品牌（如Folgers, Maxwell House, Starbucks等）。
- 怎么把本文方法用上去：将本文的动态两阶段模型应用于该数据，估计参数，并预测每个家庭在每次购物中购买每个品牌的概率。
- 得到什么结果：
  1. 品牌忠诚度参数 \( \lambda \) 的估计：\( \lambda \) 的估计值约为0.7，表明品牌忠诚度有较强的持续性（过去购买的影响衰减较慢）。
  2. 品牌转换行为分析：本文模型能识别出非对称的品牌转换模式。例如，从品牌A转换到品牌B的概率，与从品牌B转换到品牌A的概率不同。静态模型无法捕捉这种非对称性，因为它假设品牌转换只由当前协变量决定，与过去无关。
  3. 预测准确性：在留一法（hold-out sample）预测中，本文模型的对数似然（log-likelihood） 和AUC均高于三个竞争模型，表明其样本外预测能力更强。
- 这个例子想说明什么：① 验证了模拟研究的结论——动态模型在真实数据中确实优于静态模型。② 展示了本文模型能提供静态模型无法提供的新洞察（非对称品牌转换），这对市场营销策略（如针对性促销）有实际意义。

🔎 结论是否比证明窄¶

是。本文的结论“现有模型会导致严重偏差”是基于模拟研究的，且模拟设定是作者自己生成的（真实模型就是本文模型）。这只能证明“在本文模型为真的情况下，现有模型有偏差”，而不能证明“在真实世界中，现有模型一定有偏差”。作者在真实数据应用中展示了本文模型预测更优，但这只是相关性证据，不是因果证据。
作者在introduction中声称：“the proposed method can examine brand switching behaviors that existing methods cannot.” 这个结论在真实数据例子中得到了支持（非对称品牌转换），但没有严格的统计检验来证明这种非对称性是统计显著的，还是只是点估计的差异。
作者在abstract中声称：“the prediction accuracy of the proposed method is higher than that of existing methods.” 这个结论在模拟和真实数据中都得到了支持，但没有给出置信区间或假设检验来量化这种“更高”的统计显著性。它只是一个点估计的比较。

四、开放问题¶

放松品牌忠诚度动态的线性假设：本文假设品牌忠诚度是指数加权平均（线性形式）。是否可以引入非线性动态（如阈值效应、状态转换）？这需要更复杂的MCMC算法。扎根于本文对 \( BL_{itj} \) 的定义（公式(3)）。
放松品牌间误差的条件独立性假设：本文假设给定品类决策后，品牌间误差独立。是否可以允许品牌间误差相关（即 \( \text{Cov}(\epsilon_{itj}^{br}, \epsilon_{itk}^{br}) \neq 0 \)）？这会增加模型复杂度，但可能更符合现实（如两个品牌有相似的包装或口味）。扎根于本文对 \( \Sigma \) 的设定（品牌间协方差为0）。
处理协变量的内生性：本文假设协变量（如价格、促销）是外生的。但在现实中，促销活动可能由过去销量决定（即存在反向因果）。如何用工具变量或动态面板数据方法处理这种内生性？扎根于本文对外生性假设的陈述（未明确讨论）。
从预测转向因果推断：本文的“潜在结果”用法是概念性的。能否将本文模型与因果推断（如处理效应估计）结合？例如，估计一个促销活动对品牌转换的因果效应，而不仅仅是预测品牌转换的概率。这需要引入识别策略（如DID、IV），并可能涉及半参数效率理论。扎根于本文标题中的“Potential Outcome Approach”与实际内容的差距。

Maintained by 陈星宇 · Homepage · Source on GitHub