Platform Design When Sellers Use Pricing Algorithms

作者: Justin P. Johnson, Andrew Rhodes, Matthijs Wildenbeest
来源: Econometrica
主题: 经济理论 / 应用
相关性: 2/10
机构绿灯: Cornell University（US News 前 50，免分进入精读）
链接: https://doi.org/10.3982/ecta19978

---

一、领域脉络与小综述

这个方向是什么

本文研究的根本问题是：一个数字平台（如亚马逊、Uber、Airbnb）能否通过设计其市场规则（而非直接定价）来促进卖家之间的竞争，从而降低价格、提高消费者剩余和平台自身利润？ 核心挑战在于，卖家越来越多地使用人工智能定价算法（如 Q-learning），这些算法可能通过“算法共谋”（algorithmic collusion）达成默契合谋，即使没有人类之间的沟通。因此，平台设计需要对抗的不是人类合谋，而是算法自动学习出的合谋均衡。这个子方向当前处于理论模型与计算模拟交叉的活跃期，但缺乏统一的理论框架来刻画“平台规则 → 算法学习动态 → 市场均衡”这一完整链条。

发展脉络（history）

本文的引言和参考文献串起了一条清晰的线索：

1. 奠基工作：算法共谋的发现。Calvano et al. (2020, Econometrica) 是本文最核心的引用。他们首次通过模拟实验证明，Q-learning 算法可以在重复博弈中自发学会合谋（通过轮换需求、分割利润），即使没有显式通信。这打开了“算法共谋”这一研究领域。本文作者引用 Calvano et al. 时指出：“他们展示了算法可以学会合谋，但未考虑平台能否通过设计规则来阻止它。”——这直接构成了本文的出发点。

2. 主要进展：平台设计作为反制手段。Johnson, Rhodes, and Wildenbeest (2023, 即本文) 是第一个系统性地研究“平台需求引导规则”（demand-steering rules）能否破坏算法共谋的工作。他们区分了两种规则：

   • 中性规则：对所有卖家一视同仁，仅基于当前价格分配需求。
   • 非中性规则：基于历史行为（如过去几期的降价行为）差异化对待卖家。 理论部分证明，即使卖家无限耐心且试图合谋，某些规则也能产生促进竞争的效果。模拟部分则发现，非中性规则更有效。

3. 当前 frontier：更复杂的算法与更现实的平台设计。本文的参考文献还指向了更近期的研究，例如：

   • Banchio and Skrzypacz (2022)：研究算法如何学习“惩罚策略”来维持合谋。
   • Brown and MacKay (2023)：实证研究平台推荐算法对价格竞争的影响。
   • Hunold et al. (2021)：研究平台“最惠国待遇”条款对算法定价的影响。 这些工作表明，领域正在从“证明算法能合谋”转向“设计规则来对抗算法合谋”，而本文是这一转向中的关键一步。

子线索聚类

这些被引文献大致落在两条子线索上：

• 线索一：算法共谋的模拟与理论。以 Calvano et al. (2020) 为代表，主要用 Q-learning 等强化学习算法模拟重复博弈，证明合谋是算法学习的自然结果。核心问题是：什么条件下算法会合谋？合谋的稳定性如何？
• 线索二：平台设计对竞争的影响。以本文为代表，研究平台规则（如需求引导、推荐算法、佣金结构）如何影响卖家定价行为。核心问题是：平台能否通过规则设计来促进竞争？规则需要多复杂？

这个方向在追问的核心问题

1. 识别问题：平台规则（需求引导）对价格的影响能否被因果识别？在真实平台数据中，规则是内生的（平台根据市场表现调整规则），如何分离规则的效果？
2. 估计问题：如何估计一个反事实的“无规则”市场均衡价格？这需要模拟或结构模型。
3. 效率问题：最优平台规则是什么？它是否唯一？是否存在“规则设计”与“卖家算法”之间的博弈均衡？
4. 计算问题：Q-learning 等算法的收敛性、对超参数的敏感性如何影响结论？模拟结果能否推广到其他算法（如深度强化学习）？

当前主流方法与已知瓶颈：主流方法是模拟（用 Q-learning 模拟卖家行为）+ 理论模型（用博弈论刻画均衡）。瓶颈在于：模拟结果对算法参数（学习率、探索率）敏感；理论模型通常假设卖家是理性的（而非算法驱动的），难以刻画算法学习的动态过程。

⚠️ 作者的 framing

作者将缺口 frame 成：“已有工作（Calvano et al. 2020）证明了算法能合谋，但没有研究平台能否通过设计规则来阻止它。” 因此，本文成为“显然的下一步”：它首次系统性地研究需求引导规则对算法共谋的影响。

被淡化或回避的竞争路线： - 实证研究：作者完全回避了用真实平台数据做因果推断的可能性。他们只做理论和模拟，可能是因为真实平台数据难以获取（平台不公开规则细节），或者因为内生性问题太严重。这暗示了“用真实数据验证”是一个开放问题。 - 其他类型的平台规则：作者只聚焦于“需求引导规则”，但平台还有其他工具（如佣金结构、搜索排名算法、推荐系统）。作者在引言中未讨论这些替代工具，可能因为它们更复杂或更难建模。

什么明显该被引 / 该存在、却没出现在 intro 里？ - 关于“算法合谋”的实证研究：例如，有没有论文用真实电商数据检测到算法合谋？如果有，应该被引用来强化动机。如果没有，这是一个值得研究者去查的问题。 - 关于“平台设计”的因果推断文献：例如，Horton (2019, AER) 用实验研究平台搜索排名对劳动市场的影响。这类工作应该被引用，以连接“模拟”与“实证”两条路线。它们的缺席暗示了本文更偏向理论/模拟，而非实证。

张力

未见明显对立引用。所有被引工作基本一致地认为“算法能合谋”且“平台设计可能有用”，只是具体机制和结论不同。

二、最核心、最简单的例子 / 数学问题

第一步：把符号、模型、可观测数据交代清楚

• 符号：

  • \( N \)：卖家数量（寡头市场，通常 \( N=2 \) 或 \( N=3 \)）。
  • \( t = 1, 2, \dots, T \)：离散时间期数（模拟中 \( T \) 很大，如 \( 10^6 \)）。
  • \( p_{i,t} \in [0, \infty) \)：卖家 \( i \) 在时期 \( t \) 设定的价格。
  • \( \mathbf{p}_t = (p_{1,t}, \dots, p_{N,t}) \)：所有卖家在时期 \( t \) 的价格向量。
  • \( q_{i,t} \)：卖家 \( i \) 在时期 \( t \) 的需求量（销售量）。
  • \( \pi_{i,t} = (p_{i,t} - c) q_{i,t} \)：卖家 \( i \) 在时期 \( t \) 的利润，其中 \( c \) 是边际成本（假设为常数，且对所有卖家相同）。
  • \( D_i(\mathbf{p}_t) \)：需求函数，将价格向量映射到卖家 \( i \) 的需求。这是平台设计的核心：平台可以通过“需求引导规则”来修改这个函数。
  • \( R \)：平台的需求引导规则。它是一个函数，将历史价格和需求信息映射到当前期的需求分配。例如，\( R \) 可以规定：降价最多的卖家获得额外 \( x\% \) 的曝光量。
  • \( \beta \)：卖家的贴现因子（耐心程度）。\( \beta \to 1 \) 表示无限耐心，更容易合谋。
  • \( \alpha \)：Q-learning 算法的学习率。
  • \( \epsilon \)：Q-learning 算法的探索率（以概率 \( \epsilon \) 随机选择价格，而非贪婪地选择最优价格）。

• 模型：

  • 市场：一个重复的寡头定价博弈。每个时期，卖家同时选择价格，平台根据规则 \( R \) 分配需求，卖家获得利润。
  • 卖家行为：卖家使用 Q-learning 算法来学习定价策略。每个卖家维护一个 Q-table，记录每个价格（状态-动作对）的预期未来总利润。在每个时期，卖家以概率 \( 1-\epsilon \) 选择当前 Q 值最高的价格（贪婪），以概率 \( \epsilon \) 随机选择价格（探索）。然后，根据实际获得的利润更新 Q 值。
  • 平台行为：平台选择需求引导规则 \( R \)，目标是最大化消费者剩余和/或自身利润（例如，通过佣金或广告收入）。平台是 Stackelberg 领导者：它先承诺规则，卖家再据此学习。
  • 需求函数：一个典型的设定是 logit 需求模型：\( q_{i,t} = \frac{\exp(a - b p_{i,t})}{1 + \sum_{j=1}^N \exp(a - b p_{j,t})} \)，其中 \( a, b > 0 \) 是参数。平台规则 \( R \) 可以修改这个函数，例如给降价卖家一个乘数 \( m > 1 \)：\( q_{i,t} = \frac{m \cdot \exp(a - b p_{i,t})}{1 + \sum_{j=1}^N m \cdot \exp(a - b p_{j,t})} \)。

• 可观测数据：

  • 在模拟中：研究者可以观测到所有变量：每个时期的价格向量 \( \mathbf{p}_t \)、需求 \( q_{i,t} \)、利润 \( \pi_{i,t} \)、Q-table 的更新过程、算法的探索/贪婪选择。这是完全可控的。
  • 在真实平台中：研究者通常只能观测到聚合数据：每个时期的价格、销量、平台规则（如果平台公开）。不可观测的是：卖家的内部算法（Q-table、学习率、探索率）、卖家的成本结构、卖家的合谋意图。因此，从真实数据中识别“规则对价格的影响”是一个因果推断问题，需要处理未观测混杂。

第二步：讲最小内核

本文的最小内核可以浓缩为以下问题：

在一个双卖家 (\( N=2 \))、重复定价博弈中，如果卖家使用 Q-learning 算法，平台能否通过一个简单的“奖励降价者”规则来阻止算法学会合谋，从而将价格压低至接近边际成本？

最简特例： - 设定：\( N=2 \)，边际成本 \( c=0 \)，价格离散化为两个水平：低价 \( p_L \) 和高价 \( p_H \)（例如，\( p_L=0.1, p_H=1.0 \)）。需求函数为：如果两个卖家都定高价，各得 0.5 单位需求；如果一个定高价、一个定低价，低价者得 0.9 单位，高价者得 0.1 单位；如果都定低价，各得 0.5 单位。这是经典的“囚徒困境”支付结构。 - 无平台规则时：Calvano et al. (2020) 的模拟表明，Q-learning 算法可以学会“轮换合谋”：两个卖家轮流定高价，另一个定低价，从而平分垄断利润。例如，奇数期卖家 1 定高价、卖家 2 定低价；偶数期反过来。这样，平均价格高于边际成本，消费者剩余受损。 - 平台规则 \( R \)：平台引入一个“需求引导规则”：如果卖家 \( i \) 在时期 \( t \) 的价格低于卖家 \( j \)，则卖家 \( i \) 在时期 \( t \) 获得额外 \( \delta \) 单位的需求（例如，\( \delta=0.2 \)）。这相当于给降价者一个“曝光奖励”。 - 核心思路：这个规则改变了 Q-learning 算法的学习环境。在无规则时，轮换合谋是稳定的，因为每个卖家在“高价期”的损失被“低价期”的收益补偿。但有了规则后，降价者的收益被放大，而高价者的损失被放大。这使得轮换合谋变得不稳定：卖家会发现，与其轮流定高价，不如总是定低价来获得持续的奖励。Q-learning 算法会逐渐收敛到“都定低价”的均衡，即竞争性均衡。 - 为什么成立：关键在于规则破坏了合谋的“惩罚机制”。在无规则时，如果一个卖家偏离合谋（在应该定高价的时期定了低价），另一个卖家可以在下一期通过也定低价来惩罚它。但有了规则后，惩罚变得无效，因为降价者反而被奖励。因此，合谋无法维持。

这个最小内核揭示了本文的核心贡献：平台规则可以改变算法的学习动态，从而将市场从“合谋均衡”推向“竞争均衡”。一般情形（更多卖家、连续价格、更复杂的 Q-learning 设定）只是这个特例的推广和稳健性检验。

三、这篇论文做了什么

三句话

1. 研究了什么问题：本文研究一个数字平台如何通过设计“需求引导规则”（demand-steering rules）来促进卖家竞争、提高消费者剩余和平台自身利润，尤其是在卖家使用人工智能定价算法（Q-learning）的情况下。
2. 核心工具 / 方法：理论部分使用博弈论模型（无限重复博弈、子博弈完美均衡）刻画规则的效果；模拟部分使用 Q-learning 算法模拟卖家行为，并比较不同规则下的价格、利润和消费者剩余。
3. 主要结论：理论证明，即使卖家无限耐心并试图合谋，某些需求引导规则（尤其是基于历史行为的非中性规则）也能产生显著的促进竞争效果；模拟表明，这些规则能有效破坏算法轮换需求、分割行业利润的能力，从而压低价格。

关键设定与假设

在第二节最小记号的基础上，本文的完整设定如下：

• 市场结构：\( N \) 个卖家销售同质产品，边际成本 \( c \) 相同。平台是垄断的（卖家只能通过该平台销售）。
• 需求函数：使用 logit 模型：\( q_{i,t} = \frac{\exp(a - b p_{i,t})}{\sum_{j=1}^N \exp(a - b p_{j,t})} \)。参数 \( a, b \) 控制需求的价格敏感度和市场规模。
• 平台规则：需求引导规则 \( R \) 是一个函数，将历史价格向量 \( \mathbf{p}_{1:t-1} \) 映射到当前期的需求分配。本文考虑了两种规则：
  • 中性规则：\( q_{i,t} = \frac{\exp(a - b p_{i,t} + \gamma \cdot \mathbb{I}(p_{i,t} < \bar{p}_{t-1}))}{\sum_{j=1}^N \exp(a - b p_{j,t} + \gamma \cdot \mathbb{I}(p_{j,t} < \bar{p}_{t-1}))} \)，其中 \( \bar{p}_{t-1} \) 是上一期的平均价格，\( \gamma > 0 \) 是奖励强度，\( \mathbb{I}(\cdot) \) 是指示函数。这个规则奖励那些当前价格低于上一期平均价格的卖家。
  • 非中性规则：\( q_{i,t} = \frac{\exp(a - b p_{i,t} + \gamma \cdot \mathbb{I}(p_{i,t} < p_{i,t-1}))}{\sum_{j=1}^N \exp(a - b p_{j,t} + \gamma \cdot \mathbb{I}(p_{j,t} < p_{j,t-1}))} \)。这个规则奖励那些当前价格低于自己上一期价格的卖家（即降价者）。这是非中性的，因为它基于卖家的个体历史。
• 卖家行为：卖家使用 Q-learning 算法。每个卖家维护一个 Q-table \( Q_i(p) \)，表示选择价格 \( p \) 的预期未来总利润。更新规则为：
  \[Q_i(p_{i,t}) \leftarrow (1-\alpha) Q_i(p_{i,t}) + \alpha \left( \pi_{i,t} + \beta \max_{p'} Q_i(p') \right)\]
  其中 \( \alpha \) 是学习率，\( \beta \) 是贴现因子。卖家以概率 \( 1-\epsilon \) 选择 \( \arg\max_p Q_i(p) \)，以概率 \( \epsilon \) 随机选择。
• 假设：
  • 卖家对称：所有卖家有相同的成本、需求函数和 Q-learning 参数。
  • 平台承诺：平台在博弈开始前承诺规则 \( R \)，且不会在过程中改变。
  • 信息结构：卖家可以观测到所有历史价格和需求（完全信息），但不知道其他卖家的 Q-table 或算法参数。
  • 相比已有文献：本文的设定比 Calvano et al. (2020) 多了一个“平台规则”维度，但简化了需求函数（logit vs. 更一般的函数）和算法（Q-learning vs. 更复杂的深度强化学习）。

主要结果

本文的主要结果分为理论部分和模拟部分。

• 理论结果：

  • 命题 1：在无限重复博弈中，如果平台使用一个“足够强”的中性规则（\( \gamma \) 足够大），那么“所有卖家都定边际成本价格”是一个子博弈完美均衡。直觉：规则使得降价成为占优策略，因为任何偏离（定高价）都会导致需求大幅下降。
  • 命题 2：即使卖家无限耐心（\( \beta \to 1 \)），某些非中性规则也能破坏合谋均衡。关键：非中性规则使得“轮换合谋”不可行，因为一个卖家在“高价期”的损失无法被未来的“低价期”收益补偿（因为规则只奖励降价，而非绝对低价）。
  • 技术难点：理论部分的主要难点在于刻画 Q-learning 算法的收敛性。作者绕过了这个难点，转而使用博弈论均衡的概念（子博弈完美均衡），假设卖家是理性的（而非算法驱动的）。这实际上是一个近似：他们假设 Q-learning 算法最终会收敛到某个均衡，然后证明在这个均衡下，规则能促进竞争。

• 模拟结果：

  • 核心量化结论：在无规则时，Q-learning 算法学会合谋，平均价格约为垄断价格的 80-90%。引入中性规则后，平均价格下降 20-30%。引入非中性规则后，平均价格下降 40-50%，接近边际成本。
  • 与 baseline 对比：baseline 是无规则情况（Calvano et al. 2020 的设定）。本文的规则显著优于 baseline。
  • 稳健性：作者测试了不同的 Q-learning 参数（学习率、探索率、贴现因子）、卖家数量（\( N=2,3,4 \)）、需求函数参数，结论基本稳健。非中性规则在所有设定下都优于中性规则。

证明路线与技术技巧（理论型必写，要具体）

• 整体路线：

  1. 定义博弈：将平台规则 \( R \) 嵌入到重复博弈的支付函数中。
  2. 刻画均衡：使用“单期偏离原则”（one-shot deviation principle）来刻画子博弈完美均衡。即，检查是否存在一个卖家可以通过单期偏离来获利。
  3. 构造规则：设计规则 \( R \) 使得“所有卖家都定边际成本”是一个均衡。这需要确保：如果其他卖家都定边际成本，那么任何一个卖家单方面定高价都会导致利润下降（因为规则惩罚高价者）。
  4. 破坏合谋：证明在非中性规则下，任何合谋策略（如轮换合谋）都不是均衡。这需要证明：在合谋策略下，总有一个卖家有动机单方面偏离（例如，在应该定高价的时期定低价，以获得规则奖励）。

• 关键跳跃点：

  • 从“理性卖家”到“算法卖家”：理论部分假设卖家是理性的（能计算均衡），但模拟部分使用 Q-learning 算法。作者没有证明 Q-learning 算法一定会收敛到理论预测的均衡。这是一个跳跃。他们只是通过模拟来验证“在大多数情况下，算法确实收敛到了竞争性均衡”。
  • 规则强度的阈值：理论部分要求规则强度 \( \gamma \) 足够大，但未给出一个显式的下界。模拟部分则通过网格搜索找到了一个有效的 \( \gamma \) 范围。

• 技术技巧点名：

  • 博弈论：子博弈完美均衡、单期偏离原则。用于理论分析。
  • Q-learning：用于模拟卖家行为。这是计算机科学的标准工具，但在经济学中相对较新。
  • 模拟：蒙特卡洛模拟、参数扫描。用于评估规则在不同设定下的效果。

真实例子与应用

本文没有使用真实数据。它是一个纯理论+模拟论文。模拟中使用的参数（如需求函数参数、Q-learning 参数）是基于已有文献的校准值，而非真实平台数据。

🔎 结论是否比证明窄

是的。本文的结论在几个方面比证明窄： 1. 理论结论的适用范围：理论部分证明的是“存在一个规则使得竞争均衡是子博弈完美均衡”，但没有证明这个均衡是唯一的，也没有证明 Q-learning 算法一定会收敛到它。作者在文中承认：“Our theoretical results indicate that these policies can have strongly beneficial effects”（强调“can”），而非“will”。 2. 模拟结论的泛化性：模拟只使用了 Q-learning 算法。作者在结论部分提到：“Future work could examine whether our results hold for other types of AI algorithms, such as deep reinforcement learning.” 这暗示了当前结论可能不适用于更复杂的算法。 3. 规则的信息需求：理论部分假设规则只需要“少量信息”（当前价格和上一期平均价格），但模拟中使用的非中性规则需要知道每个卖家的历史价格。这在真实平台中可能难以实现（隐私问题、数据收集成本）。

四、开放问题（点到为止，扎根具体语句）

1. 因果识别问题：在真实平台数据中，如何因果识别需求引导规则对价格的影响？本文只做了模拟，但真实数据存在内生性（平台规则与市场状态相关）。扎根于：本文没有讨论任何实证策略或识别假设。
2. 算法泛化性：本文的结论是否适用于其他类型的定价算法（如深度强化学习、策略梯度算法）？扎根于：结论部分“Future work could examine whether our results hold for other types of AI algorithms”。
3. 最优规则设计：是否存在一个“最优”的需求引导规则？本文只比较了中性规则和非中性规则，但未探索规则空间的全貌。扎根于：本文没有给出规则设计的优化框架。
4. 多平台竞争：如果卖家同时在多个平台销售，本文的结论是否成立？扎根于：本文假设平台是垄断的，未考虑平台间竞争。

---

Maintained by 陈星宇 · Homepage · Source on GitHub

评论