Mixed Strategies in the Indefinitely Repeated Prisoner's Dilemma¶

作者: Julian Romero, Yaroslav Rosokha
来源: Econometrica
主题: 经济理论 / 应用
相关性: 3/10
机构绿灯: Purdue University（US News 前 50，免分进入精读）
链接: https://doi.org/10.3982/ecta17482

一、领域脉络与小综述¶

这个方向是什么¶

这个子方向是实验经济学中识别无限重复囚徒困境（Indefinitely Repeated Prisoner's Dilemma, IRPD）中人类被试的策略。根本问题是：在重复博弈中，研究者只能观察到被试的选择（每轮合作或背叛），而无法直接观测到被试使用的策略（一个从历史到当前选择的映射）。因此，从行为数据中推断策略是一个逆问题——需要从有限、有噪声的观测中恢复一个高维的决策规则。当前成熟度：这是一个活跃且有争议的领域，核心争论点在于被试是否使用混合策略（即随机化其选择），以及如何可靠地估计策略的分布。

发展脉络（history）¶

奠基工作：Dal Bó & Fréchette (2011) 是实验IRPD的经典起点，他们系统研究了合作率如何随博弈参数（如继续概率、收益）变化，但未直接识别策略。Fudenberg, Rand & Dreber (2012) 引入了“策略估计”方法——通过最大似然估计将行为数据拟合到一组预定义的纯策略（如Tit-for-Tat, Grim Trigger, Always Defect）的混合模型。他们发现被试的行为可以用少数纯策略的混合来解释，但无法区分“混合策略”（被试随机化）与“纯策略的异质性”（不同被试使用不同纯策略）。
主要进展：Bó, Fréchette & Yuksel (2019) 扩展了策略集，并引入了更复杂的估计方法（如贝叶斯方法），但依然面临识别问题。Romero & Rosokha (2018) 是本文的前身，他们首次尝试通过实验设计直接引出策略，但样本量较小。Bayer, Renou & Sutan (2020) 和 Bó, Fréchette & Yuksel (2021) 进一步探讨了策略的演化，但争论焦点集中在：混合策略是否真实存在，还是只是模型误设的产物？
当前frontier：本文直接切入这个争论。作者认为，现有方法（如混合模型估计）无法区分“被试真的在随机化”与“被试使用纯策略但研究者估计错了”。他们通过一个策略引出（strategy elicitation） 实验设计，让被试直接提交其完整策略（一个从历史到选择的映射），从而绕过了这个识别问题。
本文的位置：本文是第一个提供混合策略直接经验证据的实验。它不依赖于从行为数据中推断，而是直接测量策略。然后，它利用这些“真实”策略来评估常用的混合模型估计程序的表现，为方法论提供了经验基础。

子线索聚类¶

策略估计（Strategy Estimation）：从行为数据中推断策略分布。代表：Fudenberg, Rand & Dreber (2012), Bó, Fréchette & Yuksel (2019)。核心挑战：识别问题——无法区分混合策略与纯策略异质性。
策略引出（Strategy Elicitation）：通过实验设计直接让被试报告其策略。代表：Romero & Rosokha (2018, 本文)。核心优势：直接观测策略，避免识别问题。核心挑战：引出机制本身可能改变被试行为（如诱导其使用更简单的策略）。
博弈论中的混合策略理论：理论预测混合策略在重复博弈中可能是均衡的一部分（如“公共随机化”）。但实验证据一直模糊。本文为这一理论提供了实证基础。

这个方向在追问的核心问题¶

人类被试在IRPD中是否真的使用混合策略？ 如果是，其程度如何？随时间如何演化？
常用的混合模型估计程序（如最大似然估计）在恢复真实策略分布上表现如何？ 它们是否可靠？偏差来源是什么？
策略的分布是否收敛到某些焦点纯策略？ 如果是，哪些策略？收敛速度如何？

⚠️ 作者的 framing¶

作者的说法：作者将缺口frame为“现有方法无法区分混合策略与纯策略异质性”，因此需要直接引出策略。他们声称本文是“第一个提供混合策略直接证据”的研究，并利用这些证据来“为混合模型估计提供经验基础”。
被淡化/回避的竞争路线：作者淡化了策略引出方法本身可能引入的偏差。例如，要求被试提交完整策略可能迫使他们使用比自然状态下更简单、更少混合的策略。作者在文中讨论了这一点（如“策略引出可能诱导被试使用更简单的策略”），但并未提供强有力的证据来排除这种可能性。
什么明显该被引/该存在、却没出现在intro里？ 作者没有引用计算经济学中关于“策略复杂性”的文献（如使用自动机或有限状态机来表示策略）。这些文献可能为策略的“混合程度”提供更精细的度量。此外，关于“信念学习”或“经验加权吸引力（EWA）”的文献（如Camerer & Ho, 1999）可能为策略的演化提供替代解释，但未被引用。

张力¶

未见明显对立引用。所有被引工作都承认识别问题的存在，只是解决方式不同。本文是第一个直接解决该问题的实验。

二、最核心、最简单的例子 / 数学问题¶

第一步：把符号、模型、可观测数据交代清楚¶

符号：
\( G \)：无限重复囚徒困境博弈。每轮，两个玩家同时选择合作（C）或背叛（D）。
\( \pi \)：继续概率（continuation probability），即博弈在下一轮继续的概率。\( \delta = \pi \) 是折现因子。
\( a_t \in \{C, D\} \)：玩家在时间 \( t \) 的选择。
\( h_t = (a_1, a_2, ..., a_{t-1}) \)：到时间 \( t \) 为止的历史（对手的选择序列）。
\( s: \mathcal{H} \to [0,1] \)：一个策略，是从所有可能历史 \( \mathcal{H} \) 到合作概率 \( s(h) \) 的映射。纯策略：\( s(h) \in \{0,1\} \)；混合策略：\( s(h) \in (0,1) \)。
\( \Theta \)：策略空间，即所有可能的 \( s \) 的集合。在实验中，这个空间被限制为有限记忆策略（如只考虑最近 \( k \) 轮的历史）。
\( \theta_i \)：被试 \( i \) 使用的真实策略。
\( \hat{\theta}_i \)：从行为数据中估计出的策略。
\( \mathcal{D} = \{a_{i,t}\}_{i=1,...,N; t=1,...,T_i} \)：可观测数据，即所有被试在所有轮次的选择。
\( \mathcal{S} = \{s_i\}_{i=1,...,N} \)：通过策略引出实验直接观测到的策略（本文的核心创新）。
模型：
数据生成机制：每个被试 \( i \) 使用一个固定的策略 \( s_i \)。在每一轮 \( t \)，给定历史 \( h_{i,t} \)，被试以概率 \( s_i(h_{i,t}) \) 选择合作，以概率 \( 1 - s_i(h_{i,t}) \) 选择背叛。对手的选择由对手的策略决定（对手的策略也是固定的，但未知）。
统计模型：这是一个隐变量模型。可观测的是选择序列 \( \{a_{i,t}\} \)，隐变量是策略 \( s_i \)。目标是从 \( \{a_{i,t}\} \) 中推断 \( s_i \) 的分布。
已知/未知：博弈参数（收益矩阵、继续概率 \( \pi \)）是已知的（由实验者设定）。策略空间 \( \Theta \) 是已知的（由实验者定义）。策略 \( s_i \) 是未知的、要估计的对象。
可观测数据：
研究者实际能观测到的是什么：每个被试 \( i \) 在每一轮 \( t \) 的选择 \( a_{i,t} \in \{C, D\} \)。以及对手的选择（因为博弈是同时的，但实验记录了对局历史）。
想要但观测不到的是什么：被试使用的策略 \( s_i \)。策略是一个从历史到概率的映射，而观测到的只是这个映射的一次实现（即一个选择序列）。从一次实现中，无法唯一确定策略——例如，一个总是以50%概率合作的混合策略，与一个在特定历史下以100%概率合作的纯策略，可能产生相同的选择序列。

第二步：讲最小内核¶

本文的最小内核是：通过实验设计，将“策略”从隐变量变为可观测变量，从而绕开识别问题。

最简特例：假设博弈只有一轮（即一次性囚徒困境），且策略空间只包含两个纯策略：Always Cooperate (ALLC) 和 Always Defect (ALLD)，以及一个混合策略：以概率 \( p \) 合作（\( 0 < p < 1 \)）。

传统方法（混合模型估计）：研究者观测到每个被试的选择 \( a_i \in \{C, D\} \)。从这些数据中，可以估计出总体中每种策略的比例。例如，如果观测到50%的人选择C，50%的人选择D，那么可能的解释是：① 50%的人使用ALLC，50%的人使用ALLD（纯策略异质性）；② 所有人使用 \( p=0.5 \) 的混合策略；③ 其他组合。无法区分。
本文方法（策略引出）：实验者要求每个被试直接提交其策略。例如，被试需要回答：“如果你面对一个对手，你会以什么概率选择合作？” 如果被试回答“50%”，那么研究者就直接知道该被试使用了混合策略。如果被试回答“100%”或“0%”，那么就知道是纯策略。识别问题被消除。

为什么这个例子是核心：它揭示了本文的根本贡献——将策略从不可观测的隐变量变为可观测的变量。在真实实验中，策略空间更复杂（涉及历史依赖），但核心思想相同：通过直接引出，研究者获得了关于策略的“真实”数据，从而可以： 1. 直接检验混合策略的存在性。 2. 评估传统混合模型估计方法在恢复这些“真实”策略上的表现。

三、这篇论文做了什么¶

三句话¶

研究了什么问题：在无限重复囚徒困境中，人类被试是否使用混合策略？常用的混合模型估计程序在恢复真实策略分布上表现如何？
核心工具/方法：一个策略引出实验，其中被试通过一个图形界面提交其完整策略（一个从历史到合作概率的映射），从而直接观测策略，而非仅观测选择。
主要结论：大多数被试（约60%）使用混合策略，但随时间推移，策略的混合程度降低，并向三个焦点纯策略（Tit-for-Tat, Grim Trigger, Always Defect）收敛。常用的混合模型估计程序（如最大似然估计）在恢复策略分布上表现良好，但存在系统性偏差（如高估纯策略的比例）。

关键设定与假设¶

实验设计：
被试：约200名被试，在实验室中进行IRPD博弈。
博弈参数：标准收益矩阵（Temptation=5, Reward=3, Punishment=1, Sucker=0），继续概率 \( \pi = 0.75 \)。
策略引出机制：被试通过一个“策略矩阵”界面提交其策略。该矩阵列出了所有可能的历史（基于最近两轮的选择），被试为每个历史指定一个合作概率（0%, 25%, 50%, 75%, 100%）。这限制了策略空间为有限记忆（2轮） 的混合策略。
实验流程：被试先进行若干轮“练习”以熟悉博弈，然后进行正式实验。在正式实验中，被试每轮提交其策略，然后与一个随机匹配的对手进行博弈（对手的策略由计算机根据被试提交的策略生成？——需要确认）。关键：策略是在每轮博弈前提交的，因此策略是“事前”的，而非“事后”推断的。
假设：
策略稳定性假设：被试在每轮博弈中提交的策略是其在当前轮次实际使用的策略。这是核心假设，但可能被违反（如被试可能提交一个策略，但实际行为不同）。
有限记忆假设：被试的策略只依赖于最近两轮的历史。这是一个简化，但作者通过稳健性检验（如扩展到3轮记忆）来验证其合理性。
无策略诱导偏差假设：策略引出机制本身不改变被试的策略选择。作者通过比较引出策略与行为数据来部分检验这一假设。

主要结果¶

混合策略的存在性：
约60%的被试在至少一轮中提交了混合策略（即至少一个历史下合作概率不是0%或100%）。
但混合程度随时间下降：在实验后期，约40%的被试仍使用混合策略。
量化结论：平均而言，被试在约30%的历史下使用混合策略（即合作概率为25%, 50%, 或75%）。
策略的收敛性：
策略分布随时间向三个焦点纯策略收敛：Tit-for-Tat (TFT), Grim Trigger (GT), Always Defect (ALLD)。
在实验后期，约70%的被试使用这三个纯策略之一（或它们的混合）。
与baseline对比：与Fudenberg, Rand & Dreber (2012) 的估计结果一致，但本文提供了直接证据。
混合模型估计程序的表现：
作者使用被试引出的策略作为“真实”策略，然后模拟生成行为数据（选择序列），再用常用的混合模型估计程序（如最大似然估计）从这些模拟数据中恢复策略分布。
核心量化结论：最大似然估计在恢复总体策略分布上表现良好（如正确识别了TFT和GT的主导地位），但存在系统性偏差：高估了纯策略的比例，低估了混合策略的比例。
稳健性：这一偏差在样本量较小时更严重，且对策略空间的定义敏感。

证明路线与技术技巧（本文为应用型，无严格数学证明，但有其“论证路线”）¶

整体路线：
数据收集：通过策略引出实验，获得每个被试在每轮博弈中的“真实”策略 \( s_{i,t} \)。
描述性分析：直接分析 \( s_{i,t} \) 的分布，检验混合策略的存在性、演化趋势。
模拟评估：以 \( s_{i,t} \) 为真实策略，模拟生成行为数据（选择序列）。然后，使用常用的混合模型估计程序（如最大似然估计）从这些模拟数据中恢复策略分布。
比较与评估：比较估计出的策略分布与真实的 \( s_{i,t} \) 分布，量化估计偏差。
关键跳跃点：
从“行为数据”到“策略数据”的跳跃：这是本文的核心创新。传统方法只能从行为数据中推断策略，而本文通过实验设计直接观测策略。这个跳跃绕开了识别问题，但引入了新的假设（策略引出机制的有效性）。
模拟评估的设计：作者需要确保模拟生成的行为数据与真实实验中的行为数据具有可比性。他们通过使用真实被试的策略和真实对手的策略（由计算机根据被试策略生成）来模拟，从而保持了博弈的动态性。
技术技巧点名：
策略引出界面设计：使用图形界面（策略矩阵）来降低被试的认知负担，使其能够提交复杂的条件策略。
混合模型估计：使用最大似然估计（MLE）来拟合策略的混合分布。这是标准方法，但作者通过模拟评估揭示了其偏差。
聚类分析：使用k-means聚类来识别焦点策略（TFT, GT, ALLD），并量化策略的收敛性。

真实例子与应用¶

用的什么数据/场景：实验室实验数据，约200名被试在IRPD中博弈约20轮。
怎么把本文方法用上去：被试通过策略矩阵提交其策略。例如，一个使用TFT策略的被试会提交：如果对手上一轮合作，则本轮合作概率100%；如果对手上一轮背叛，则本轮合作概率0%。
得到什么结果：直接观测到混合策略的存在，并发现其随时间向纯策略收敛。
这个例子想说明什么：
验证理论：混合策略在IRPD中确实存在，但并非主导行为。
展示相对baseline的优势：与仅使用行为数据的传统方法相比，策略引出提供了更直接、更可靠的策略信息。
为方法论提供基础：通过模拟评估，揭示了常用混合模型估计程序的偏差，为改进估计方法提供了方向。

🔎 结论是否比证明窄¶

是。作者在结论中声称“大多数被试使用混合策略”，但这一结论依赖于策略引出机制的有效性。如果被试提交的策略与其实际行为不一致（例如，被试可能为了简化而提交纯策略，但实际行为是混合的），那么结论可能被高估或低估。作者在文中讨论了这一局限性，但并未提供严格的检验。
具体语句：作者在结论部分写道：“Our results provide direct evidence that subjects use mixed strategies.” 但这一结论的“直接性”仅限于被试提交的策略，而非被试实际使用的策略。这是一个微妙的但重要的区别。

四、开放问题¶

策略引出机制的有效性：如何严格检验被试提交的策略与其实际行为的一致性？是否可以设计一个“欺骗”实验，其中被试的策略被秘密修改，然后观察其行为是否与修改后的策略一致？扎根点：作者在“Limitations”部分讨论了这一可能性，但未提供解决方案。
策略空间的扩展：本文只考虑了有限记忆（2轮）的策略。如果允许无限记忆或更复杂的策略（如使用自动机），混合策略的比例是否会变化？扎根点：作者在“Future Work”中提到了这一点。
混合模型估计的改进：本文揭示了MLE高估纯策略比例的偏差。是否可以设计一个去偏的估计程序（如使用正则化或贝叶斯方法）来更准确地恢复策略分布？扎根点：作者在“Implications for Estimation”部分指出了这一偏差，但未提出改进方法。
策略的演化模型：本文描述了策略向焦点纯策略收敛的现象，但未解释其背后的学习机制。是否可以建立一个信念学习模型（如EWA）来预测策略的演化路径？扎根点：作者在“Discussion”部分提到了学习，但未深入建模。

Maintained by 陈星宇 · Homepage · Source on GitHub