Using Placebo-Controlled Designs to Detect Edutainment Effects and Spillovers: Results from Two Large-Scale Experiments in Uganda¶

讲者: Donald Green
讨论人: Molly Offer-Westort
来源: OCIS (Online Causal Inference Seminar)
日期: 2021-02-16
主题: 因果推断
视频: https://youtu.be/qD5Ed9CF7f8 · 幻灯片

本页据讲座录音的自动转写（ASR）生成。人名 / 术语 / 公式 / 具体的率与界可能被听错，关键处请对照视频或讲者论文核对。

一、这场报告在讲哪条工作线¶

1.1 子方向：教育娱乐（edutainment）的因果效应与社交溢出¶

该方向的核心追问是：叙事型媒体内容（戏剧、电影、广播肥皂剧）能否改变人们的观念和行为，以及这些改变是否会通过社交网络扩散至未直接接触的人。整个方向建立在“娱乐教育的说服效果优于直接说教”的初始观察上，且近年来通过大规模随机对照试验（RCT）在发展中国家获得证据。

奠基与主流路线（部分工作为讲者提及，结合领域常识）：

Betsy Paluck (2009, Rwanda)：以安慰剂对照方式比较两部收音机节目（一部讲述胡图/图西族和解的叙事剧 vs 一部HIV教育节目），发现叙事剧显著改善族群态度。这是该子领域的地标性实验。
Banerjee, La Ferrara, Orozco (2019, Nigeria)：利用MTV Shuga 系列（聚焦HIV）的播出，结合朋友网络数据分析直接与溢出效应，发现强直接效应及有限但可检测的社交网络传播。
印度、坦桑尼亚等地多项RCT：涉及反买选票、健康干预、反腐等，多数发现叙事型处理有效，而纯信息或说教型处理效果微弱。

当前frontier：如何经济地、无干扰地测量溢出效应？溢出效应可能通过“第二手”交流产生，但实验设计面临非依从性、自选择、测量干扰等挑战。已有方法包括：随机改变处理强度（如剂量-反应）、利用空间变异推断溢出（如Baird et al. 2018的优化设计）、或直接测量社交网络关系（昂贵但精确）。这份报告代表一种轻量级设计路径：通过多主题安慰剂对照加事后揭示依从性分层，以较少的网络数据直接估计不同分层的效果。

1.2 这场报告站在哪¶

该报告（及与之匹配的论文 Diffusion of Media Effects: Analysis of Spillovers from an Education-Entertainment Experiment in Uganda）站在两个交汇点：

方法上：推广了Nickerson (2008) 在政治学中使用的“安慰剂对照”思路（家中亲自接触 vs 未接触者），将之扩展至多主题、多层依从性的村庄级集群随机实验。设计本身不要求追踪社交网络，而是依赖一个关键假设——依从性分层（被直接接触/间接受接触/未被接触）不受处理分配的影响。通过事后询问（隐蔽地）揭示各分层，并用线性模型计算分层特异处理效应。
实证上：在乌干达两个大规模RCT（2015, 2016）中，发现三主题（教师缺勤、家暴、流产污名）的戏剧化短剧对“意动态度”（行为倾向）有稳健的直接效应（约0.4–0.5个村际标准差），但无论按预定分层还是性别子组，均未检测到显著的溢出效应。这一零结果本身对政策制定有直接意义：如果溢出不存在，则媒体干预的“规模化”优势（仅需覆盖少量直接受众即可通过社交网络放大效果）将大打折扣。

关键参照工作： - Nickerson (2008) “Is Voting Contagious? Evidence from Two Field Experiments” APSR —— 首次在单主题、家庭层面的安慰剂设计中测量家庭内部溢出。 - Baird et al. (2018) “Optimal Design of Experiments in the Presence of Interference” JRSS-A —— 提出通过随机化处理强度（如不同比例村庄受处理）来估计溢出，但实现更复杂。 - 该报告在JRSS上发表的方法论文（转写[0:28:22]提到“in the jrss paper”，应指Green, Wilke & Cooper (2020?) 关于该设计的文章——需核实）与在Comparative Political Studies 上发表的实证结果（[0:31:30]提到另一篇关于家暴的文章）构成系列。

二、最小内核 / 一个最简例子¶

2.1 符号与模型¶

设我们关注一个单一主题（例如“反对家暴”）。可观测数据来自村庄集群水平的两组村庄：

\( Z_j \in \{0,1\} \)：村庄 \( j \) 被随机分配至处理（放映含反家暴短剧的电影）或对照（放映不含反家暴短剧的安慰剂电影，但有其他主题的短剧）。
在端线调查中，对村庄 \( j \) 的每个个体 \( i \) 观测到：
\( Y_{ij} \)：结果变量，例如“是否愿意帮助受虐妇女”（0/1 或指数）。
\( S_{ij} \in \{\text{直接}, \text{间接}, \text{未接触}\} \)：由事后问卷揭示的依从性分层——该个体是否直接看了至少一场电影（直接），或虽未看但知道有亲友看了（间接），或两者皆否（未接触）。这一分层由处理传递机制（免费电影城）揭示，假定不受 \( Z_j \) 影响（即 \( S_{ij}(Z_j=1) = S_{ij}(Z_j=0) \) 对于所有个体在反事实中相等，因为短剧内容不影响观影决策）。

目标参数（分层特异平均处理效应）：

\[\tau_s = \mathbb{E}[Y_{ij} \mid Z_j=1, S_{ij}=s] - \mathbb{E}[Y_{ij} \mid Z_j=0, S_{ij}=s], \quad s \in \{\text{直接}, \text{间接}, \text{未接触}\}.\]

\(\tau_{\text{直接}}\)：直接效应（对实际上看了电影的人的因果效果）。
\(\tau_{\text{间接}}\)：溢出效应（对经由亲友获得第二手信息的人的效果）。
\(\tau_{\text{未接触}}\)：可作为安慰剂检验（理论上应为0）。

2.2 最简特例（d=1，单主题，两个时间点）¶

为理解核心思想，考虑一个最简单版本：

只有 6个村庄，随机分至 3个处理村庄（放反家暴短剧）和 3个对照村庄（放其他主题短剧）。
放映持续 4个周末，每个周末放一部电影。
放映结束后 2个月，在每个村庄随机抽 50人 做入户调查，询问：
结果：一个 5题意动态度指数（例：你是否会向村妇女主任报告家暴？）。
最后询问：“你是否去看过免费电影？你的亲友是否去过？” 据此将每人归入 \( s \)。
假设检验显示：处理与对照村庄中，各类人群比例相似（支持 \( S \) 不受 \( Z \) 影响）。
用线性模型（含区组固定效应）估计 \(\tau_s\)：

\[Y_{ij} = \alpha_0 + \beta \cdot \text{Block}_{j} + \tau_s \cdot Z_j + \varepsilon_{ij}.\]

结果可能显示：\(\tau_{\text{直接}}\) 显著为正（约0.3个标准差），\(\tau_{\text{间接}}\) 和 \(\tau_{\text{未接触}}\) 不显著。

三、报告主体：讲者讲了什么¶

[0:00–0:10] 引言与背景¶

讲者强调这不是一个方法驱动的 talk，而是用精心设计让困难问题变简单——从设计端解决非依从性与溢出测量问题。
背景：教育娱乐（edutainment）在发展中国家RCT中常见，叙事型比直接说教更易产生效果；但溢出效应缺乏直接证据。
引用Paluck (2009, Rwanda)、印度反买选票、尼日利亚 Shuga 等作为前驱。

[0:10–0:20] 为何溢出可能存在？¶

非洲农村地区社交网络紧密、媒介匮乏（电视拥有率低），且事后调查显示 >75% 的观影者声称与别人讨论过内容。这些暗示溢出可能很大。
方法论挑战：实验暴露有非依从性；需要设计既能识别直接效应又能识别溢出效应，且不依赖 ad hoc 假设；需要足够功效（集群随机化下村庄数量需大）。

[0:20–0:25] 设计：乌干达社会规范媒体实验¶

两个RCT（2015 pilot 56村庄；2016 完整112村庄），以交易中心（trading center）为集群，随机化至不同商业短剧组合。
免费电影城：连续4（或6）周放映好莱坞大片，中间插入本地制作的3部分短剧（用卢干达语，当地演员，高制作质量）。短剧主题：家暴、流产污名、教师缺勤。无基线调查，只有首次接触在2个月后（正中线）和8个月后（端线）。

[0:25–0:30] 设计关键假设与依从性分层¶

中心假设：观看电影的决定不受短剧内容影响（由设计保证：广告不提及短剧内容，招募时只说免费电影）。
事后揭示依从性：端线调查末尾问“你是否去看过免费电影？你的亲友是否去过？”将人群分为：
直接接触：至少一场；
间接接触：没去但亲友去了；
未接触：都没。
幻灯片展示：25%男性、12%女性是直接接触者；40%未接触、41%间接接触。
测试可检验假设：各处理组间分层分布相同，协变量在分层内平衡——在附录中验证。

[0:30–0:40] 结果：稳健直接效应，无溢出¶

教缺勤：直接接触者意愿行动指数升约4–5个百分点（村际SD=0.11，效应约0.4 SD）；间接与未接触组零。
家暴：直接接触者助人意愿显著升（约0.5村际SD）；溢出零。按性别交互：女性直接接触者效应更大（>0.5 SD），但女性间接组也无溢出。
流产污名：直接接触者帮助意愿升（约0.25 SD）；无溢出。女性效应巨大，但也不传递。
结论：戏剧化媒体有强直接意动态度效应，但 几乎没有证据支持溢出。

[0:40–0:45] 未来工作：Tanzania 更深入的网络追踪¶

在坦桑尼亚做类似实验（广播肥皂剧，主题：早婚 vs HIV污名），但设计更 intrusive——基线招募、追踪朋友/配偶/子女，以期获得更细粒度溢出证据。初步结果显示HIV短剧有强直接效应，但溢出仍难捕捉。

[0:45–0:56] 讨论（Molly Offer-Westort）与回应¶

讨论者指出：
安慰剂设计直接揭示依从性，优于事后推断。
需注意 SUTVA 可能因区组随机化（邻近村庄被分至不同处理）而受威胁——存在跨村污染风险（但方向通常向零）。
无交叉效应假设 是必要的（因设计缺乏所有三者组合），但已在附录检验。
为什么没发现溢出？可能因为沉浸式体验难以通过二手叙述复现；也可能因分层测量有误——有人与观影者讨论了内容但不知道对方看过电影，会被归为“未接触”而稀释效应。
讲者（Anna Wilke回应）接受观点，表示剂量不大是制约因素之一。

四、对应论文与开放问题¶

4.1 对应论文（标注不确定性）¶

主要论文（设计+RCT结果）：讲者提到“in the jrss paper”（[0:28:22]），应指 Green, Wilke & Cooper, “The Design and Analysis of Placebo-Controlled Experiments with Application to the Diffusion of Media Effects”, Journal of the Royal Statistical Society: Series A（推测定稿年份约2020）。幻灯片首页标题为“Diffusion of Media Effects: Analysis of Spillovers from an Education-Entertainment Experiment in Uganda”，且作者为 Anna Wilke, Donald P. Green, Jasper Cooper。可能同一篇论文或系列。
实证结果单独发表：讲者（[0:31:30]）提到“the one that appeared in Comparative Political Studies”关于家暴的结果。具体引用：Green, Wilke & Cooper (2020?) “The Effects of Edutainment on Violence Against Women: Results from Two Experiments in Uganda”, Comparative Political Studies。
视频链接：讲者提到视频可在链接观看（从幻灯片 URL 推测有在线补充）。
arXiv 或预印本未提及，需自行查证。

4.2 开放问题（从转写/讨论中提取）¶

开放问题	依据（转写时间点 / 幻灯片）
1. 为何溢出效应几乎为零？是由于沉浸式体验无法二手传递，还是因为剂量（仅6周、每次打断）不足？	[0:39:18] “there are no spillovers to show you” + [0:42:49] 讨论者提出沉浸式解释可行，但需进一步证据。
2. 如果用不同测量方式定义“间接触”（例如直接问“是否与人讨论过这个话题”而非仅知道亲友去过），结果会不同吗？	[0:52:57] 讨论者指出：有人虽不知亲友去过电影事务但实际上与人讨论了内容，会被错误归入“未接触”从而稀释效应。
3. 更高的处理剂量（更长的电影城周期、更多重复）是否会增强溢出？	[0:43:12] 讲者提出在坦桑尼亚做更密集追踪；[0:54:10] 讨论者质疑可能引入污染。
4. 区组随机化（地理邻近村庄分至不同处理）是否因跨村信息流动而违反SUTVA，并朝零偏估计？	[0:51:30] 讨论者指出该风险，并建议未来设计权衡精度与偏差。
5. 如何将这种“轻接触”设计推广至其他议题或媒体形式（如广播、手机视频）？	[0:43:12] 讲者介绍坦桑尼亚广播肥皂剧实验，但设计更 intrusive。无直接答案，属 ongoing work。
6. 是否存在性别或网络结构（如男性密度>女性）造成的溢出异质性，需要更细的网络数据检验？	[0:42:10] 讲者提到“communication networks in villages are very stratified by gender”；但数据未分解到个体网络层面。

（所有问题均为开放，讲者未在talk中解答，需进一步研究或对照论文附录。）

Maintained by 陈星宇 · Homepage · Source on GitHub