Untrustworthy sources on Facebook and Instagram in 2020: Concentrated exposure but no attitudinal effects

作者: Olivier Bergeron-Boutin, Brendan Nyhan, Jaime Settle, Emily Thorson, Magdalena Wojcieszak et al.
来源: Science Advances
主题: 其他
相关性: 0/10
机构绿灯: University of California, Berkeley（US News 前 50，免分进入精读）
链接: https://doi.org/10.1126/sciadv.adz6502

---

一、这篇论文属于什么学科、要解决什么

• 学科定位：本文属于政治传播学与计算社会科学的交叉领域，具体是研究社交媒体上的虚假信息（misinformation）。这个子领域的核心科学问题是：用户在多大程度上接触到虚假信息？这种接触是否改变了他们的态度、信念或行为？以及平台能否通过干预措施来减少这种接触及其影响？该领域在过去十年中发展迅速，但主要依赖观察性数据（如分享链接的统计），因果证据非常稀缺。
• 本文的位置：它针对的是该领域一个长期悬而未决的核心问题——减少社交媒体上虚假信息的暴露，能否改变用户的态度？ 本文的独特之处在于，它利用2020年美国大选期间，在Facebook和Instagram上对真实用户实施了一项大规模、多月的现场实验，主动将用户信息流中来自“不可信来源”的内容减少约70%，并测量了其对一系列预先注册的态度和信念结果的影响。这是该领域迄今为止规模最大、生态效度最高的因果证据之一。

二、关键术语扫盲

1. 不可信来源 (Untrustworthy sources)：本文特指那些被事实核查机构（如PolitiFact、Snopes）反复判定为发布虚假信息的Facebook Page、群组、网站域名以及Instagram公共账户。它不是指所有错误信息，而是指那些有“前科”的源头。
2. 信息流 (Feed)：用户打开Facebook或Instagram时看到的由算法排序的内容流，包括朋友、家人、关注的Page和群组发布的内容。这是用户接触信息的主要界面。
3. 现场实验 (Field experiment)：在真实世界环境中对真实用户进行的随机实验。与实验室实验不同，用户通常不知道自己正在被实验（或只知道参与了研究，但不知道具体干预内容），因此结果更具外部有效性。
4. 预先注册 (Preregistered outcomes)：在实验开始前，研究者就将要检验的假设、主要结果变量和分析计划公开登记在某个平台（如OSF、AEA RCT Registry）。这可以防止“p-hacking”或事后选择性地报告显著结果，是提高研究可信度的关键做法。
5. 暴露度 (Exposure)：用户看到来自不可信来源内容的次数或频率。本文主要测量的是“信息流暴露”，即内容出现在用户的信息流中，不一定是用户主动点击或阅读。
6. 干预 (Intervention)：平台主动改变用户信息流内容的操作。在本实验中，干预组用户信息流中来自不可信来源的内容被大幅减少（约70%），而对照组则保持不变。
7. 态度与信念 (Attitudes and beliefs)：本文测量的结果变量，包括对政治候选人的好感度、对选举公正性的看法、对COVID-19疫苗的态度等。这些是通过问卷调查测量的主观指标。
8. 集中度 (Concentration)：指暴露分布的不均匀程度。本文发现，绝大多数用户很少看到不可信来源的内容，而极少数用户看到了绝大部分。这种“长尾”分布是理解虚假信息传播的关键。
9. 生态效度 (Ecological validity)：研究结果在多大程度上能推广到真实世界情境。现场实验通常比实验室实验具有更高的生态效度。
10. 平台干预 (Platform intervention)：社交媒体公司（如Meta）为了减少虚假信息、仇恨言论等有害内容而采取的技术或政策手段。本文的干预是其中一种：降低特定来源内容的算法推荐权重。

三、这个领域的人在关心什么

这个领域的研究者追问的核心问题是：社交媒体上的虚假信息到底有多大的危害？ 这个问题可以分解为几个子问题： 1. 暴露量：用户到底看到了多少虚假信息？是普遍现象还是少数人的问题？ 2. 影响：看到虚假信息后，用户的态度和行为真的会改变吗？这种改变是短暂的还是持久的？ 3. 干预：平台能否有效减少虚假信息的传播？如果能，减少暴露是否就能减少危害？ 4. 机制：虚假信息是通过什么机制影响用户的？是说服、启动、还是仅仅强化了既有偏见？

在本文之前，主流方法主要依赖观察性数据（如分析分享链接的网络结构、调查用户自报的接触情况）和小规模实验室实验（让被试在受控环境下阅读虚假信息并测量态度变化）。这些方法各有局限：观察性数据难以建立因果关系（例如，是虚假信息让人变得偏激，还是偏激的人更爱看虚假信息？）；实验室实验则生态效度低（被试知道自己在被研究，且暴露环境不自然）。本文通过大规模现场实验，直接操纵了真实用户在真实平台上的信息环境，从而试图解决上述因果推断和生态效度的问题。它直接回应了“减少暴露能否改变态度”这个关键因果问题。

四、数据问题

• 数据来源：数据来自Meta（Facebook和Instagram的母公司）。研究者与Meta合作，获得了2020年所有活跃美国成年用户的平台行为数据（用于测量暴露度），并招募了同意参与实验的用户。
• 数据形态：数据是多模态的，主要包括：
  • 行为日志数据：记录了每个用户信息流中出现的每条内容（帖子、链接等）的来源（Page、群组、域名、公共账户）。这是典型的高维、稀疏、计数型数据。
  • 调查数据：通过在线问卷收集的用户态度和信念，是横截面的，但实验前后各测量一次（面板结构）。
  • 实验分组数据：用户被随机分配到干预组或对照组。
• 结构特征：数据具有层次结构（用户嵌套在平台内，内容嵌套在来源内）和时间序列结构（暴露和态度随时间变化）。暴露度数据是典型的长尾分布：少数用户贡献了绝大部分的暴露量。
• Noise & 测量误差：
  • 暴露度测量：相对精确，因为来自平台服务器日志。但“看到”不等于“注意到”或“被影响”，这是一个关键的测量误差来源。
  • 态度测量：存在经典的测量误差（如社会期望偏差、问题措辞效应、随机误差）。本文使用了多个问题来构建复合指标，以降低随机误差。
• Selection / Bias / 缺失：
  • 实验参与偏差：同意参与实验的用户可能本身就对政治或虚假信息更感兴趣，导致样本不能完全代表所有美国成年人。这是选择偏差。
  • 干预依从性：干预组用户可能通过其他渠道（如直接访问网站、群组内分享）接触到被屏蔽的内容，导致“实际暴露减少”低于“意图暴露减少”。这是非依从性问题。
  • 态度数据缺失：并非所有用户都完成了所有调查问卷，存在缺失数据问题。
• 哪些是“漂亮的统计学问题”：
  • 长尾分布建模：如何对高度集中的暴露度进行建模和推断？这涉及到极值理论或零膨胀模型。
  • 非依从性下的因果推断：如何估计“接受处理者的平均处理效应”（CACE）？这需要工具变量或结构方程模型。
  • 多重结果检验：本文检验了多个预先注册的结果，如何控制多重比较的假阳性率？
  • 测量误差校正：如何校正态度测量中的误差，以获得更准确的因果效应估计？
• 哪些是“纯工程或纯领域难题”：
  • 定义“不可信来源”：依赖第三方事实核查机构的判断，这本身是一个有争议的、非统计的领域难题。
  • 平台干预的实现：如何在不影响用户体验和平台其他功能的前提下，大规模、实时地减少特定内容的推荐？这是一个工程问题。

五、方法与模型问题

• 分析方法：本文的核心方法是现场实验，辅以描述性统计和回归分析。
  • 暴露度测量：计算每个用户信息流中来自“不可信来源”的内容占比或绝对数量，并描述其分布。
  • 因果效应估计：通过比较干预组和对照组在实验后态度和信念的均值差异，来估计意向处理效应（ITT）。具体模型是线性回归：Y_post = β₀ + β₁ * Treatment + γ * Y_pre + δ * Covariates + ε。其中，Treatment是实验分组指示变量，Y_pre是实验前的结果变量（用于提高统计效力），Covariates是人口统计学等协变量。
  • 异质性分析：研究者还检验了干预效应是否在“高暴露用户”子群中更大，通过加入交互项 Treatment * HighExposure 来实现。
• 关键假设：
  • 随机分配：实验分组是随机的，保证了干预组和对照组在实验前在所有可观测和不可观测特征上都是可比的。
  • SUTVA（稳定单元处理值假设）：一个用户的处理状态不影响另一个用户的结果。在社交媒体实验中，这个假设可能被违反（例如，干预组用户不再分享虚假信息，从而间接减少了对照组用户的暴露），但本文认为这种“溢出效应”很小。
  • 无干扰：干预只改变了信息流中的内容，没有改变用户的其他行为（如主动搜索）。
• 推断 / 计算手段：主要使用频率学派的线性回归和假设检验。计算上，由于数据量巨大（数百万用户），需要分布式计算框架（如Spark）。不确定性量化通过标准误和置信区间实现，并进行了多重比较校正（如Bonferroni校正）。
• 核心结论 + 不确定性量化：
  • 结论：干预成功地将信息流中来自不可信来源的暴露减少了约70%，但对所有预先注册的态度和信念结果均未产生可测量的影响（效应量接近零，置信区间很窄）。
  • 不确定性量化：作者报告了每个效应的点估计和95%置信区间，并明确指出“即使对于高暴露用户，我们也没有发现任何有统计学意义或实际意义的效应”。他们通过统计效力分析（power analysis）表明，他们的样本量足以检测到非常小的效应量，从而排除了“效应存在但未被检测到”的可能性。

六、对统计学家的判断

1. 这篇文章作为科普读物质量如何？

   • 打分：4/5 星
   • 理由：文章本身写得清晰、自包含，对实验设计、数据来源和主要结果的解释非常透明。对于一个不懂政治传播学的统计学家来说，它是一篇非常好的入门级现场实验案例研究，能让你快速理解该领域的研究范式、核心问题和关键挑战。但它的“科普”价值更多在于方法论（如何设计一个大规模平台实验），而非科学故事本身（结论是“没发现效应”，这不如一个“发现效应”的故事那么引人入胜）。

2. 这里面有没有统计学家会觉得有意思的东西？

   • 科学趣味性：非常高。这个问题本身——社交媒体虚假信息是否真的改变了我们的想法——是当代社会最受关注、也最具争议的问题之一。本文提供了一个来自最大社交平台、基于真实用户行为的因果证据，其结论（减少暴露短期内无态度效应）本身就是一个重要的、反直觉的科学发现。它挑战了“虚假信息直接导致态度极化”的简单叙事，迫使我们去思考更复杂的机制（如确认偏误、回音室效应、或长期累积效应）。对于一个好奇的统计学家来说，了解这个问题的实证现状本身就很有价值。
   • 方法学空间：中等。本文的方法学贡献主要在于实验设计（大规模、多平台、多月的现场实验）和测量（利用平台日志精确测量暴露度），而非统计方法本身。它使用的分析工具（线性回归、多重比较校正）是标准且成熟的。然而，它留下了几个非常有趣的统计问题口子：
     1. 非依从性与工具变量：干预组用户的实际暴露减少量可能远低于70%（因为他们可能通过其他渠道接触）。本文只估计了ITT，但一个更精细的因果问题——“对于那些确实因为干预而减少了暴露的人，态度效应是什么？”——需要工具变量或CACE分析。这直接关联到你的因果推断兴趣。
     2. 高维暴露与异质性：用户接触的“不可信来源”是多种多样的（政治、健康、阴谋论等）。不同来源的内容可能有不同的效应。如何对高维、稀疏的暴露数据进行建模，并估计其异质性因果效应？这涉及到高维统计和因果推断的交叉。
     3. 测量误差与潜在变量：态度和信念是难以直接测量的潜在变量。本文使用了多个调查问题，但只是简单平均。一个更优雅的方法是使用结构方程模型或潜在变量模型来同时建模测量误差和因果效应。
     4. 长期效应与动态处理：本文的干预只持续了几个月。虚假信息的效应可能是累积的、长期的。如何设计实验或利用观察性数据来估计长期动态处理效应？这是一个非常困难但重要的因果推断问题。
   • 现实相关性：非常高。这种“平台干预”的数据结构（用户-时间-内容-结果）在数字时代非常普遍（如推荐系统、广告投放、内容审核）。统计学家在科技公司、政策评估或社会科学研究中都会频繁遇到类似的数据和分析问题。本文的框架（现场实验 + 行为日志 + 调查）是一个可复用的范式。
   • 明确结论：很有意思值得留意。虽然方法学上不新颖，但它作为一个高质量的因果推断应用案例，清晰地展示了在复杂、大规模的现实环境中进行因果推断的挑战和可能性。它提出的问题（非依从性、异质性、长期效应）正是你武器库中工具可以大展身手的地方。

3. 武器库匹配度：

   • 无明显接口，纯科普阅读。你的 very_familiar 武器库（非参统计、极小极大界、高阶U统计量、逆问题、高维渐近、因果推断估计理论）与本文使用的标准线性回归和ITT估计没有直接的技术重叠。本文没有使用DML、EIF或cross-fitting等半参数工具。它更像是一个问题来源，而不是一个方法来源。你可以从中提取出有趣的因果推断问题（如非依从性下的CACE估计），但需要你自己去设计和应用方法。

4. 如果想进一步了解这个话题，下一步读什么？

   • 入门综述：由于本文是应用研究，没有提供专门的综述。建议阅读：
     • Guess, A. M., & Lyons, B. A. (2020). Misinformation, disinformation, and online propaganda. In The Oxford Handbook of Political Communication. 这是一篇很好的领域综述，涵盖了定义、测量和影响。
   • 关键奠基或代表论文：
     • Allcott, H., & Gentzkow, M. (2017). Social media and fake news in the 2016 election. Journal of Economic Perspectives, 31(2), 211-236. 这是该领域被引极高的早期实证研究，利用调查数据分析了虚假新闻的接触和影响。本文的作者之一（Allcott）也参与了这项早期工作。
     • Guess, A. M., Nyhan, B., & Reifler, J. (2020). Exposure to untrustworthy websites in the 2016 US election. Nature Human Behaviour, 4(5), 472-480. 这是本文的“前身”之一，利用浏览器插件数据测量了2016年大选期间用户对不可信网站的暴露。本文在方法上（使用平台数据）和范围上（扩展到Instagram和现场实验）进行了重大升级。
   • 可动手玩的数据集：本文的数据因隐私原因不公开。但一个相关的、可公开获取的数据集是 “FakeNewsNet”，它包含了从Twitter和Facebook收集的虚假新闻内容及其传播网络。另一个是 “Hoaxy” 项目，它提供了追踪虚假信息传播的API。

七、术语小抄

英文术语	中文	一句话解释
Misinformation	虚假信息	无意或有意传播的错误或误导性信息。
Disinformation	虚假信息（恶意）	故意制造和传播的、旨在欺骗的虚假信息。
Field experiment	现场实验	在真实世界环境中对真实用户进行的随机实验。
Preregistration	预先注册	在实验开始前公开研究计划，防止事后选择报告结果。
Intent-to-Treat (ITT)	意向处理效应	比较被分配到干预组和对照组的所有人（无论是否实际接受干预）的结果差异。
Exposure	暴露度	用户看到特定内容的频率或数量。
Feed	信息流	社交媒体上由算法排序的动态内容列表。
Platform intervention	平台干预	社交媒体公司为减少有害内容而采取的技术或政策行动。
Ecological validity	生态效度	研究结果推广到真实世界情境的程度。
Non-compliance	非依从性	实验参与者未按分配方案接受或拒绝干预的情况。
CACE (Complier Average Causal Effect)	依从者平均因果效应	在非依从性存在时，估计那些实际接受了干预的人的处理效应。
Power analysis	统计效力分析	在给定样本量和效应大小下，检测到真实效应的概率。

---

Maintained by 陈星宇 · Homepage · Source on GitHub

评论