跳转至

ACL 2026 · 安全 / 事实性

本页 1 篇(该主题共 1 篇),按相关性排序。 返回总览

1. VeriTaS: The First Dynamic Benchmark for Multimodal Automated Fact-Checking

  • 链接: 论文页 · PDF
  • 作者: Mark Rothermel, Marcus Kornmann, Marcus Rohrbach, Anna Rohrbach
  • 会议/来源: ACL 2026 · Long
  • 相关性 9/10 · benchmark
  • 测什么: 多模态声明的事实核查准确性,包括跨语言和跨模态的裁决一致性。
  • 摘要: VeriTaS 是首个面向多模态自动事实核查(AFC)的动态基准,旨在抵御大模型预训练导致的数据泄漏。它包含来自 104 家专业事实核查机构、覆盖 54 种语言的 25,000 条真实声明,涵盖文本和音视频内容。基准通过全自动七阶段流水线每季度更新,该流水线标准化声明表述、检索原始媒体,并将专家裁决映射到一种新颖的、标准化的、解耦的评分方案,附有文本理由。人工评估表明自动标注与人类判断高度一致。该基准通过持续更新来保持抗泄漏性,为 AFC 评测提供了更可靠的测量工具。
  • 为什么值得看: 该论文直接回应了静态基准的污染问题,提出了一个可复用的动态更新流程,并验证了自动标注与人类判断的一致性,对评测方法学中的泄漏控制和标注可靠性具有参考价值。
  • 关键技术: dynamic benchmark, contamination audit, human evaluation, automated annotation pipeline, multi-modal fact-checking

评论