跳转至

2026-11-10 · AI Auto-Research 雷达

  • 候选 2 篇(arXiv cs.CL, cs.LG, cs.AI, cs.MA)· 打分 2 · 精摘 2
  • 口径:自动化了哪几环科研流程、人还负责什么、证据是否支撑「自主」的说法。

选题 / 假设生成

1. Contrastive Discovery: Open-Ended Scientific Discovery over Competing Explanations

  • 链接: 论文页 · PDF · arXiv
  • 作者: Ziang Liu, James J. Kim, Yijia Dai, Jennifer J. Sun
  • 来源: arXiv
  • 相关性 7/10 · 自动化程度 semi_autonomous
  • 自动化的环节: 自动化了假设生成与实验评分环节,人仍负责定义科学问题和最终解释选择(盲评验证)。
  • 摘要: 本文提出 Contrastive Discovery,将科研 agent 的假设评估从单点检验(h vs ¬h)改为对比集(互斥且穷尽的竞争解释),每个实验按证据在集合上的信念重分配打分,信念集中到某一解释时问题即解决。系统不改变 agent 的搜索框架,只替换提议和评分的单元,因此可复用已有 agent 的已收集证据或引导后续搜索。在六个领域上,89% 的单点候选最大信念转移是拒绝;同一证据下,对比集能将 73% 的候选解析到具体替代解释。用对比集引导搜索时,在相同实验预算下比单点惊奇度多解决 67% 的问题。盲评中 38 位人类专家在 78% 的已解决问题上选择相同解释,在单点 agent 拒绝并停止的问题上一致性达 82%。
  • 为什么值得看: 它直接改进了假设生成与实验评分环节,使 agent 在证据拒绝假设后仍能继续解析到替代解释,并给出了跨领域、带人类验证的定量证据,是自动化科研闭环中'假设-实验-结论'环节的重要组件级进展。
  • 关键技术: contrast set, belief redistribution, pointwise surprisal, open-ended discovery, human expert evaluation

科研 Agent 评测

1. ARE-bench: Benchmarking Agents' Research Ability in Real-World Researcher Sessions and Workspaces

  • 链接: 论文页 · PDF · arXiv
  • 作者: Jiahang Lin, Wanying Ren, Wanghan Xu, Huayu Sha, Yang Shu, Zhonghang Lu, Chengjun Pan, Yi Dong et al.
  • 来源: arXiv
  • 相关性 8/10 · 自动化程度 assisted
  • 自动化的环节: 它测量 agent 在真实工作区中完成进行中项目步骤的能力,人负责提供任务背景和需求,agent 负责执行并尊重先前决策。
  • 摘要: ARE-bench 提出了一个评估科研 agent 在真实研究者会话和未清理工作区中推进进行中项目能力的基准。它包含 75 个任务,基于招募研究者的真实项目会话,覆盖 7 个科研阶段、33 个需求、150 个子需求,共 1173 个二元检查项。每个任务锚定一个真实用户请求,保留其需求,并回放完整工作区至该边界,保留未完成文件、过时版本和失败尝试。检查表由意图对齐的评分标准编译,并认可任何有效解决方案。在七个前沿模型上,最强模型仅在 66.2% 的任务上通过所有检查项,设计和执行阶段对所有模型都是最难的。当仅检查交付契约和一般规范时,三个模型通过约 69% 的任务,但一旦加入历史和材料或工作区需求,通过率降至 28.4% 至 40.0%。
  • 为什么值得看: 该基准直接量化了科研 agent 在真实进行中项目中的自动化程度,并揭示了忽略上下文需求会高估 agent 能力,为评估科研 agent 的证据质量提供了关键视角。
  • 关键技术: real-world session replay, intent-aligned rubric, binary checklist evaluation, workspace state preservation

评论