2026-11-12 · AI 评测雷达¶
- 候选 32 篇(arXiv cs.CL, cs.LG)· 打分 32 · 精摘 10
评测方法学¶
1. LLM Validation Makes Minimal-Pair Benchmarks Easier for Language Models¶
- 链接: 论文页 · PDF · arXiv
- 作者: Guofang Tang
- 会议/来源: arXiv · cs.CL
- 相关性 9/10 ·
evaluation_method - 测什么: LLM作为标签验证器与人类评审在最小对基准上的一致性、召回率及对基准难度的影响
- 摘要: 本文检验用LLM替代人类对最小对基准(BLiMP、QFrBLiMP)进行标签验证的效果。作者用三种LLM(强制选择、评分、面板)在预注册的两阶段中,与1、3、5人人类评审面板对比,发现强制选择验证器与人类多数的一致性高于5人面板,但捕捉人类拒绝标签的能力弱于单人评审。点估计显示,任何验证器都不如一个人类评审有价值。误差并非随机:在10个开源LM上,被LLM过滤器标记为人类支持的配对比接受的配对难18.9分,且在所有70种LM-验证器组合中均如此,也比单人评审标记的更难。过滤会移除LM失败但人类成功的项目,提升准确率。预注册协议在荷兰语BLiMP-NL上复现了该差距和提升。结论是LLM验证使最小对基准对模型更简单,作者发布了代码、验证器输出和项目级分数。
- 为什么值得看: 该研究提供了LLM-as-judge在基准标签验证中的系统性评估,揭示了其与人类评审的权衡(一致性高但召回低),并展示了过滤对基准难度的影响,对评测方法学中的标签质量控制和基准有效性有直接价值。
- 关键技术:
LLM-as-judge,human baseline,pre-registration,forced-choice validation,benchmark filtering
2. Measuring Definition Sensitivity in LLM Annotation of Social Science Concepts¶
- 链接: 论文页 · PDF · arXiv
- 作者: Bogdan Mamaev, Qizhou Wang, Christopher Leckie, Matteo Vergani
- 会议/来源: arXiv · cs.CL
- 相关性 8/10 ·
evaluation_method - 测什么: LLM 标注对提示中概念定义变化的敏感程度,以及该敏感性与释义基线之间的差异。
- 摘要: 该论文提出“定义敏感性”(definition sensitivity)作为评估 LLM 文本标注可靠性的新指标:对同一批文本,分别用两个相互竞争的理论定义(如仇恨言论、假新闻、恐怖主义)进行标注,计算两组标注的不一致率;同时用改写但语义不变的定义作为对照,得到“释义基线”(paraphrase floor)。实验覆盖六个社会科概念和三个 LLM,结果显示定义替换导致的标注变化平均显著高于释义基线,说明标注结果确实受提示中定义影响,而非仅依赖模型预训练概念。论文强调任何 LLM 标注结果都应结合产生它的定义来解读,并建议在相关研究中同时报告定义敏感性和释义基线。该工作为评测 LLM 标注的构念效度提供了可复用的流程,但未涉及人类标注者基线或更复杂的定义变体。
- 为什么值得看: 该论文直接针对评测方法学中的构念效度问题:通过引入定义敏感性和释义基线,提供了一种可复用的流程来检验 LLM 标注是否真正遵循提示中的定义,而非依赖预训练偏见,这对任何基于 LLM 的评测任务都有方法论价值。
- 关键技术:
definition sensitivity,paraphrase floor,LLM-as-annotator,construct validity,controlled comparison
3. One Table, Many Queries: Benchmarking Generalist Tabular Models Across Generation, Imputation, and Prediction¶
- 链接: 论文页 · PDF · arXiv
- 作者: Yuanrui Wang, Kaifang Li, Xuanyue Li, Ziyun Li, Yan Lu, Xingxuan Zhang, Peng Cui
- 会议/来源: arXiv · cs.LG
- 相关性 8/10 ·
benchmark - 测什么: 表格数据上生成、插补和预测三类任务的共享能力与目标交互效应
- 摘要: 该论文提出 One Table Benchmark,统一评测表格数据上的生成、插补和预测三类任务,覆盖 56 个数据集、46 个注册方法和 20 个能力轴,采用对齐的数据划分和明确的任务契约。作者在五个数据集上以三种种子训练五种骨干模型,覆盖所有七种非空目标组合,并对比固定模型配置与专家组合的性能。排名分析显示插补与预测在数值恢复和依赖保持上相关,生成与两者通过预测效用关联,但分布保真度呈现不同甚至相反的排序。目标干预实验表明,加入接收方自身目标带来最大的池化增益,生成任务的正向辅助效应覆盖最广,而预测可提升插补和合成数据效用,但效果因骨干而异。固定模型对比揭示了效用与保真度之间的权衡:部分通用模型在效用上超越专家组合,但保真度仍偏向专门化。冻结基础模型在预测和数值点插补上表现强劲,并展现出有前景的合成数据效用,凸显其跨任务潜力。
- 为什么值得看: 该基准通过统一任务契约和对齐数据划分,系统比较了不同任务间的能力共享与目标交互,为评测多任务通用模型提供了可复用的方法论框架,尤其适合关注测量效度(构念覆盖)和任务间相关性的研究者。
- 关键技术:
benchmark construction,task contract,aligned data splits,objective intervention,rank comparison
4. INTENT: Out-of-Sample, Out-of-Time, and Cold-Start Evaluation on User Event Sequences¶
- 链接: 论文页 · PDF · arXiv
- 作者: Mattias Kvist, Erik Lidman Hillbom, Edoardo de Cal, Davis Siemens, Adam Fredriksson, Rickard Br\"uel-Gabrielsson
- 会议/来源: arXiv · cs.LG
- 相关性 8/10 ·
benchmark - 测什么: 模型在用户、时间、物品三个维度上的分布外泛化能力,特别是新物品上的预测表现。
- 摘要: INTENT 是一个面向用户事件序列(如银行交易、应用会话)的公开基准,用于评估 next-action 预测模型在训练分布之外的泛化能力。它通过用户、时间段、目标物品是否出现在训练中这三个维度,将评测划分为七个单元(cell),每个单元至少包含 111,769 个用户(跨五个数据集)。作者审计了 59 个公开数据集族,仅保留五个,主要缺陷是缺乏可排序的日历时间戳;由于没有共同的时间跨度,每个数据集按固定规则在各自截止点切分。参考结果显示,最优模型取决于评测单元:transformer 在截止点后的已见物品上领先,但在新物品上得分为零;嵌入物品元数据的变体仅在 MicroLens 上有帮助;重复用户最后物品的无参数基线在四个数据集的新物品上领先,并表明三个数据集上截止点后的分数下降主要反映行为变化而非模型缺陷。该基准提供了公开的流水线、切分规则和逐单元用户计数。
- 为什么值得看: 该论文提出了一个系统化的评测设计,将分布外(OOD)泛化分解为三个维度(用户、时间、物品),并提供了可复用的数据集筛选和切分规则,对评测方法学有直接贡献,尤其是关于时间泄漏和冷启动评估的讨论。
- 关键技术:
benchmark construction,temporal split,cold-start evaluation,baseline comparison,dataset audit
5. Auditing the Judge: Internal Signals for LLM Reasoning Assurance¶
- 链接: 论文页 · PDF · arXiv
- 作者: Mayank Gulati, Gerhard Wunder
- 会议/来源: arXiv · cs.LG
- 相关性 8/10 ·
evaluation_method - 测什么: 模型自我判断信号在固定审查预算下识别错误答案的能力,以及其跨数据集迁移的稳健性。
- 摘要: 该论文研究如何审计LLM的自我判断(self-judgment)信号,以在固定审查预算下优先发现错误答案。作者比较了两种信号:模型生成的判定token的连续分数,以及基于同一提示的注意力头激活训练的有监督正确性探针。在GSM8K和MATH上,对三个7-12B开源模型进行实验,发现探针在5%审查预算下,在所有六个模型-数据集组合中额外捕获1.3-22.5个百分点的错误(中位数7.4)。在10%路由预算下,探针引导的分配优于随机分配,但仅对较弱的judge优于judge引导的路由。跨数据集迁移会降低探针的AUROC,且由于数据集、权重精度和生成预算同时变化,该效应被归因于联合协议偏移而非纯数据集效应。论文提供了精确的恒等式,将固定预算下的错误召回与残余风险联系起来,并指出AUROC是所有预算上的平均召回率。
- 为什么值得看: 该论文对评测方法学有直接贡献:它揭示了AUROC作为评测指标在固定预算场景下的局限性,并提出了基于内部信号的探针作为更优的预算分配工具,同时强调了跨域迁移时联合协议偏移对评测效度的影响。
- 关键技术:
AUROC analysis,probing classifiers,budget-constrained evaluation,cross-dataset transfer,protocol shift analysis
6. Continual-ARC: Measuring Skill Acquisition over a Working Lifetime¶
- 链接: 论文页 · PDF · arXiv
- 作者: Daniel Lenton
- 会议/来源: arXiv · cs.LG
- 相关性 8/10 ·
benchmark - 测什么: 衡量智能体在终身流中的技能获取效率、记忆保持与泛化能力
- 摘要: Continual-ARC 是一个基于 ARC-AGI 三个版本构建的终身学习评测流,任务无需领域知识,同一任务在休眠间隔后以新实例重现,同时持续引入新任务。每个实例中,学习者可付费获取演示、提交答案或在 harness 内操作,错误提交需付费,得分基于反馈预算的消耗比例。由于学习者可在实例间保留任何信息,基于记忆和基于权重的系统可在同一尺度上比较。流结束后,冻结学习者,在已见任务的新实例上测试记忆,在未见任务上测试泛化。实验使用 Qwen3.5-9B 和 GLM-5.3 Flash 的冻结权重 harness(有无持久化),对比两个提示基线、一个程序归纳方法和模仿 GLM 的 Qwen 权重训练。结果显示,除非有显式专家指导,harness 持久化通常不改善记忆;多数 harness 方法学习量低于简单缓存演示的基线;harness 方法在未见任务上无增益,而基于权重的学习有显著增益。
- 为什么值得看: 该基准为评测终身学习提供了统一尺度,同时覆盖记忆与泛化,并引入预算消耗作为效率指标,对评测方法学有参考价值,尤其是如何公平比较不同学习机制。
- 关键技术:
benchmark construction,lifelong learning,budget-based scoring,memory vs weight-based comparison,generalization test
Agent / 工具使用¶
1. ARE-bench: Benchmarking Agents' Research Ability in Real-World Researcher Sessions and Workspaces¶
- 链接: 论文页 · PDF · arXiv
- 作者: Jiahang Lin, Wanying Ren, Wanghan Xu, Huayu Sha, Yang Shu, Zhonghang Lu, Chengjun Pan, Yi Dong, Shichun Liu, Yuyang Hu, Shihan Dou, Honglin Guo, Huijie Lv, Pujun Zheng, Zhe Sun, Yuankai Ying, Yiding Wang, Jiahao Chen, Zhixiong Yang, Dingbo Yuan, Yicheng Zou, Zhecan Wang, Guoxiu He, Xiaoyu Xing, Qi Zhang, Tao Gui, Xuanjing Huang
- 会议/来源: arXiv · cs.CL
- 相关性 8/10 ·
benchmark - 测什么: 研究智能体在延续进行中项目时,对先前决策和现有工作区状态的尊重与推进能力。
- 摘要: ARE-bench 评估研究智能体在真实、进行中的研究项目中的推进能力,而非独立任务。它基于招募研究者的真实会话和完整工作区构建了 75 个任务,覆盖 7 个研究阶段、33 项需求和 150 项子需求,共 1173 个二元检查项。每个任务锚定一个真实用户请求,保留其需求,并总结仍生效的先前请求作为背景;工作区在无清理的情况下重放到该边界,保留早期产物。检查表由意图对齐的评分标准编译,并认可任何有效解决方案。在 7 个前沿模型上,最强模型仅在 66.2% 的任务上通过所有检查项,设计和执行阶段对所有模型都是最难的。当仅检查交付契约和一般规范时,三个模型通过约 69% 的任务,但一旦加入历史和材料/工作区要求,通过率降至 28.4%-40.0%,表明忽略上下文要求会高估研究智能体并掩盖模型间差异。
- 为什么值得看: 该基准明确区分了'交付契约'与'上下文要求'(历史、材料/工作区),并量化了忽略后者导致的评估膨胀,为评测方法学提供了可复用的分层检查设计,以捕捉真实工作场景中的测量效度缺口。
- 关键技术:
real-world session grounding,workspace replay,intent-aligned rubric,binary checklist items,contextual requirement stratification
2. BioXArena-Pro: a research-grade benchmark for autonomous biomedical machine learning agents¶
- 链接: 论文页 · PDF · arXiv
- 作者: Loka Li, Duzhen Zhang, Xingbo Du, Leonard Song, Kun Zhang, Le Song
- 会议/来源: arXiv · cs.LG
- 相关性 8/10 ·
benchmark - 测什么: 自主生物医学建模智能体的任务完成能力与泛化鲁棒性
- 摘要: BioXArena-Pro 是一个面向自主生物医学机器学习智能体的研究级基准,包含来自 8 个生物医学领域的 64 个建模任务,每个任务均基于已发表研究重建,并大多保留整个生物单元(如物种或队列)以测试泛化能力。在 22 种智能体配置中,最佳得分仅为 55.1/100,且脚手架(scaffold)与模型本身几乎同等重要。作者对每个任务重新运行了已发表的方法:在原始方法可直接应用的任务上,最佳智能体与方法持平;在重建任务上,方法落后 8.2 分,表明智能体通过适应新数据获得优势。预训练模型(包括生物基础模型)在最强智能体使用它们的任务上至关重要:禁止使用会使得分下降 9 分。每个任务都经过多轮 AI 辅助审计和最终人工审查,以控制数据泄漏。
- 为什么值得看: 该基准提供了可复现的泄漏审计流程(保留生物单元、AI 辅助+人工审查),并揭示了智能体评测中脚手架与模型贡献的分离,对评测方法学有直接价值。
- 关键技术:
benchmark construction,leakage audit,human review,scaffold ablation,holdout units
领域基准¶
1. An evidence-traceable benchmark of clinical reasoning in large language models¶
- 链接: 论文页 · PDF · arXiv
- 作者: Zhiqun Zhao (Advanced Medical Research Institute and Key Laboratory for Experimental Teratology of the Ministry of Education, Cheeloo College of Medicine, Shandong University, Jinan, China), Xiaodong Yang (Department of Urology, Shandong Provincial Hospital Affiliated to Shandong First Medical University, Jinan, China), Bruce Gu (Shandong Computer Science Center, National Supercomputer Center in Jinan, Jinan, China, Qilu University of Technology, Shandong Academy of Sciences, Jinan, China), Ming Li (Department of Rheumatology and Immunology, Shandong Provincial Hospital Affiliated to Shandong First Medical University, Jinan, China), Yi Fu (Information Network Management Office, Shandong Provincial Hospital Affiliated to Shandong First Medical University, Jinan, China), Song Li (Department of Medical Oncology, Qilu Hospital, Shandong University, Jinan, China), Qi Mei (Department of Oncology, Tongji Hospital, Tongji Medical College, Huazhong University of Science and Technology, Wuhan, China), Zhi Liu (Department of Clinical Laboratory, Shandong Provincial Hospital Affiliated to Shandong First Medical University, Jinan, China), Kai Zhang (Department of Breast Surgery, General Surgery, Qilu Hospital, Shandong University, Jinan, China), Kexue Fu (Shandong Computer Science Center, National Supercomputer Center in Jinan, Jinan, China, Qilu University of Technology, Shandong Academy of Sciences, Jinan, China), Jing Wu (Department of Central Laboratory, Public Health Clinical Center Affiliated to Shandong University, Shandong University, Jinan, China), Xiaofei Lu (Department of Breast Surgery, The First Affiliated Hospital of Shandong First Medical University, Jinan, China), Yule Li (Advanced Medical Research Institute and Key Laboratory for Experimental Teratology of the Ministry of Education, Cheeloo College of Medicine, Shandong University, Jinan, China), Zheng Wang (Department of Urology, Shandong Provincial Hospital Affiliated to Shandong First Medical University, Jinan, China), Haiquan Lu (Advanced Medical Research Institute and Key Laboratory for Experimental Teratology of the Ministry of Education, Cheeloo College of Medicine, Shandong University, Jinan, China), Xiaoming Wu (Shandong Computer Science Center, National Supercomputer Center in Jinan, Jinan, China, Qilu University of Technology, Shandong Academy of Sciences, Jinan, China)
- 会议/来源: arXiv · cs.CL
- 相关性 9/10 ·
benchmark - 测什么: 临床推理中从指南知识到证据应用的分层能力,特别是证据匹配与建议生成。
- 摘要: 本文提出 Med Evidence Bench (MEB),一个面向临床推理的可溯源评测基准,包含 1,536 道由医生构建的题目,覆盖三个难度层级:指南知识、标准化临床场景和真实世界实验室场景。每个评分标准中的医学声明都链接到版本化的源文本片段,确保评分可追溯。在十个 LLM 上,证据溯源分数 (ETS) 在指南知识层为 0.975-0.997,标准化场景为 0.292-0.658,真实世界场景为 0.182-0.447,且模型排名随层级变化。真实世界场景中,识别临床信息的得分(均值 0.770)远高于匹配证据(0.165)和制定建议(0.160)。在 1,296 个标准级判断上,自动评分与三位医生的多数投票一致性高(macro-F1 0.930,95% CI 0.915-0.945),但证据应用部分的评分一致性较低。研究基于中文材料,表明指南知识并不保证患者特定的证据使用,且不建立临床有效性。
- 为什么值得看: 该基准提供了可复用的证据溯源评分框架,将评分标准与源文本绑定,增强了评分的可解释性和可验证性;同时报告了自动评分与人类评分的协议分析,并揭示了不同推理层级间的能力差异,对评测方法学有参考价值。
- 关键技术:
evidence traceability,human baseline,inter-annotator agreement,multi-level task design,automated grading validation
2. RadRef: A Reference-Free Metric for Radiology Report Generation¶
- 链接: 论文页 · PDF · arXiv
- 作者: Shelly Schwartz, Alan Ropp, Michael B. Sneider, Nur Yildirim, Cree M. Gaskin, Chirag Agarwal
- 会议/来源: arXiv · cs.LG
- 相关性 8/10 ·
evaluation_method - 测什么: 放射学报告生成中遗漏发现和错误发现的检测能力(无参考时)。
- 摘要: RadRef 提出一种无参考的放射学报告生成评测指标,通过将报告中的声明与基于图像提取的临床发现词汇表进行匹配,并按临床指征相关性加权,从而在无放射科医生撰写的参考报告时也能评分。在 ReXVal 上,RadRef 对非平局同图报告对的排序与放射科医生排名的一致性达 73.1%,与领先的基于参考的指标相当;在遗漏(漏报发现)上表现最佳,Kendall's tau-b 为 0.295,而两位放射科医生之间的一致性为 0.386,且无其他指标显著优于它。RadRef-FF 变体用于错误发现检测,在 ReXVal 上 tau-b 为 0.32,在读者研究中为 0.29,均无需参考。受控扰动实验确认指标依赖影像、报告和临床指征。该工作为临床场景中参考报告尚未生成时的质量监控提供了图像锚定的评测手段。
- 为什么值得看: 该论文提供了无参考评测的验证流程,包括与放射科医生排序的一致性分析、读者间一致性对比,以及扰动实验确认指标对输入成分的依赖,对评测方法学中'无参考场景下的效度验证'有参考价值。
- 关键技术:
reference-free metric,image-grounded representation,radiologist ranking agreement,Kendall's tau-b,controlled perturbation
其他候选¶
| 论文 | 来源 | 分数 | 链接 |
|---|---|---|---|
| Deletion Sensitivity Is a Property of the Model: A Three-Condition Measurement across Seven Open Reasoning Models | cs.CL | 7 | 页 · PDF |
| AVCC: Audio-Visual Conversation Corpus for Turn-Taking Prediction with a Human Benchmark | cs.CL | 7 | 页 · PDF |
| Linear Probes to Bayesian Manifolds: Geometry of Arithmetic in Large Language Models | cs.LG | 7 | 页 · PDF |
| When Are Predictions Enough? An Evaluation Protocol for Frozen Expert Composition | cs.LG | 7 | 页 · PDF |
| Evaluating Compositional Generalization in Transformers: The Role of Composition Equivalence and Module Coverage | cs.LG | 7 | 页 · PDF |
| Right for the Wrong Reasons? Evaluating Plausibility and Behavioral Change in Explanation-Guided Learning | cs.LG | 7 | 页 · PDF |
| MMDM: Measuring Massive Multitask Decision Making | cs.LG | 7 | 页 · PDF |
| The Indic Token Tax in 2026: Measuring Tokenizer. Disparity and Its Cost for the Languages of India | cs.CL | 6 | 页 · PDF |
| Inherited Weights: Measuring the Tokenization Premium and the Sovereignty Cost of Language Models for the Global South | cs.CL | 6 | 页 · PDF |
| PolyRoute: A Twelve-Language and Code-Mixed Benchmark for Typed-Decision Routing, with Baselines and a Leaderboard | cs.CL | 6 | 页 · PDF |
| Chem World: A Large-Scale Benchmark and Physics-Aware Framework for Trustworthy Molecular Property Prediction | cs.LG | 6 | 页 · PDF |
| Pyrite: Building and Benchmarking Protein-Ligand Pose Ranking Agents | cs.LG | 6 | 页 · PDF |
| Brasilidade: Measuring Brazilian Identity for Large Language Models | cs.CL | 5 | 页 · PDF |
| IFRS Compliance Verification: An Open Multi-LLM Benchmark and Content-Conditioned Ensemble Classifier | cs.CL | 5 | 页 · PDF |
| Pterodactyl: Pushing the Limits of Efficient Automated Translation Evaluation | cs.CL | 5 | 页 · PDF |
| HandsOnAid: Building and Evaluating an Offline First-Aid Assistant for Emergency Response Scenarios | cs.CL | 4 | 页 · PDF |
| Verifiable Agentic Traffic Class: A Policed Quality-of-Service Mechanism for Agentic AI Traffic, Evaluated from Simulation to Real-Kernel Adversarial Testing | cs.LG | 3 | 页 · PDF |
| Multimodal Graph Learning: A Survey of Models, Benchmarks, and Frontiers | cs.LG | 2 | 页 · PDF |
| Deterministic, Reproducible Inference in Exact Integer Arithmetic, and Verifiable Distributed Inference as Its Consequence | cs.LG | 2 | 页 · PDF |
| Temporal Behavior Trees for Reinforcement Learning: Specifications as Rewards, Curricula, and Diagnostics | cs.LG | 2 | 页 · PDF |
| Parallel Broyden Methods for Efficiently Evaluating Nonlinear State Space Models | cs.LG | 0 | 页 · PDF |
| Beyond the Log-Linear Frontier: Pre-Asymptotic Analysis of Finite-Budget Neural Scaling Laws | cs.LG | 0 | 页 · PDF |