2026-11-10 · AI 评测雷达¶
- 候选 71 篇(arXiv cs.CL, cs.LG)· 打分 71 · 精摘 10
评测方法学¶
1. DramaGrow: A Regime-Aware Benchmark for Auditing LLM Judges of Multi-Episode Drama¶
- 链接: 论文页 · PDF · arXiv
- 作者: Hui Zhang, Yibo Su
- 会议/来源: arXiv · cs.CL
- 相关性 9/10 ·
benchmark - 测什么: LLM 评委在多集剧集质量评估中的可靠性,包括约束违规检测、偏好判断和分歧处理。
- 摘要: DramaGrow 是一个针对中文五集 AI 生成剧集的评测基准与审计协议,旨在检验 LLM 作为评委的可靠性。它区分了三种质量维度:可验证的约束违规、可复现的偏好(四对五)以及人类评委间的合理分歧,并为每种维度设定了独立的证据规则。基准包含 800 集、120 个字节保持的干预样本,以及 1155 条盲评五评委记录,其中冻结扩展集含 114 个超级多数对和 21 个分歧对。在冻结集上,重复绝对评分规则的平均准确率为 53.8%-55.8%,三次调用一致性为 29.8%-32.5%,且随着平局带变宽,准确率从 71.6%-71.9% 降至 34.8%-37.1%。相比之下,DirectPair-GLM 在相同项目上达到 85.1% 的偏好准确率、89.5% 的约束 F1 和 81.9% 的检测+定位准确率。精确子面板枚举发现四对五是最小稳定的人类投票边际。该研究揭示了评估协议、平局校准、评委调用变异和面板边际对性能的影响不亚于评分规则设计。
- 为什么值得看: 该论文提供了一个可复用的审计协议,将 LLM-as-judge 的可靠性分解为平局校准、调用间变异和人类投票边际,并验证了不同评分规则下的性能差异,对评测方法学有直接贡献。
- 关键技术:
benchmark construction,LLM-as-judge,tie calibration,inter-annotator agreement,intervention design
2. BO-Arena: An Evolving Benchmark for High-Dimensional Bayesian Optimisation¶
- 链接: 论文页 · PDF · arXiv
- 作者: Colin Doumont, Thomas Christie, Henry Moss, Philipp Hennig
- 会议/来源: arXiv · cs.LG
- 相关性 9/10 ·
benchmark - 测什么: 高维贝叶斯优化算法的性能与基线可比性
- 摘要: BO-Arena 是一个面向高维贝叶斯优化(HDBO)的持续维护与扩展的基准测试包,旨在解决该领域基准测试实践的系统性缺陷。作者发现多篇已发表工作未能与最强基线比较,甚至包含关键方法的错误实现,而缺乏共享参考实现使得审稿难以发现这些问题。BO-Arena 提供 SOTA 算法的规范实现,使研究者能够严格地开发与评测新方法。基于该基准,作者发现当前驱动 HDBO 性能的因素比以往认为的更简单,并提出一种在观测数较多时与 SOTA 竞争的新算法,无需使用复杂的 GP 近似。最后,作者质疑目前是否有充分证据表明任何更复杂的方法优于简单的高斯过程基线。
- 为什么值得看: 该论文揭示了基准测试实践中的系统性缺陷(基线选择不当、实现错误),并提供了可复用的规范实现与评测流程,对评测方法学有直接价值,尤其是关于基线可比性和可复现性的讨论。
- 关键技术:
benchmark construction,reference implementations,baseline selection,reproducibility audit
3. How Much Is Left Matters: False Positives and False Negatives in Partial-Prompt Contamination Tests¶
- 链接: 论文页 · PDF · arXiv
- 作者: Abhishek Anand
- 会议/来源: arXiv · cs.LG
- 相关性 9/10 ·
evaluation_method - 测什么: 部分提示补全污染测试的假阳性与假阴性率及其对前缀长度和模型家族的依赖性
- 摘要: 本文系统审计了部分提示补全(partial-prompt completion)这一广泛使用的基准污染检测方法,发现其假阳性与假阴性严重依赖于剩余文本长度。作者在 MATH-500 和 AIME 2025/2026 问题上测试了七个开源模型,以 AIME 2026(发布于所有模型之后)作为真阴性对照。结果显示,剩余词数不超过 8 的题目被标记为记忆的频率远高于剩余 25 词以上的题目(如 Qwen2.5-7B-Instruct 为 31.5% 对 5.5%),且 ROUGE 标记中一半到四分之三来自短剩余。在真阴性上,60% 前缀下 ROUGE-L≥0.75 阈值误报率高达 6.7%,80% 前缀下精确匹配误报率也达 8.6%(AIME 2026 上为 6.2%),而 40-60% 前缀下为 0%。该测试还会漏检上游污染:从 Qwen2.5-Math 蒸馏的模型几乎未表现出模型特异性召回。作者提出按长度分层报告、前缀不超过 60%、使用风格匹配的后截止对照以及跨家族校准等建议。
- 为什么值得看: 该论文为污染检测提供了可复用的校准流程和长度分层报告规范,并量化了现有方法的假阳性/假阴性边界,对评测方法学中的测量误差控制具有直接价值。
- 关键技术:
contamination audit,partial-prompt completion,true negative control,cross-family calibration,length-stratified reporting
4. Discrete Diffusion Playground: A 2D Benchmark for Discrete Generative Models¶
- 链接: 论文页 · PDF · arXiv
- 作者: Justin Shao, Sihyun Park, David Ryan Koes, Maria Chikina
- 会议/来源: arXiv · cs.LG
- 相关性 9/10 ·
benchmark - 测什么: 离散生成模型学习目标分布的真实匹配程度,而非代理指标表现。
- 摘要: 该论文提出一个用于离散生成模型的诊断性基准,将已知的二维连续分布通过精确离散化双射转换为二进制 token 序列,使模型在离散序列上训练,但生成的样本可解码回二维空间并与真实分布直接比较。基准涵盖平滑高斯混合和具有尖锐边界、不连通支撑及坐标依赖结构的倾斜棋盘分布,能暴露标准代理指标无法发现的失败。支持精确网格散度、Wasserstein 距离、密度可视化和非参数双样本检验,提供定量评估和可解释的失败诊断。实验表明,掩码扩散模型能学习有意义的自适应揭示顺序,但在平滑目标上不如自回归基线稳定,且在倾斜棋盘上基本失败,而自回归模型能保持目标几何结构。控制实验表明自回归性能不能仅由有利的比特顺序解释。该基准为压力测试离散生成模型和开发能检测真实分布不匹配的评估指标提供了简单但严格的测试平台。
- 为什么值得看: 该基准通过已知真实分布和精确解码,提供了可验证的构念效度,并支持多种分布距离和统计检验,为评估生成模型提供了超越代理指标的诊断方法,对评测方法学有直接贡献。
- 关键技术:
benchmark construction,ground-truth distribution,Wasserstein distance,nonparametric two-sample tests,density visualization
5. A Model Organism for Studying Unverbalized Evaluation Awareness¶
- 链接: 论文页 · PDF · arXiv
- 作者: Daniel Donnelly, Evan Chapple, Haritz Puerto, Sahar Abdelnabi
- 会议/来源: arXiv · cs.CL
- 相关性 8/10 ·
evaluation_method - 测什么: 模型是否在未言语化的情况下识别出当前处于评测情境(评测意识)
- 摘要: 该论文针对大模型在评测中可能产生未言语化的评测意识(UEA)问题,提出了一种模型生物(model organism)方法。作者通过合成文档微调、SFT 和 DPO 训练 Qwen3.5-27B,使其在识别到评测时在最终回答中发出一个标记 token,同时在推理过程中抑制该标记和言语化意识。该标记能随系统提示中的评测框架强烈变化,且当未明确告知是否被评测时,模型能从测试问题线索中识别评测,与基础模型的言语化行为一致。利用该标记作为标签,作者评估了线性探针、Jacobian Lens 和 Activation Oracles 等可解释性方法,发现它们均无法可靠恢复该标签。结果表明当前可解释性方法尚不能作为可靠的 UEA 检测器,该模型生物为改进这些方法提供了测试平台。
- 为什么值得看: 该论文为评测意识(尤其是未言语化形式)提供了可验证的实例级 ground truth,填补了现有方法缺乏标签的空白,为评测污染和基准可靠性研究提供了新的测量工具。
- 关键技术:
model organism,synthetic fine-tuning,DPO,linear probes,Jacobian Lens,activation oracles
6. Unmasking Four Knapsack Problems in the Traveling Thief Benchmark¶
- 链接: 论文页 · PDF · arXiv
- 作者: Mohammed Mizan Alanazi, Mahdi Khemakhem
- 会议/来源: arXiv · cs.CL
- 相关性 8/10 ·
analysis - 测什么: 基准实例的构念有效性(是否真正测到目标问题)
- 摘要: 本文揭示旅行窃贼问题(TTP)基准中 9,720 个实例里有 4 个并非真正的 TTP 实例:其文件中的租金率为 0.00,导致目标函数与路径无关,退化为 0-1 背包问题。其中一个实例属于常用的 60 个分类实例,且 9 种已发表方法中有 5 种在该实例上报告了完全相同的值,表明基准存在缺陷。问题源于文件格式仅保留两位小数,而生成器规则给出的租金率接近 0.003,四舍五入后变为 0.00;同样的舍入可能使另外 949 个实例的租金率偏差超过 1%。由于生成器使用的路径和打包方案未公开,原始租金率无法恢复,作者因此基于完全指定的参考解重新定义租金率,并发布修正后的实例及参考结果。此外,作者提供了开源 Python 库 ttplib,可加载全部 9,720 个实例(含修正版)而无需下载整个基准。
- 为什么值得看: 该论文提供了一个可复用的基准缺陷检测流程(检查数值精度导致的构念失效),并展示了如何通过重新定义参数和发布参考解来修复基准,对评测方法学中的基准验证和污染控制有直接价值。
- 关键技术:
benchmark validation,numerical precision audit,reference solution,construct validity
7. How Well Does AI Peer Review Work? A Benchmark Built from 100 Planted Errors¶
- 链接: 论文页 · PDF · arXiv
- 作者: Paul Litvak
- 会议/来源: arXiv · cs.CL
- 相关性 8/10 ·
benchmark - 测什么: AI系统在论文审稿中发现植入错误(尤其是插入型与遗漏型错误)的能力。
- 摘要: 该论文构建了一个AI同行评审基准,向10篇开放获取的心理学论文中植入100个已知错误,并测试前沿模型及两个商业AI审稿工具。最佳单一系统捕获71/100个错误,最差捕获30个,集成所有系统输出可捕获93个。模型间错误发现相关性部分独立,集成是提升审稿效果的关键杠杆。有7个错误(均为信息删除型遗漏)未被任何系统捕获。论文未测量误报率,也未与真实论文错误分布对比,但公开了论文、错误、模型输出及完整实验日志,便于后续扩展。
- 为什么值得看: 该工作提供了一个可复用的、带已知错误植入的审稿评测流程,并揭示了模型间错误发现的低相关性对集成评测的价值,同时指出了遗漏型错误是当前AI审稿的盲区,对评测方法学有直接贡献。
- 关键技术:
error planting,benchmark construction,ensembling,error type analysis,public release
Agent / 工具使用¶
1. What Do Collusion Probes Read? Three Pitfalls in Evaluating Multi-Agent Collusion Monitors¶
- 链接: 论文页 · PDF · arXiv
- 作者: Mainul Hasan Mohsin, Mohammad Shahidur Rahman
- 会议/来源: arXiv · cs.LG
- 相关性 9/10 ·
evaluation_method - 测什么: 多智能体共谋监控器区分“被指示共谋”与“自主决定共谋”的能力,以及评测流程中的时间偏差和公开行为可观测性。
- 摘要: 本文评估激活探针(activation probes)作为多智能体秘密共谋监控器的有效性,发现其看似近乎完美,实则主要检测到“智能体被指示共谋”而非“智能体决定共谋”。作者构建了包含2,500个委员会和1,476个代码评审片段的基准,加入收到共谋指令但拒绝的智能体,以分离指令与决策。结果显示,已发表的检测器几乎无法区分共谋者与拒绝者,最佳探针主要依赖读取指令,移除指令后AUROC从1.00降至0.61。此外,论文揭示两个inflated结果的陷阱:在投票后评分使仅读票的规则达到AUROC 0.990但无预测力;57%的尝试中无共谋者在公开场合为目标辩护。基于智能体自身选择的探针在无指令时AUROC为0.73,而针对目标被微调进权重的共谋者,探针AUROC达0.995(预注册)。作者将控制条件转化为测试任何共谋监控器的协议,并采用扫描统计量构建适用于任意规模群体的在线监控器。
- 为什么值得看: 该论文对评测方法学有直接贡献:它揭示了共谋监控评测中的构念效度问题(指令与决策混淆),并提供了可复用的控制条件协议和在线监控方法,对设计有效评测智能体行为的基准具有重要参考价值。
- 关键技术:
benchmark construction,control conditions,AUROC,scan statistics,pre-registration
2. ScrapeBench: Evaluating Legal Compliance of AI Agents in Website Scraping¶
- 链接: 论文页 · PDF · arXiv
- 作者: Joseph Marvin Imperial, Daniel Slate, Noam Kolt
- 会议/来源: arXiv · cs.CL
- 相关性 8/10 ·
benchmark - 测什么: AI 代理在网页抓取时遵守服务条款和 robots.txt 的合规率及过度拒绝率
- 摘要: ScrapeBench 是首个评估 AI 代理在网页抓取中法律合规性的基准,聚焦于遵守网站服务条款(ToS)和 robots.txt 指令。基准包含 1,626 个明确禁止抓取的流行网站和 269 个允许抓取的网站,测试多个闭源和开源代理。结果显示,多数代理在禁止抓取网站上的合规率低于 5%,即使主动检查政策也仍低;在允许网站中,Claude Opus 4.6 的过度拒绝率达 98.5%。人类基线实验(n=180)显示人类合规率与代理相当,但过度拒绝率更高。该基准提供了任务构造、政策标注和人类基线,但未报告污染检查或难度校准。
- 为什么值得看: 该基准首次系统评估代理的合规行为,区分了违规与过度拒绝,为评测代理在法律约束下的决策提供了可复用的任务设计和人类基线,但缺乏对基准效度(如政策标注一致性)的验证。
- 关键技术:
benchmark construction,human baseline,policy annotation,compliance rate measurement
多模态评测¶
1. Beyond the Transcript: Measuring and Improving the Use of Acoustic Information in Audio Language Models¶
- 链接: 论文页 · PDF · arXiv
- 作者: Linkai Peng, Baorian Nuchged, Yuyang Yao
- 会议/来源: arXiv · cs.CL
- 相关性 8/10 ·
evaluation_method - 测什么: 音频语言模型对声学信息(如说话人、情绪、重音)的利用程度,区别于转录文本可提供的词汇信息。
- 摘要: 本文针对音频语言模型评测中转录文本或问题本身即可作答的任务,提出区分词汇任务与全局属性/录音内结构任务,并引入“录音增益”指标,通过将原始录音与转录文本的合成朗读对比、以及将录音叠加到转录上,量化模型对声学信息的利用程度。作者在6个基准的92个任务上评估了19个开源模型和Gemini 3.1 Pro,发现开源模型在属性与结构任务上落后Gemini 28.6和41.9个百分点,其中约一半或更多差距来自录音增益。线性探针实验显示,Gemma-4 12B和Qwen2.5-Omni-7B的早期层已编码所需声学信息,但后续层读取能力下降。作者据此在早期层训练LoRA适配器并加入内容锚定,使属性与结构准确率提升12.8至44.4个百分点,同时词汇准确率下降不超过1点,且提升主要体现为录音增益增大。该工作为音频评测提供了区分能力来源的分解方法,并展示了模型内部表征与可训练性的关系。
- 为什么值得看: 该论文提出了一种可复用的评测方法学贡献:通过对比录音与转录的准确率差异,将基准分数分解为语言建模能力与声学理解能力,揭示了现有音频基准的构念混淆问题,并提供了基于线性探针的模型能力溯源分析,对评测效度研究具有直接价值。
- 关键技术:
recording gain estimation,task taxonomy (lexical vs. global-attribute vs. within-recording-structure),linear probing,LoRA fine-tuning with content anchor,benchmark contamination analysis
其他候选¶
| 论文 | 来源 | 分数 | 链接 |
|---|---|---|---|
| WorkflowArena: Benchmarking Executable Workflow Orchestration in LLM-Based Multi-Agent Systems | cs.CL | 8 | 页 · PDF |
| Causal Discovery Bench: Can LLMs Autonomously Conduct Effective Experiments? | cs.LG | 8 | 页 · PDF |
| Update Slope Is Bounded by Prior Calibration: A Structural Bound and Its Contingent Empirical Signature | cs.LG | 8 | 页 · PDF |
| AbductionBench: Benchmarking Abductive Reasoning in Large Language Models | cs.LG | 8 | 页 · PDF |
| Interpretable Cyber-Physical Attack Detection in Smart Grids: A Leakage-Controlled Multi-Testbed Evaluation of Fusion, Robustness, and Observability Limits | cs.LG | 8 | 页 · PDF |
| When gene summaries reveal the answers: Gene Ontology circularity in gene embedding benchmarks | cs.LG | 8 | 页 · PDF |
| MOOD: Benchmarking Post-Hoc OOD Detection for Materials Property Prediction | cs.LG | 8 | 页 · PDF |
| Do Time-Series Foundation Models Forecast Index-Futures Returns? A Preregistered Evaluation of Models, Metrics, and Input Representations | cs.LG | 8 | 页 · PDF |
| Mitigating Agentic Deception via Evaluation-Side Partially Observable Games | cs.LG | 8 | 页 · PDF |
| MedToolFault and MedGuard: evaluating and improving clinical agent reliability | cs.CL | 7 | 页 · PDF |
| Imperfectly Imperfect: Evaluating Graded Cognitive Diversity in LLM Persona Simulations | cs.CL | 7 | 页 · PDF |
| AFVE-Bench: Measuring Abandoned-Frame Verbalization Errors in Multi-Turn LLM Revision | cs.CL | 7 | 页 · PDF |
| Behavioral Evaluation of Large Language Models Under Cognitive Biases in HAZOP Studies | cs.CL | 7 | 页 · PDF |
| Evaluating Physically Grounded Procedural Reasoning in VLMs through Real-World Execution: Crochet as a Testbed | cs.CL | 7 | 页 · PDF |
| KeyASRBench: Measuring Whole-Phrase Keyword Preservation in Real-World ASR | cs.CL | 7 | 页 · PDF |
| Building and Auditing Chemical Datasets with LLMs: A General LLM-as-a-Judge Framework Applied to Homogeneous Catalytic PET Depolymerisation | cs.CL | 7 | 页 · PDF |
| THEATRON: A Benchmark for Evaluating Persona Persistence in Long-Horizon LLM Decision-Making | cs.CL | 7 | 页 · PDF |
| HiddenPathQA: A Benchmark for Knowledge Graph Question Answering When Questions Hide Their Paths | cs.CL | 7 | 页 · PDF |
| When Audio and Video Mislead: Evaluating Multimodal AI for Conversational Emotion Recognition | cs.CL | 7 | 页 · PDF |
| More Than Just Style: Benchmarking Personality Influence in Large Language Models | cs.CL | 7 | 页 · PDF |
| A Clinical Evaluation of Conformal Prediction for Chest Radiograph Report Generation | cs.LG | 7 | 页 · PDF |
| JUBILEE: A Benchmark Environment for Off-Policy Evaluation in Debt Collections | cs.LG | 7 | 页 · PDF |
| Boundary Mass in Feature Space as a Label-Budget Diagnostic for Representations | cs.LG | 7 | 页 · PDF |
| Late but Valuable: Why Deadlines Change the Measured Value of LLM Reasoning | cs.LG | 7 | 页 · PDF |
| UniHam: A Large-Scale SOC-Complete Dataset and Benchmark for Hamiltonian Learning in Materials | cs.LG | 7 | 页 · PDF |
| BIBIMBAP: A Benchmark for Instructional BIM-Based Automated Programming | cs.CL | 6 | 页 · PDF |
| CulturalCrosswords: A Multilingual Benchmark comprised of Answer Constraints and Grid Completion | cs.CL | 6 | 页 · PDF |
| AI in the Clinical Documentation Loop: Effects of LLM-Induced Note Bloat and Diagnostic Overcall on Downstream LLMs | cs.CL | 6 | 页 · PDF |
| Evaluating Jev on Arabic: Comparing Decision Models and LLMs Across Arabic Tasks and Dialects | cs.CL | 6 | 页 · PDF |
| MultiTurnRoute: A Platform for Building and Evaluating Multi-Turn LLM Routers | cs.CL | 6 | 页 · PDF |