跳转至

Benchmarking Language Models for Statistical Problem Formulation

作者: Chen Wang, Junzhe Zhao, Xin Cong, Wanlu Deng, Ke Deng
来源: XAGI 2026 交叉智能大会 · Session 14 Agent技术及应用 · 返回会议场次
报告: Benchmarking Language Models for Statistical Problem Formulation · 讲者 从鑫(清华大学 · 统计与数据科学系)
论文: arXiv:2609.01982

本页是会议报告的对应论文长篇精读;会议现场的报告摘要见场次页。


一、领域脉络与小综述

这个方向是什么

这篇论文所研究的核心问题是:当用户带着非正式的、自然语言描述的分析需求("我想知道这个药有没有用")和一堆异构数据(原始表格、摘要统计量、甚至只是文字描述)出现时,大语言模型(LLM)能否可靠地完成"统计问题公式化"(Statistical Problem Formulation)这一步——即推断出用户真正想要的统计任务类型(是假设检验?预测?还是仅仅画个图?),并识别出完成该任务所需的具体数据变量及其在分析中的角色(自变量、因变量、还是无关变量)。这个方向处于"LLM 作为统计助手"这一更宏大议题的最上游:在代码生成、结果解释等环节之前,模型必须先搞清楚"要解决什么问题"。它的成熟度较低——现有基准大多假设分析目标已给定,而本文试图填补的正是"目标未给定"这一空白。

发展脉络(history)

奠基工作:LLM 作为统计推理者的初步检验。 这一领域的起点是评估 LLM 是否具备基础的统计与数据推理能力。StatQA(Zhu et al., 2024)是其中的代表,它构建了 11,623 个示例,专门评估 LLM 在"给定明确问题"前提下的方法适用性判断和变量选择能力。作者在引用时指出,StatQA 的设定是"pre-formulated questions over structured tables"——即问题已经被明确表述,模型只需在给定框架内做选择。这一定位很关键:它把"问题已经存在"当作默认前提。

主要进展:从"给定问题"到"执行任务"。 第二条线索将评估从"推理"扩展到"执行"。DA-Code(Huang et al., 2024)和 DataSciBench(Zhang et al., 2025)聚焦于代码生成——给定明确的分析任务,模型需要写出正确的数据处理和分析代码。ScienceAgentBench(Chen et al., 2025)、LMR-Bench(Yan et al., 2025)、DSBench(Jing et al., 2025)和 BLADE(Gu et al., 2024)则进一步将评估扩展到完整的数据驱动科学工作流,包括数据清洗、建模、结果解释等环节。作者在引言中评价这些工作"increasingly consider intermediate decisions, but they still largely assume that research questions or analytical objectives have been given"——即它们虽然考虑了中间决策,但依然假设研究问题或分析目标已被给定。

当前 frontier:问题公式化的缺失。 与本文最接近的平行工作是优化建模领域的系列基准。NL4Opt(Ramamonjison et al., 2022)及其后续工作 OptiMUS(AhmadiTeshnizi et al., 2024)、Chain-of-Experts(Xiao et al., 2024)、ORLM(Huang et al., 2025)、LLMOPT(Jiang et al., 2024)、OptiBENCH(Yang et al., 2024)等,已经明确将"公式化"(formulation)作为核心评估目标——即从自然语言描述中提取优化问题的目标函数、约束条件和决策变量。作者在引用时特别指出,这些工作"treat formulation as an explicit target rather than a hidden precursor to solving"——即把公式化当作显式目标而非求解的隐含前置步骤。但作者同时强调,优化建模的公式化空间是相对固定的(目标+约束+变量),而统计问题公式化的空间则更加开放和异构(任务类型多样、数据形式多样、角色分配更微妙)。此外,医学计算领域的 MedCalc-Bench(Khandekar et al., 2024)和 MedRaC(Wang et al., 2025)评估了公式选择、实体提取和计算能力,但它们聚焦于"给定公式库后的选择",而非从零开始的问题推断。

本文的位置:作者将统计问题公式化定义为两个子任务——统计问题分类(粗粒度+细粒度的两层标签体系)和变量识别与角色分配(识别相关变量并标注其分析角色)。本文的贡献在于:(1) 首次将"问题公式化"从优化建模领域引入统计领域并形式化;(2) 构建了一个跨领域、跨数据形式的基准(教科书+案例库,1,013 个样本,20 粗类/85 细类);(3) 系统评估了 14 个 LLM,发现当前模型在此任务上表现不佳,且不同模型在不同子任务上各有优劣。

子线索聚类

这些被引文献大致落在三条子线索上:

  1. 统计推理与知识评估(StatQA, QRData, StatEval, ClimateViz):评估 LLM 对统计概念、方法适用性和数据推理的理解。共同特点是问题已明确,模型只需在给定选项或框架内作答。StatEval(Lu et al., 2026)是这一线索的最新扩展,覆盖从本科到研究级别的统计推理任务。

  2. 数据科学执行与代码生成(DA-Code, DataSciBench, ScienceAgentBench, LMR-Bench, DSBench, BLADE):评估 LLM 在给定分析目标后,能否完成数据预处理、建模、结果解释等执行环节。共同特点是目标明确,评估重点在"怎么做"而非"做什么"。

  3. 问题公式化(NL4Opt, OptiMUS, Chain-of-Experts, ORLM, LLMOPT, OptiBENCH, MedCalc-Bench, MedRaC):评估 LLM 从非正式描述中提取正式问题结构的能力。优化建模领域已较为成熟,医学计算领域正在起步,而统计领域此前尚属空白——这正是本文的切入点。

这个方向在追问的核心问题

  1. 问题推断的歧义性:同一个自然语言描述可能对应多种统计任务("比较两个组的差异"既可能是 t 检验,也可能是 Mann-Whitney U 检验,还可能是可视化)。模型如何在不明确询问的情况下做出正确推断?
  2. 异构数据的理解:数据可以以原始表格、摘要统计量(均值、标准差)、文字描述等多种形式呈现。模型能否跨越这些形式识别出同一变量的不同表示?
  3. 角色分配的微妙性:一个变量在某个问题中是自变量,在另一个问题中可能是无关变量,甚至同一个变量可能同时扮演两个角色(如配对检验中的差值)。模型能否理解这种上下文依赖性?
  4. 任务分类的粒度:粗粒度分类(如"假设检验")相对容易,但细粒度分类(如"比例检验"vs"均值检验")需要更精细的统计推理。当前模型在哪个粒度上失效?

⚠️ 作者的 framing(这是作者的说法)

作者将缺口 frame 成:"现有评估假设分析目标已给定,但实际用户往往只带着模糊的需求和数据而来,模型必须先完成问题公式化。" 这一 framing 使得本文成为"显然的下一步"——既然执行能力已被充分评估,那么上游的公式化能力自然成为下一个评估对象。作者淡化的竞争路线包括:(1) 交互式问题澄清(即模型主动询问用户以消除歧义)——作者选择的是单轮零样本评估,回避了多轮交互这一更复杂的设定;(2) 端到端的完整统计咨询评估——作者将公式化从后续分析中剥离出来单独评估,回避了"公式化错误是否会被后续步骤纠正"这一更现实的问题。

值得研究者去查的问题:作者在引言中提到了优化建模领域的公式化基准,但没有引用任何关于"LLM 主动提问澄清需求"(active clarification / question asking)的工作。这类工作是否存在?如果存在,作者回避它的理由是什么?另外,作者引用了 StatQA 但未引用其后续的因果推理基准(如 CausalBench 等),这是否意味着作者有意将"因果推断"排除在统计问题公式化的范畴之外?

张力

未见明显对立引用。各条线索之间的差异更多是"评估对象不同"而非"结论矛盾"。不过有一个微妙的张力值得注意:StatQA 的评估显示 LLM 在"给定问题后的变量选择"上表现尚可(最佳约 64.8%),而本文的评估显示 LLM 在"从模糊描述中推断问题"上表现较差(最佳 72.0% 粗分类 / 63.2 变量重叠)。这两者之间的差距——即"问题已给定"与"问题需推断"之间的性能落差——正是本文的核心发现,也是后续研究可以深挖的方向。


二、最核心、最简单的例子 / 数学问题

第一步:符号、模型、可观测数据

在展开本文的技术细节之前,先把记号立清楚。本文的核心对象是一个三元组输入和一个二元组输出:

输入(可观测的,研究者实际能拿到的东西): - \(B\):背景描述(background),一段自然语言文本,描述问题发生的场景。例如:"某医院使用 A 药进行术后疼痛管理,历史记录显示 85 名患者的平均疼痛缓解为 3.2 分(SD=2.1)。该医院最近在 15 名患者中试用了 B 药。" - \(Q\):用户请求(question),一段自然语言文本,表达用户想做什么。例如:"我们应该继续使用 A 药还是改用 B 药?" - \(D\):数据(data),形式异构。可以是原始表格(行=观测,列=变量)、摘要统计量(如 \(\bar{x}=3.2, s=2.1, n=85\))、列联表、文字描述,甚至可以是空(当问题本身包含足够信息时)。

输出(模型需要预测的,也是评估的对象): - \(c = (c_{CG}, c_{FG})\):统计问题类别,是一个两层标签。\(c_{CG} \in \mathcal{C}_{CG}\) 是粗粒度类别(共 20 个,如"假设检验与区间估计"、"数据可视化"、"数学计算"),\(c_{FG} \in \mathcal{C}_{FG}\) 是细粒度类别(共 85 个,如"均值检验"、"比例检验"、"连续变量分布可视化")。注意:\(c_{FG}\) 是 \(c_{CG}\) 的子类,即 \(c_{FG}\) 的取值隐含了 \(c_{CG}\) 的取值。 - \(V = \{v_1, \ldots, v_k\}\):变量集合,每个变量 \(v_i\) 是一个四元组 \(v_i = (id_i, desc_i, value_i, role_i)\),其中: - \(id_i\):变量标识符,通常取自 \(D\) 中的列名或 \(B\) 中提到的名称(如 "DrugA_red")。 - \(desc_i\):变量的领域含义描述(如 "A 药疼痛缓解的摘要统计量")。 - \(value_i\):变量的值,可以是数组(原始列)、JSON 对象(摘要统计量)、或标量。 - \(role_i \in \{\text{predictor}, \text{response}, \text{both}, \text{N/A}\}\):变量在分析中的角色。predictor = 自变量/解释变量,response = 因变量/结果变量,both = 无方向关联(如相关分析中的两个变量),N/A = 无方向角色(如标识符、过滤变量、单变量分布中的变量)。

关键区分——可观测 vs. 潜在:这里没有潜在变量(counterfactual)或因果图结构。\(B, Q, D\) 全部是可观测的;\(c\) 和 \(V\) 是研究者定义的"标准答案",由领域专家根据原始教材/案例的解题过程标注。评估的核心是:给定 \((B, Q, D)\),模型预测的 \((\hat{c}, \hat{V})\) 与标准答案 \((c, V)\) 的吻合程度。注意 \(V\) 的评估不是简单的集合匹配,而是基于 \(value_i\) 的精确字符串匹配(见下文指标)。

评估指标(本文定义的,用于量化"吻合程度"): - 分类指标:粗粒度准确率 \(ACC_{CG} = \frac{1}{N}\sum_{j=1}^N \mathbb{1}[\hat{c}^{(j)}_{CG} = c^{(j)}_{CG}]\),细粒度准确率 \(ACC_{FG} = \frac{1}{N}\sum_{j=1}^N \mathbb{1}[\hat{c}^{(j)}_{FG} = c^{(j)}_{FG}]\)。 - 变量指标:Jaccard 系数 \(JCV = \frac{1}{N}\sum_{j=1}^N \frac{|M^{(j)}|}{|\hat{V}^{(j)}| + |V^{(j)}| - |M^{(j)}|}\),其中 \(M^{(j)}\) 是预测变量与参考变量中 \(value\) 字段完全匹配的对。变量精确率 \(PV\) 和召回率 \(RV\) 分别衡量预测变量中有多少是对的、参考变量中有多少被找到。变量角色识别 \(VRI\) 衡量匹配变量中角色标注正确的比例。

第二步:最小内核

把本文的所有技术细节剥掉,支撑整篇论文的最小内核是这样一个问题:

给定一段自然语言描述(含背景、请求、数据),判断它属于哪个统计任务类型,并找出完成该任务所需的变量及其角色。

用一个最简例子来说明。假设输入是:

  • \(B\):"某医院用 A 药和 B 药治疗术后疼痛,记录了 100 名患者的疼痛缓解评分。"
  • \(Q\):"A 药和 B 药的疼痛缓解效果是否有显著差异?"
  • \(D\):一个两列表格,第一列是药物分组(A/B),第二列是疼痛缓解评分。

标准答案是: - \(c = (\text{假设检验与区间估计}, \text{均值检验})\)——因为"是否有显著差异"暗示了假设检验,而两组连续变量的比较对应均值检验(如 t 检验)。 - \(V = \{v_1, v_2\}\),其中 \(v_1 = (id=\text{drug}, desc=\text{药物分组}, value=[A,B,A,\ldots], role=\text{predictor})\),\(v_2 = (id=\text{pain\_relief}, desc=\text{疼痛缓解评分}, value=[3.2, 5.8, \ldots], role=\text{response})\)。

这个例子虽然简单,但已经包含了本文的全部核心要素: 1. 问题类型推断:从"是否有显著差异"推断出假设检验,而不是预测或可视化。 2. 变量识别:从表格中识别出两个相关变量,排除可能存在的无关列(如患者 ID)。 3. 角色分配:药物分组是 predictor(自变量),疼痛缓解是 response(因变量)。

本文的全部工作——基准构建、评估协议、14 个模型的实验——都是围绕这个最小内核展开的。更复杂的例子(如摘要统计量作为数据、多组比较、时间序列)只是在这个内核上增加难度,不改变问题的本质结构。

为什么这个内核是"难"的:难点不在于统计知识本身(区分 t 检验和卡方检验对 LLM 来说并不难),而在于从非结构化、含噪声的自然语言中提取结构化的统计意图。用户不会说"请对两组均值做双样本 t 检验",而是说"我们应该继续用 A 药还是换 B 药?"——这需要模型理解"换药"背后的决策意图是"比较效果",而"比较效果"在统计上对应"假设检验"。此外,数据形式的异构性(原始表格 vs 摘要统计量 vs 文字描述)要求模型在不同表示之间建立等价关系。本文的实验表明,当前 LLM 在这两点上都表现不佳。


三、这篇论文做了什么

三句话

  1. 研究了什么问题:LLM 能否从非正式的自然语言描述和异构数据中,可靠地完成统计问题公式化——即推断统计任务类型(粗粒度+细粒度)并识别相关变量及其分析角色。
  2. 核心工具/方法:构建了 STATFORMBENCH 基准(1,013 个样本,来自 5 本跨领域统计教材和 1 个数据科学案例库,覆盖 20 粗类/85 细类),设计了两个子任务(分类、变量识别与角色分配)及对应的评估指标(\(ACC_{CG}\), \(ACC_{FG}\), \(JCV\), \(PV\), \(RV\), \(VRI\)),并评估了 14 个开源和闭源 LLM。
  3. 主要结论:当前最强模型在细粒度分类上仅达 72.0% 准确率,在变量识别上 Jaccard 系数仅 63.2,且没有任何模型在两个子任务上同时最优;模型在教科书样本上的分类表现优于案例库样本,但变量识别表现相反;提示策略(如提供类别定义)只能带来有限且不一致的提升。

关键设定与假设

数据来源与构建流程。基准由两个子集构成: - 教科书子集(629 个样本):来自 5 本跨领域统计教材(公共卫生、商业经济、可靠性分析、环境科学、临床研究),覆盖从基础到高级的统计问题。原始材料是教材中的习题,包含问题陈述、参考解答和数据。构建流程为:先用 LLM(GPT-4o)将习题拆分为独立的子问题,再由 LLM(Claude Opus 4.6)生成初始的类别和变量标注,最后由博士级统计专家逐条审核修正。 - 案例库子集(384 个样本):来自 GouXiongHui 数据科学案例库,每个案例包含完整的分析报告、数据和代码。构建流程类似,但问题是从分析报告中归纳出来的,而非直接取自习题。

类别体系。20 个粗粒度类别涵盖:数据预处理、数学计算、描述性统计、数据可视化、假设检验与区间估计、关联分析、回归建模、分类与预测、聚类、降维、时间序列分析、生存分析、实验设计、因果推断、文本分析、网络分析、贝叶斯推断、模拟与重抽样、统计质量控制、其他。85 个细粒度类别是粗类别的细分,如"假设检验与区间估计"细分为均值检验、比例检验、方差检验、分布检验、独立性检验、非参数检验、区间估计等。

变量角色体系。四类角色:predictor(自变量)、response(因变量)、both(无方向关联)、N/A(无方向角色)。角色分配是问题条件化的——同一个变量在不同问题中可能有不同角色。

评估协议。零样本评估:模型仅收到任务描述和输入三元组 \((B, Q, D)\),不提供任何示例。输出格式为 JSON,包含类别和变量列表。变量匹配基于 \(value\) 字段的精确字符串匹配,不进行语义匹配或模糊匹配。

关键假设(作者明确或隐含的): - 单轮评估假设:模型必须在一次调用中完成公式化,不能向用户提问澄清。这排除了交互式公式化的可能性。 - 精确匹配假设:变量匹配要求 \(value\) 字段完全一致。这意味着模型必须从数据中提取原始值,而不是重新表述。作者在附录 E.1 中通过人工验证表明,精确匹配导致的误判率仅约 10%,因此不会显著影响结论。 - 类别体系完备性假设:20 粗类/85 细类的体系被假定能覆盖所有可能的统计问题类型。作者承认体系会随数据增长而扩展。

相比已有文献的差异: - 相比 StatQA(Zhu et al., 2024):StatQA 的问题已明确("给定问题,选方法、选变量"),本文的问题需推断("从模糊描述中判断问题类型")。本文的输入更接近真实场景。 - 相比 DA-Code / DataSciBench(Huang et al., 2024; Zhang et al., 2025):这些基准聚焦代码生成,目标明确;本文聚焦公式化,目标需推断。 - 相比 NL4Opt / OptiMUS(Ramamonjison et al., 2022; AhmadiTeshnizi et al., 2024):优化建模的公式化空间相对固定(目标+约束+变量),本文的统计公式化空间更开放(20 粗类/85 细类+异构数据形式)。

主要结果

分类任务: - 粗粒度分类:最佳模型(Gemini 3.1 Pro)达 79.0% 准确率,但细粒度分类降至 72.0%。 - 细粒度分类:所有模型在区分相近细类(如"均值检验"vs"中位数检验")时表现不佳,错误集中在需要理解数据分布特征的场景。 - 跨数据源差异:所有模型在教科书子集上的分类准确率显著高于案例库子集(例如 Gemini 3.1 Pro 在教科书上 83.8%,在案例库上仅 52.6%)。作者归因于案例库问题的开放性和领域多样性。

变量识别与角色分配: - Jaccard 系数(JCV):最佳模型(Claude Opus 4.6)仅 63.2,意味着平均有近 37% 的变量未被正确识别。 - 精确率(PV)与召回率(RV):最佳 PV 由 Gemini 3 Flash 取得(66.1),最佳 RV 由 Claude Opus 4.6 取得(72.9)。高 PV 低 RV 的模型倾向于保守(少报变量),反之则倾向于激进(多报变量)。 - 角色分配(VRI):最佳模型(Claude Opus 4.6)达 66.2,但错误集中在 predictor/response 混淆,尤其是在需要理解因果方向的场景(如"药物影响疼痛缓解"中,药物是 predictor,疼痛缓解是 response)。

提示策略的影响: - 提供类别定义:细粒度分类提升 1.9–3.8 个百分点,但对变量识别无一致影响。 - 少样本提示:效果不稳定,部分模型在 1-shot 时下降,3-shot 时回升,但均未超过零样本最佳水平。 - 思维链提示:对分类任务无显著提升,对变量识别任务有小幅提升(约 2 个百分点),但增加了输出长度和推理成本。

跨模型对比: - 闭源模型(Claude、GPT、Gemini)整体优于开源模型(DeepSeek、Qwen、Kimi),但差距在变量识别任务上小于分类任务。 - 模型规模效应明显:Qwen3.5 系列从 0.8B 到 397B,分类准确率从 7.7% 提升至 70.6%,但 9B 到 397B 的提升幅度(约 5 个百分点)远小于 0.8B 到 9B 的提升幅度(约 58 个百分点),暗示规模收益递减。 - 没有模型在两个子任务上同时最优:Gemini 3.1 Pro 在分类上领先,Claude Opus 4.6 在变量识别上领先。

真实例子与应用

例子 1(教科书子集,GPT-5.4 的典型错误): - 输入背景:"在 41 名患者中,26 名患者的肿瘤位于使用手机的同侧。计算偏离均匀分布基准的标准化证据分数。" - 标准答案:类别 =(假设检验与区间估计,比例检验);变量 = {same_side_count(响应变量,值=26), total_patients_count(N/A,值=41), hypothesized_proportion(N/A,值=0.5)}。 - GPT-5.4 预测:类别正确,但额外提取了 observed_same_side_proportion(值=26/41≈0.634)作为变量。这是一个冗余的派生量——标准答案只记录原始计数和假设比例,不记录派生比例。这反映了模型倾向于"过度提取"派生统计量,而非仅提取原始数据对象。

例子 2(案例库子集,DeepSeek-V4-Pro 的典型错误): - 输入背景:"短租平台(如 Airbnb)的评论数据,包含评论长度、评分、房型等字段。" - 问题:"评论长度的分布是什么样的?" - 标准答案:类别 =(数据可视化,连续变量分布);变量 = {review_length(N/A,值=整列数据)}。 - DeepSeek-V4-Pro 预测:类别正确,但将 review_length 的角色标注为"响应变量"而非"N/A"。在单变量分布分析中,不存在方向性关系,因此角色应为 N/A。这反映了模型在"无方向性"场景中倾向于强行分配方向角色。

例子 3(跨数据源差异的典型体现): - 教科书子集问题通常有明确的统计术语线索(如"检验""置信区间""p 值"),模型容易识别。 - 案例库子集问题使用业务语言(如"我们应该继续用 A 药还是换 B 药?"),模型需要先推断"换药"背后的决策意图是"比较效果",再映射到"假设检验"。这一推断过程是当前模型的主要失败点。

这些例子想说明什么:它们共同展示了统计问题公式化的两个核心难点——(1) 从自然语言中推断统计意图(分类任务),(2) 从异构数据中提取原始数据对象并正确分配角色(变量识别任务)。当前模型在两者上都存在系统性缺陷,且缺陷模式与数据源和问题类型高度相关。

🔎 结论是否比证明窄

明确的窄结论: - 作者在结论中声称"当前 LLM 在统计问题公式化上表现不佳",但这一结论严格基于零样本、单轮、无交互的评估设定。作者在 Limitations 中承认"样本来自教材和案例库,而非真实咨询场景",因此结论的外推范围有限。 - 作者声称"提示策略收益有限",但这一结论仅针对类别定义和少样本两种策略,未测试更复杂的提示工程(如思维链、自我一致性、工具调用等)。

隐含的宽结论: - 作者在摘要中暗示"统计问题公式化是 LLM 统计助手的瓶颈",但论文并未直接比较公式化错误与后续执行错误的相对影响。这一判断是合理的推测,但缺乏直接证据。 - 作者在结论中建议"需要更紧密的领域知识集成",但未指明具体形式(检索增强?微调?工具调用?),这更像是一个方向性建议而非已验证的结论。

值得注意的未验证声明: - 作者在引言中声称"现有评估假设分析目标已给定",但未系统性地验证这一假设在多大程度上成立——即未量化"目标已给定"与"目标需推断"之间的性能差距。虽然表 1 的结果间接支持这一差距,但缺乏直接对照实验。 - 作者在附录 E.1 中报告精确匹配的误判率约 10%,但未报告误判的具体模式(哪些类型的变量更容易被误判),这限制了读者对 JCV 指标的解释。


四、开放问题

以下开放问题均扎根于论文的具体语句或实验发现,只罗列、不判断可行性:

  1. 交互式公式化的评估(扎根于 Limitations:"samples are derived from solved textbook exercises and a case library rather than real-world statistical consultations"):论文选择单轮零样本评估,但真实统计咨询往往是多轮交互的——用户会澄清需求、补充信息。一个自然的开放问题是:如果允许模型主动提问(如"您是想比较两组的均值吗?"),公式化性能会提升多少?这需要构建一个交互式评估协议,而不仅仅是静态基准。

  2. 类别体系的完备性与动态扩展(扎根于附录 B 的类别体系描述):20 粗类/85 细类的体系被假定为完备的,但作者承认"会随数据增长而扩展"。一个开放问题是:如何自动检测现有类别体系无法覆盖的新问题类型?这涉及到类别体系的动态维护,而非一次性构建。

  3. 变量匹配的语义等价(扎根于附录 E.1 的精确匹配验证):当前匹配基于 \(value\) 字段的精确字符串匹配,虽然误判率仅约 10%,但这一数字是在特定子集上测得的。一个开放问题是:如何设计更鲁棒的匹配协议,能够识别语义等价但形式不同的变量表示(如"均值=3.2, SD=2.1"与"\(\bar{x}=3.2, s=2.1\)")?这需要引入语义匹配或规范化步骤。

  4. 公式化错误的传播效应(扎根于结论中"leaving statistical problem formulation beyond the reliable reach of current LLMs"):论文只评估了公式化本身的准确性,未追踪公式化错误对下游分析(如代码生成、结果解释)的影响。一个开放问题是:公式化错误是否会被后续步骤放大或纠正?这需要构建一个端到端的评估框架,将公式化与执行串联起来。

  5. 跨语言与跨文化效应(扎根于案例库子集的中文来源):案例库子集来自 GouXiongHui(中文数据科学社区),而教科书子集是英文的。论文未分析语言和文化背景对公式化性能的影响。一个开放问题是:模型在中文场景下的公式化错误模式是否与英文场景不同?这需要分语言子集进行细粒度分析。

  6. 因果推断问题的公式化(扎根于类别体系中"因果推断"的存在但未展开讨论):类别体系包含"因果推断"(如 IV、DiD 估计),但论文未单独分析这类问题的公式化难度。一个开放问题是:因果推断问题的公式化是否比关联分析问题更难?这需要将因果类别的样本单独拿出来分析错误模式。

关于验证 gap 的建议:要确认上述某条是否是真 gap,建议去读统计教育、LLM 评估、因果推断基准这三个子领域近期约 5 篇论文的引言——如果多篇论文都指向同一个未解决问题,那大概率是真 gap;如果各论文对问题的表述互相矛盾,那可能是机会所在。


Maintained by 陈星宇 · Homepage · Source

评论