Calibrating Semantic Uncertainty from Observable Language-Model Probabilities¶

作者: Matthew F. Dixon
主题: 其他
相关性: 6/10
链接: https://arxiv.org/abs/2607.17447

一、领域脉络与小综述¶

这个方向是什么¶

本文研究的根本问题是：如何将语言模型输出的、依赖于提示词措辞的词语概率，校准为关于一个有限值潜在状态（如诊断、假设、操作条件）的、与提示词无关的后验概率。 核心挑战在于，语言模型是一个“黑箱”条件响应模型，其输出分布受提示词措辞的细微变化影响，而科学决策需要的是对潜在状态的不确定性量化，这个目标后验在证据固定时本应与措辞无关。当前该方向处于“方法百花齐放但缺乏统一统计框架”的阶段：已有大量工作从不同角度（校准、语义熵、提示词置信度）切入，但尚未形成一个将“从词语概率到状态概率”的桥梁定义为可检验的统计估计量、并系统分析其可识别性、误差分解和稳定性的完整框架。本文正是试图填补这个缺口。

发展脉络¶

奠基工作：概率预测与校准的经典理论。 Dawid [1982, 1984] 和 DeGroot & Fienberg [1983] 建立了概率预测的校准与锐度评价框架，Gneiting & Raftery [2007] 系统化了严格适当评分规则。这些理论假设“预测分布”和“结果”都已定义好——而本文的问题恰恰发生在更早一步：语言模型输出的是词语分布，但应用相关的“结果空间”及其与词语分布的关系需要先被定义。Guo et al. [2017] 将校准问题扩展到现代神经网络，发现深度网络往往校准不良，并指出温度缩放是简单有效的后处理校准方法。Conformal inference [Lei et al., 2018, Angelopoulos & Bates, 2023, Vovk et al., 2005] 提供了在可交换性假设下无需正确指定参数模型的有限样本预测覆盖——本文在实验部分使用了 split-conformal 来构建个体场景的误差集。

主要进展：从语言模型中提取不确定性信号。 一条线索直接询问 token 概率或模型显式报告的置信度是否与正确性相关。Jiang et al. [2021] 和 Kadavath et al. [2022] 发现续接似然可以支持问答校准，模型有时能区分自己知道什么和不知道什么。另一条线索训练模型用自然语言表达不确定性 [Lin et al., 2022] 或通过提示词 eliciting 数值置信度 [Tian et al., 2023]。Huang et al. [2024] 提出了“秩校准”（rank-calibration）框架，不要求将异质的不确定性分数映射到同一数值尺度，而是评估更大的报告不确定性是否与更差的生成质量相关。这些工作表明多个可观测的不确定性通道包含信号，但也表明自报告数字和词汇概率是不同的测量——它们不意味着任何一个已经是科学声明的潜在状态的后验。

当前 Frontier：语义不确定性。 自由形式语言产生了一个不变性问题：不同的字符串可能表达相同的意思。Kuhn et al. [2023] 和 Farquhar et al. [2024] 提出了语义熵方法：在测量不确定性之前先对意义等价的生成进行分组，已被证明对检测幻觉有用。Grewal et al. [2024] 用嵌入方法替代硬等价类，提供更平滑的语义表示。Wang & Holmes [2025] 从贝叶斯决策理论出发，用任务特定的相似性和效用定义自然语言生成的主观不确定性和校准。这些贡献推动了语义分组，但它们的首要目标是生成不确定性、正确性、幻觉检测或决策风险——本文问的是一个不同的逆问题：可观测的语言分布能否恢复一个单独定义的参考后验，以及失败能否归因于语义分组、概率计算、未覆盖语言或不稳定的逆映射。

本文的位置。 作者将缺口 frame 为：现有工作提供了预测校准、预测覆盖、elicited 置信度、语义聚合和不确定性排序的工具，但没有联合提供 (i) 从完整词语响应到有限应用状态的声明映射（包括未匹配语言）；(ii) 针对独立指定的参考后验的校准；(iii) 语义、概率质量和逆恢复误差的分解；(iv) 可识别性、呈现稳定性和顺序传播的留出检验。这四个组件定义了本文的贡献，并将“语义映射”与非正式的短语词典或另一个提示词工程配方区分开来。

子线索聚类¶

校准与预测评估：Dawid [1982, 1984], DeGroot & Fienberg [1983], Gneiting & Raftery [2007], Guo et al. [2017], Angelopoulos & Bates [2023], Lei et al. [2018], Vovk et al. [2005]。核心是评估已定义的预测分布的质量，不涉及如何从语言输出中定义这个分布。
语言模型置信度与不确定性：Jiang et al. [2021], Kadavath et al. [2022], Lin et al. [2022], Tian et al. [2023], Huang et al. [2024]。核心是直接从模型输出（token 概率、elicited 数字、自然语言表达）中提取不确定性信号，但不将其与一个外部声明的参考后验联系起来。
语义不确定性：Kuhn et al. [2023], Farquhar et al. [2024], Grewal et al. [2024], Wang & Holmes [2025]。核心是解决“不同字符串表达相同意思”的不变性问题，通过语义分组或嵌入来测量不确定性，但目标通常是检测幻觉或评估生成质量，而非恢复一个独立的参考后验。
逆问题、实验比较与滤波稳定性：Blackwell [1953], Le Cam [1964], Torgersen [1991], Engl et al. [1996], van Handel [2009a,b]。这些是本文借用的数学工具，用于分析信息损失、逆恢复的适定性和顺序测量的误差传播。

核心问题与已知瓶颈¶

如何定义“语义映射”？ 从词语概率到状态概率的桥梁不是唯一的，取决于语义分组的选择。如何将这个过程形式化为一个可检验的统计问题，而不是一个 ad hoc 的工程步骤？
如何分解和量化误差？ 最终的后验估计误差来自多个源头：语义分组错误、概率计算错误、未覆盖的语言质量、逆映射的不稳定性、以及提示词呈现的敏感性。如何将这些来源分开，以便诊断和修复？
逆恢复是否可识别且稳定？ 即使语义映射被定义好，不同的参考后验是否能在语言通道中产生足够不同的信号，使得逆映射是良定的且对噪声不敏感？这是本文定理 3 的核心问题。
顺序更新是否可行？ 在多次提示词交互中，误差是否会累积？本文定理 4 给出了一个确定性上界，但时间均匀的统计保证仍是开放问题。

⚠️ 作者的 framing¶

作者将缺口 frame 为“现有工作没有联合提供四个组件 (i)-(iv)”，从而将本文定位为“显然的下一步”：一个统一的半参数推断框架。作者淡化了或回避了以下竞争路线： - 直接使用 elicited 数值概率：作者通过实验（表 6）表明词汇测量优于数值 elicitation，但并未深入讨论何时 elicitation 可能更好或两者互补。 - 端到端训练一个校准器：本文使用一个低维的仿射校准模型（在 log-ratio 坐标下），而不是更灵活的神经网络校准器。作者在实验部分提到“更灵活的函数类只能在验证数据上选择”，但未深入讨论非线性校准的利弊。 - 将语言模型本身视为一个贝叶斯模型：作者明确拒绝“语言模型揭示了一个不可访问的‘真实信念’”这种说法，坚持将其视为一个条件离散响应模型。这回避了关于语言模型内部表征的复杂讨论，但也限制了框架的解释力。

什么明显该被引 / 该存在、却没出现在 intro 里？ 本文的参考文献非常全面，涵盖了校准、语义不确定性、逆问题和滤波稳定性。一个可能被忽略的领域是因果推断中的代理变量（proximal causal inference），其核心思想也是利用一个可观测的“代理”变量来恢复关于一个潜在变量的信息，这与本文的“语言作为潜在状态的随机测量”有深刻的数学联系。作者在 intro 中提到了“inverse problems”，但未明确指向代理变量文献。这是一个值得研究者去查的问题。

张力¶

未见明显对立引用。各子线索的工作在各自的设定下是自洽的，本文试图将它们整合到一个统一的框架下，而非挑战某个已有结论。

二、最核心、最简单的例子 / 数学问题¶

第一步：符号、模型、可观测数据交代清楚¶

符号： - 状态空间：\(X = \{x_1, \dots, x_K\}\)，有限个潜在状态（如“紧急”、“常规”、“信息不足”）。\(K\) 是状态数。 - 证据：\(Y\)，一个随机变量，代表决策者可观测到的所有证据（如体温、血氧饱和度）。\(y\) 是 \(Y\) 的一个实现。 - 参考后验：\(\pi^\star(y) = (P(X=x_1|Y=y), \dots, P(X=x_K|Y=y)) \in \text{int}(\Delta^K)\)。这是目标量，由决策者声明的概率模型（如贝叶斯网络）定义，与提示词无关。 - 提示词规范：\(u \in \mathcal{U}\)，一个索引，代表将证据 \(y\) 转化为提交给语言模型的文本的规则（包括措辞、顺序、指令等）。 - 提交的上下文：\(c = C_u(y)\)，由提示词规范 \(u\) 和证据 \(y\) 产生的具体文本字符串。 - 语言模型条件分布：\(Q_u(\cdot | c)\)，在给定上下文 \(c\) 下，语言模型生成完整续接 \(\omega\) 的概率分布。这是一个可观测的条件分布（通过 API 返回的 token 概率计算）。 - 完整续接：\(\omega \in \Omega\)，一个有限长度的 token 序列，如“urgent review”。 - 语义映射：\(\phi_u: \Omega \to X \cup \{\bot\}\)，一个预先指定的、将每个完整续接 \(\omega\) 映射到一个状态 \(x_k\) 或一个“未表达”类别 \(\bot\) 的函数。 - 词汇状态质量：\(\mu_{u,k}(c) = Q_u(\phi_u^{-1}(x_k) | c)\)，在上下文 \(c\) 下，所有被映射到状态 \(x_k\) 的续接的总概率。 - 表达质量：\(M_u(c) = \sum_{k=1}^K \mu_{u,k}(c)\)，所有被映射到声明状态的续接的总概率。 - 词汇组成：\(p_u(c) = (\mu_{u,1}(c)/M_u(c), \dots, \mu_{u,K}(c)/M_u(c)) \in \Delta^K\)，在给定续接落在声明分区内的条件下，状态的条件概率向量。这是可观测的、依赖于提示词的量。 - 对数比率：\(\ell^\star = \text{alr}(\pi^\star)\) 和 \(\lambda_u = \text{alr}(p_u)\)，其中 \(\text{alr}: \text{int}(\Delta^K) \to \mathbb{R}^{K-1}\) 是加法对数比率变换（以第 \(K\) 个状态为参考）。 - 前向回归函数：\(h_u(\ell) = \mathbb{E}(\lambda_u | \ell^\star = \ell)\)，在参考实验下，给定参考对数比率 \(\ell\) 时词汇对数比率的条件均值。 - 校准逆映射：\(\psi_u: \mathbb{R}^{K-1} \to \mathcal{L}\)，一个从词汇对数比率空间到参考对数比率空间的估计映射。 - 校准后验估计：\(\hat{\pi}_u = \text{alr}^{-1} \circ \psi_u \circ \text{alr} \circ p_u \circ C_u\)，最终的估计量。

模型： - 参考实验：一个声明的概率模型，定义了证据 \(Y\) 和状态 \(X\) 的联合分布。这个模型是“地面真相”的代理，用于生成目标后验 \(\pi^\star(y)\)。它可以是贝叶斯网络、隐马尔可夫模型或任何可复现的生成过程。 - 语言实验：语言模型被视为一个条件离散响应模型。给定上下文 \(c\)，它输出一个续接 \(\omega\)，其概率由 \(Q_u(\cdot|c)\) 给出。这个模型是“黑箱”的，其内部参数和 tokenization 对评估者不可控。

可观测数据： - 可观测的：证据 \(y\)，提交的上下文 \(c = C_u(y)\)，语言模型返回的 token 概率（用于计算完整续接概率 \(Q_u(\omega|c)\)），以及由此计算出的词汇组成 \(p_u(c)\)。 - 想要但观测不到的：目标后验 \(\pi^\star(y)\)（除非在模拟实验中已知），以及语言模型的内部表征。本文的核心假设是，通过校准，我们可以从可观测的 \(p_u(c)\) 中恢复不可观测的 \(\pi^\star(y)\)。

第二步：最小内核¶

本文的核心数学问题可以归结为：给定一个可观测的、依赖于提示词的随机向量 \(p_u \in \Delta^K\)，和一个不可观测的、与提示词无关的目标向量 \(\pi^\star \in \text{int}(\Delta^K)\)，是否存在一个可识别的、稳定的映射 \(\psi_u\) 使得 \(\psi_u(p_u) \approx \pi^\star\)？

最简特例：\(K=2\) 且仿射校准。 - 当只有两个状态时（例如“紧急”和“非紧急”），\(\Delta^2\) 退化为一个区间 \([0,1]\)。对数比率变换 \(\text{alr}\) 简化为 \(\text{logit}(z) = \log(z/(1-z))\)。 - 设 \(\ell^\star = \text{logit}(\pi^\star)\) 和 \(\lambda_u = \text{logit}(p_u)\)。 - 假设前向回归函数是仿射的：\(h_u(\ell) = \beta_u \ell + \alpha_u\)，其中 \(\beta_u, \alpha_u \in \mathbb{R}\)。 - 那么，词汇对数比率 \(\lambda_u\) 和参考对数比率 \(\ell^\star\) 之间的关系是：\(\lambda_u = \beta_u \ell^\star + \alpha_u + r\)，其中 \(r\) 是噪声。 - 可识别性条件：\(\beta_u \neq 0\)。这对应于定理 3 中的 \(c_u > 0\)（在一维情况下，\(c_u = |\beta_u|\)）。如果 \(\beta_u = 0\)，那么 \(\lambda_u\) 与 \(\ell^\star\) 无关，逆恢复是不可能的。 - 校准：给定一组校准数据 \(\{(\ell^\star_i, \lambda_{u,i})\}_{i=1}^n\)，我们可以估计 \(\hat{\beta}_u\) 和 \(\hat{\alpha}_u\)。逆映射是 \(\hat{\psi}_u(\lambda) = (\lambda - \hat{\alpha}_u) / \hat{\beta}_u\)。 - 误差传播：如果 \(\lambda_u\) 的测量误差是 \(\delta\)，那么恢复误差是 \(|\hat{\psi}_u(\lambda_u) - \ell^\star| \approx |r| / |\beta_u|\)。这就是定理 3 在一维仿射情况下的形式：误差被 \(1/|\beta_u|\) 放大。 - 这个特例揭示了整篇论文的核心思想：语言模型输出的词汇概率 \(p_u\) 不是目标后验 \(\pi^\star\)，而是它的一个“有损、有偏、有噪声”的测量。校准的目标是学习这个测量过程的逆，而逆恢复的稳定性取决于“测量过程”对目标变化的敏感度（即 \(|\beta_u|\)）。如果这个敏感度太低（\(|\beta_u|\) 接近 0），那么即使词汇概率计算得非常精确，也无法恢复目标后验。

三、这篇论文做了什么¶

三句话¶

研究了什么问题：本文研究了一个半参数推断框架，用于将语言模型输出的、依赖于提示词措辞的词语概率，校准为关于一个有限值潜在状态（如诊断、假设）的、与提示词无关的后验概率。
核心工具/方法：核心方法是定义一个“语义映射”（semantic map），这是一个预先指定的、可检验的桥梁，它将语言模型的条件响应分布（通过语义分组和归一化）转化为一个“词汇组成”向量，然后通过一个低维校准模型（在加法对数比率坐标下）将其与一个外部定义的参考后验联系起来。整个框架借用了逆问题、实验比较和滤波稳定性的数学工具。
主要结论：在特定条件下（语义分组固定、表达质量足够高、逆映射可识别），语言模型导出的概率可以恢复留出的参考后验，其不确定性覆盖是有效的，并且对信息等价的改写保持稳定，同时对证据的变化做出科学上合理的响应。实验表明，词汇测量优于直接数值 elicitation。

关键设定与假设¶

在第二节最小记号的基础上，补全完整设定：

定义 1 (证据空间与操作域)：定义了参考实验的概率空间 \((\Xi, \mathcal{F}, P)\)，状态 \(X\) 和证据 \(Y\)，以及操作域 \(\mathcal{Y}_0\)（校准和恢复声明旨在成立的证据值集合）。参考后验映射 \(\pi^\star: \mathcal{Y}_0 \to \text{int}(\Delta^K)\) 是已知的。
定义 2 (提示词规范)：将提示词规范 \(u\) 定义为一个将证据 \(y\) 转化为提交文本 \(c = C_u(y)\) 的可测量程序。这明确承认了提示词是统计设计的一部分，因为不同的措辞可以诱导不同的条件响应分布。
定义 3 (续接空间与条件语言律)：将语言模型形式化为一个马尔可夫核 \(Q_u: \mathcal{C} \times 2^\Omega \to [0,1]\)，其中 \(\Omega\) 是完整续接的空间。续接概率通过自回归的 next-token 机制计算（公式 1）。
定义 4 (语义粗化)：定义了语义映射 \(\phi_u: \Omega \to X \cup \{\bot\}\)，这是一个预先指定的、应用定义的分区。由此导出词汇状态质量 \(\mu_{u,k}\)、表达质量 \(M_u\) 和归一化的词汇组成 \(p_u\)。关键：\(p_u\) 是条件于续接落在声明分区内的概率，而不是无条件概率。
定义 5 (词汇测量实验)：三元组 \(\mathcal{E}_u = (Q_u, C_u, \phi_u)\) 是一个词汇测量实验，前提是 \(Q_u\) 下的概率可观测，\(C_u\) 和 \(\phi_u\) 在最终评估前固定，且 \(M_u(C_u(y)) > 0\)。
定义 6 (定量可观测性)：在加法对数比率坐标下，定义前向回归函数 \(h_u(\ell) = \mathbb{E}(\lambda_u | \ell^\star = \ell)\)。如果存在 \(c_u > 0\) 使得 \(\|h_u(\ell) - h_u(\ell')\|_2 \ge c_u \|\ell - \ell'\|_2\)，则称 \(h_u\) 在 \(\mathcal{L}\) 上是定量可观测的。这是逆恢复稳定性的核心条件。

假设： - 假设 1 (参考有效性)：参考实验是声明的、冻结的，其后验是条件于该模型的精确后验，而非形而上学的“地面真相”。 - 假设 2 (可观测测量)：只有可观测的量（证据、token 概率、elicited 数字等）进入估计量。未观测的候选者不被分配零概率。 - 假设 3 (设计分离)：本体发现、语义验证、校准、模型选择、共形校准和最终测试使用不相交的场景分区。 - 假设 4 (抽样单元与可交换性)：场景（而非重复响应）是抽样单元。Split-conformal 覆盖假设校准和未来测试的非一致性分数在声明总体或层内是可交换的。

相比已有文献的放宽或强化： - 放宽：不假设语言模型是贝叶斯模型，不假设其内部表征可访问，不假设提示词不变性（而是将其作为可检验的假设）。 - 强化：要求语义分组是预先指定的，要求一个外部定义的参考后验，要求留出校准和检验。这比大多数现有工作（如语义熵）更严格，但也提供了更强的可审计性。

主要结果¶

定理 1 (有限词汇近似与语义误差分解)： - 陈述：设 \(e_{\text{sem}}\) 是语义分组误差（理想语义细胞 \(A_k\) 与有限评分近似 \(B_k\) 的对称差概率），\(e_{\text{score}}\) 是概率计算误差。如果表达质量 \(M \ge m_0 > 0\) 且 \(e = e_{\text{sem}} + e_{\text{score}} < m_0\)，那么归一化后的词汇组成 \(\hat{p}\) 与理想 \(p\) 的 \(L_1\) 距离满足 \(\|\hat{p} - p\|_1 \le 2e / m_0\)。 - 直觉：这个定理将三个设计义务（语义验证、概率审计、覆盖检查）转化为一个共同的误差预算。它揭示了低表达质量 \(m_0\) 会放大语义和概率误差。一个幻觉性的结论可能看起来“确定”，不是因为证据支持它，而是因为未支持或分区外的替代方案在归一化前被排除了。 - 必要条件：\(e < m_0\)，否则归一化后的向量可能不存在。 - 解决的技术难点：将三个不同来源的误差（语义、概率、未覆盖质量）统一到一个 \(L_1\) 界中，并量化了归一化步骤的放大效应。

定理 3 (稳定非线性恢复)： - 陈述：如果前向回归函数 \(h_u\) 有下模量 \(c_u > 0\)，且噪声 \(\|r\|_2 \le \delta\)，那么通过最小化 \(\|\lambda_u - h_u(\ell)\|_2\) 得到的恢复估计 \(\hat{\ell}\) 满足 \(\|\hat{\ell} - \ell^\star\|_2 \le 2\delta / c_u\)。在仿射情况下，如果 \(h_u(\ell) = B_u \ell + d_u\) 且最小奇异值为 \(\kappa_u > 0\)，则 \(\|\hat{\ell} - \ell^\star\|_2 \le \|r\|_2 / \kappa_u\)。 - 直觉：这个定理将逆恢复的稳定性与“定量可观测性”条件 \(c_u > 0\) 联系起来。\(c_u\) 衡量了语言通道对目标后验变化的敏感度。一个小的 \(c_u\) 意味着不同的后验在语言通道中几乎不可区分，导致逆恢复对噪声高度敏感。 - 必要条件：\(c_u > 0\) 或 \(\kappa_u > 0\)。这是可识别性的核心。 - 解决的技术难点：将确定性逆问题的标准下模量论证应用于语言模型校准的随机设定，并明确了噪声 \(\delta\) 的来源（呈现、重复测量、概率扰动）。

定理 4 (词汇滤波轨迹界)： - 陈述：在隐马尔可夫模型设定下，如果参考转移矩阵是严格正的且其 Birkhoff 收缩系数 \(\rho < 1\)，那么词汇后验估计 \(\hat{\pi}^{\text{lex}}_t\) 与参考后验 \(\pi^\star_t\) 之间的 Hilbert 投影距离满足 \(d_H(\hat{\pi}^{\text{lex}}_t, \pi^\star_t) \le \rho^t d_H(\hat{\pi}^{\text{lex}}_0, \pi^\star_0) + \sum_{j=1}^t \rho^{t-j} \delta^{\text{rec}}_j\)，其中 \(\delta^{\text{rec}}_j\) 是可观测的递归缺陷。 - 直觉：这个定理将顺序更新的误差分解为两部分：初始误差的指数衰减（由 \(\rho^t\) 控制）和每一步新引入的递归缺陷的累积（由 \(\rho^{t-j}\) 加权）。它解释了何时顺序使用是合理的：当参考滤波器是收缩的（\(\rho < 1\)）时，早期误差会被遗忘，但每一步的缺陷都会留下一个持久的影响。 - 必要条件：严格正的转移矩阵和似然，\(\rho < 1\)。 - 解决的技术难点：将正算子收缩理论 [Birkhoff, 1957, Bushell, 1973] 和滤波稳定性 [van Handel, 2009a] 应用于校准后的语义测量，并定义了可观测的递归缺陷 \(\delta^{\text{rec}}_t\) 作为连接测量过程与声明贝叶斯更新的桥梁。

证明路线与技术技巧¶

整体路线（以定理 3 为例）： 1. 建立观测方程：\(\lambda_u = h_u(\ell^\star) + r\)，其中 \(\|r\|_2 \le \delta\)。 2. 利用全局最优性：由于 \(\hat{\ell}\) 是 \(\|\lambda_u - h_u(\ell)\|_2\) 的最小值点，且 \(\ell^\star\) 是可行点，所以 \(\|\lambda_u - h_u(\hat{\ell})\|_2 \le \|\lambda_u - h_u(\ell^\star)\|_2 = \|r\|_2 \le \delta\)。 3. 三角不等式：\(\|h_u(\hat{\ell}) - h_u(\ell^\star)\|_2 \le \|h_u(\hat{\ell}) - \lambda_u\|_2 + \|\lambda_u - h_u(\ell^\star)\|_2 \le 2\delta\)。 4. 应用下模量条件：\(\|h_u(\hat{\ell}) - h_u(\ell^\star)\|_2 \ge c_u \|\hat{\ell} - \ell^\star\|_2\)。 5. 得出结论：\(\|\hat{\ell} - \ell^\star\|_2 \le 2\delta / c_u\)。

关键跳跃点： - 从“平均预测误差小”到“逆恢复稳定”的跳跃。定理 3 明确指出，平均误差小并不保证逆恢复稳定，除非 \(c_u\) 被证明是正的。这是本文的一个核心洞察。 - 从“静态恢复”到“顺序更新”的跳跃。定理 4 通过引入递归缺陷 \(\delta^{\text{rec}}_t\) 和 Birkhoff 收缩系数 \(\rho\)，将静态的逆恢复问题与动态的滤波稳定性问题连接起来。

技术技巧点名： - 加法对数比率 (alr) 变换：用于将概率单纯形上的向量映射到无约束的欧几里得空间，使得仿射校准模型成为可能，并允许使用标准的欧几里得范数进行误差分析。这是从成分数据分析 [Aitchison, 1982] 借用的。 - 下模量论证：这是确定性逆问题理论 [Engl et al., 1996] 中的标准技术，用于建立稳定恢复的条件。本文将其应用于随机设定。 - Birkhoff 收缩系数与 Hilbert 投影度量：用于分析正线性算子的收缩性质，从而推导出顺序更新的误差界。这是从正算子理论 [Birkhoff, 1957, Bushell, 1973] 和滤波稳定性 [van Handel, 2009a] 借用的。 - Split-conformal 推断：用于在可交换性假设下构建有限样本的预测覆盖集，而不需要正确指定参数模型 [Lei et al., 2018, Angelopoulos & Bates, 2023]。 - 场景聚类自助法 (Scenario-clustered bootstrap)：用于在场景（而非重复测量）是独立抽样单元时，构建正确的置信区间。

真实例子与应用¶

本文包含两个主要实验：

专业文本研究 (Semantic channel comparison)：
- 数据：从美联储经济数据（FRED）编译的短篇市场评论，涵盖 S&P 500、VIX、国债收益率和信用利差。目标状态是未来五个交易日的美国大盘股风险取向：Risk-on, Mixed, Risk-off, Unsure。
- 方法：将词汇测量（从候选短语的续接概率计算）与直接数值 elicitation（要求模型打印概率）进行比较。两者都针对同一个固定的语义参考协议进行评估。
- 结果：词汇测量在准确率、对数损失和 Brier 分数上均优于数值 elicitation（表 6）。McNemar 检验 \(p=0.0243\)。这表明续接概率携带了在翻译成显式数字时被扭曲的语义信息。
- 说明：这个例子旨在证明词汇测量是一个有信息量的通道，且优于一个直接的基线。
受控后验恢复实验 (Controlled posterior recovery)：
- 数据：由一个声明的概率生成器（可能是贝叶斯网络）生成的 520 个场景，每个场景有精确的参考后验。状态空间是三个类别。
- 方法：使用仿射校准模型（在 alr 坐标下）将词汇组成 \(p_u\) 映射到参考后验 \(\pi^\star\)。使用 split-conformal 构建个体场景的 90% 误差集。在两个语言模型（GPT-4.1-mini 和 GPT-4o-mini）上重复。
- 结果：
  - 平均 Jensen-Shannon 误差很小（约 0.04），且 90% 共形覆盖是名义的或保守的（表 7）。
  - 误差分解显示，稳定恢复误差占主导（>98%），而重复测量变化很小（表 8）。这意味着增加重复次数不会显著改善性能。
  - 仿射前向映射的最小奇异值的自助法下界为正（表 7），表明在采样设计上所有对数比率方向都被保留。
  - 未校准的候选词熵与参考后验熵几乎不相关（\(r \approx -0.001\)），而校准后的词汇后验熵与参考后验熵高度相关（\(r = 0.742\)）。这有力地证明了校准的必要性。
- 说明：这个例子旨在验证定理 3 的核心预测：在可识别性条件满足时，校准后的词汇测量可以恢复精确的参考后验，并提供有效的有限样本不确定性量化。

🔎 结论是否比证明窄¶

是的，作者在多个地方明确指出了结论的局限性，这是本文的一个优点。 - 定理 3 的实证评估：作者明确指出，有限观测无法确定一个无限制回归函数的均匀下模量 \(c_u\)。实验评估的是“有限设计可观测性”（fitted affine map retains every log-ratio direction on the sampled design），而不是“均匀非线性可识别性”。作者在 2.2.3 节末尾明确写道：“These results support finite-design observability, not a uniform statement between sampled points.” - 定理 4 的实证评估：作者在 2.2.4 节末尾明确写道：“Time-uniform coverage is not part of the paper’s reported empirical success.” 静态实验不评估顺序使用的统计保证。 - 语义映射的唯一性：引理 1 明确指出，词汇组成的唯一性是条件于 \((Q_u, \phi_u, c)\) 的。改变语义映射会改变统计实验。 - 语言模型的改变：作者在 2.1.2 节指出，改变拟合的语言模型会改变 \(Q_u\)，因此结论是条件于特定模型的。

四、开放问题¶

均匀非线性可观测性：定理 3 的稳定性依赖于一个正的、均匀的下模量 \(c_u\)。对于无限制的非线性前向回归函数 \(h_u\)，如何从有限数据中验证或估计 \(c_u\)？作者在 2.2.3 节指出，这需要预先指定的光滑类、空间填充设计和显式的填充距离余项。扎根点：Section 2.2.3, "Empirical assessment of observability" 段落。
时间均匀的顺序覆盖：定理 4 提供了一个确定性的误差界，但顺序使用需要关于未来递归缺陷的概率陈述，这依赖于时间依赖性和服务变化的模型。如何构建一个时间均匀的置信序列（upper confidence sequence）来保证顺序覆盖？扎根点：Section 2.2.4, "Requirements for time-uniform filtering coverage" 段落。
更丰富的校准函数类：本文主要使用仿射校准模型。对于更灵活的校准函数类（如神经网络），如何建立可识别性和稳定性条件？如何避免过拟合和保证外推的可靠性？扎根点：Section 2.2.3 提到 \(H^{1,1}(L_0, L_1)\) 类，但未深入探讨。
语义映射的敏感性分析：本文的结论是条件于一个预先指定的语义映射 \(\phi_u\) 的。不同的、同样合理的语义映射会导致不同的结论。如何系统地评估语义映射选择对最终后验估计的影响？这类似于因果推断中的敏感性分析。扎根点：Lemma 1 的条件唯一性，以及 Theorem 1 中 \(e_{\text{sem}}\) 的定义。

Maintained by 陈星宇 · Homepage · Source on GitHub