跳转至

Dynamic Discrete Choice and Inverse Reinforcement Learning: Inferring Preferences and Beliefs From Human Behavior

作者: Pranjal Rawat, John Rust
主题: 经济理论 / 应用
相关性: 7/10
链接: https://arxiv.org/abs/2608.24362

一、领域脉络与小综述

这个方向是什么

动态离散选择（DDC）与逆强化学习（IRL）是两个从不同学科传统出发、却解决同一核心问题的子领域：从观测到的序贯行为（个体在时间序列上的状态-动作轨迹）推断决策者的偏好（奖励/效用函数）与信念（状态转移概率），假设个体在马尔可夫决策过程（MDP）框架下最大化期望累积奖励。DDC 起源于 1980 年代的结构计量经济学，强调通过极大似然估计（MLE）进行反事实政策评估（如预测税率变化对汽车市场的影响）；IRL 起源于 2000 年代的机器学习，旨在从专家演示中学习奖励函数，以便用强化学习（RL）训练智能体完成复杂任务（如自动驾驶、机器人操作）。两个领域共享同一数学框架（MDP、Bellman 方程、softmax 选择概率），但在求解方法、对随机性的解释、以及最终目标上存在系统差异。

发展脉络

奠基工作： - McFadden (1973) 建立了静态随机效用模型（RUM）的多项 logit 形式，为 DDC 提供了离散选择的基础。 - Rust (1987, 1988) 将 RUM 扩展到动态设定，引入条件独立（CI）与极值（EV）偏好冲击假设，推导出 softmax 选择概率（21）和平滑 Bellman 方程（20），并提出了嵌套固定点算法（NFXP） 来估计结构参数θ。这是 DDC 的奠基性工作。 - Ng and Russell (2000) 正式提出 IRL 问题，指出其不适定性（ill-posed），并提出了最大边际方法。

主要进展： - Hotz and Miller (1993) 提出了条件选择概率（CCP）估计器，通过非参数估计π(a|s) 来避免 NFXP 中反复求解 MDP 的内循环，大幅降低了计算成本。这是 DDC 中“两步法”的起源。 - Aguirregabiria and Mira (2002) 提出了嵌套伪似然（NPL）估计器，通过迭代更新 CCP 和结构参数，实现了比 CCP 更高效、比 NFXP 更快的估计。他们证明了 NPL 的零 Jacobian 性质，使得结构参数对第一阶段的 CCP 估计噪声具有 Neyman 正交性。 - Ziebart et al. (2008, 2010) 提出了最大因果熵（MCE）IRL，从最大熵原理出发推导出 softmax 策略，并建立了与 DDC 的数学等价性。MCE IRL 的梯度更新形式（µ_D - E_{π_θ}{·}）与 DDC 的 MLE 梯度完全一致。 - Haarnoja et al. (2017) 提出了soft Q-learning，将熵正则化引入 RL，推导出与 DDC 相同的 soft Bellman 方程和 softmax 策略，解决了 Q-learning 中的探索-利用困境。 - Ho and Ermon (2016) 提出了生成式对抗模仿学习（GAIL），将 IRL 转化为一个判别器-生成器博弈，实现了模型无关的模仿学习。 - Fu et al. (2018) 提出了对抗性 IRL（AIRL），通过结构化判别器分解（35）来分离奖励与 shaping potential，实现了可迁移的奖励函数学习。 - Adusumilli and Eckardt (2025) 提出了时序差分（TD）估计器，将 RL 中的 TD 学习与 DDC 的 CCP 估计器结合，实现了模型无关的 DDC 估计，并提出了 Neyman 正交化修正来消除第一阶段估计噪声。

当前 frontier： - 模型无关 IRL 与 DDC 的融合：如 GLADIUS (Kang et al., 2025) 通过分别参数化 Q 和 EV 函数，实现了对 Bellman 残差的最小化，并给出了全局收敛保证。 - 高维状态空间的处理：深度神经网络（DQN、NNES）和随机化方法被用于近似价值函数，试图打破维度灾难。 - 识别问题的深入理解：Cao et al. (2021) 证明了在多个环境下观测可识别奖励至多一个常数；Abbring and Daljord (2020) 证明了折扣因子在理性预期下是可识别的。

本文的位置：这是一篇综述文章，系统比较了 DDC 与 IRL 两个领域，强调它们的数学等价性（softmax 策略、soft Bellman 方程），并指出了模型无关 IRL 估计器（如 TD-CCP）作为连接两个领域的有前景方向。本文没有提出新方法或新定理，而是为跨领域交流提供了统一的语言和框架。

子线索聚类

  1. 基于 MLE 的结构估计（DDC 传统）：NFXP (Rust, 1988)、CCP 估计器 (Hotz and Miller, 1993)、NPL (Aguirregabiria and Mira, 2002)、MPEC (Su and Judd, 2012)。这些方法强调通过极大似然或伪似然来估计结构参数θ，通常需要显式建模状态转移概率p(s'|s, a) 并反复求解 MDP。

  2. 基于熵正则化的 IRL（最大熵传统）：MCE IRL (Ziebart et al., 2010)、soft Q-learning (Haarnoja et al., 2017)、Guided Cost Learning (Abbeel, 2016)。这些方法从最大熵原理出发，推导出与 DDC 相同的 softmax 策略，但将随机性解释为策略本身的熵偏好而非未观测状态变量。

  3. 对抗性 IRL（模型无关传统）：GAIL (Ho and Ermon, 2016)、AIRL (Fu et al., 2018)、GLADIUS (Kang et al., 2025)。这些方法通过判别器-生成器博弈来学习奖励函数，通常不需要显式建模p(s'|s, a)，但面临可迁移性问题。

  4. 模型无关的 DDC 估计（交叉传统）：TD-CCP (Adusumilli and Eckardt, 2025)、GLADIUS (Kang et al., 2025)。这些方法将 RL 中的 TD 学习或 FVI 与 DDC 的两步法结合，在避免建模p(s'|s, a) 的同时保持结构估计的可解释性。

核心问题与已知瓶颈

  1. 识别问题：多个奖励函数可以解释同一观测行为（Section 3.3）。已知的等价类为 r_h(s,a) = r(s,a) + β Σ_{s'} h(s') p(s'|s,a) - h(s) (Ng et al., 1999)。点识别需要额外假设（如已知的锚定动作、参数化奖励、或多个环境）。

  2. 维度灾难：求解 MDP 的计算复杂度随状态空间维度指数增长（Chow and Tsitsiklis, 1989）。神经网络近似和随机化方法在实践中有效，但缺乏严格的“打破维度灾难”的理论证明（本文 Section 2.3 明确指出了这一点）。

  3. 模型无关 vs 模型基础的权衡：模型无关方法（如 TD-CCP、GAIL）避免建模p(s'|s, a)，但隐含假设理性预期，且对有限数据敏感；模型基础方法（如 NFXP）需要准确建模p(s'|s, a)，但能进行反事实预测。

  4. 理性假设的合理性：AlphaZero 等 RL 系统超越人类表现，表明人类并非完美理性优化者。如何将有限理性（bounded rationality）纳入 DDC/IRL 框架是一个开放问题（Section 5）。

⚠️ 作者的 framing

作者将缺口 frame 成“DDC 与 IRL 的数学等价性已被建立，但两个领域在方法上仍存在系统差异，模型无关 IRL 估计器（如 TD-CCP）是连接两个领域的有前景方向”。具体来说： - 作者强调 DDC 的 EV/CI 假设与 IRL 的熵正则化假设导致相同的 softmax 策略和 soft Bellman 方程，从而为跨领域方法迁移提供了理论基础。 - 作者将“模型无关 IRL 估计器”定位为“显然的下一步”，因为它在避免建模p(s'|s, a) 的同时保持了结构估计的可解释性。 - 被淡化或回避的竞争路线：作者对贝叶斯 DDC（Imai et al., 2009; Norets, 2009）的讨论非常简短（仅一段），且未深入讨论 MCMC 方法在处理序列相关ε_t 冲击方面的优势。此外，理性疏忽（Rational Inattention） 框架（Hoiles et al., 2020）仅被提及一次，但该框架为有限理性提供了另一种建模路径。 - 值得研究者去查的问题：本文的参考文献中没有出现以下可能相关的工作： - Künzel et al. (2019) 的“metalearners”用于异质处理效应估计——虽然这不是 DDC/IRL 的直接工作，但“从观测数据中学习个体层面的决策规则”这一目标有概念上的重叠。 - Athey and Imbens (2016) 的“recursive partitioning”用于估计异质处理效应——同样，决策树方法在“从行为推断偏好”这一问题上可能有交叉。 - Bajari et al. (2010) 的“estimating dynamic games of incomplete information”——这是 DDC 在博弈论设定下的重要扩展，但本文未引用。

张力

未见明显对立引用。各被引工作之间在数学框架上高度一致（共享 MDP、Bellman 方程、softmax 策略），差异主要体现在求解方法和假设强度上。一个值得注意的“张力”是：DDC 传统将随机性归因于未观测状态变量（ε），而 IRL 传统将其归因于策略本身的熵偏好。本文 Section 2.4 明确指出了这一差异，并指出从经济学角度看“不清楚为什么个体应该关心策略的熵”（p. 7）。这一张力在 Matejka and McKay (2015) 的理性疏忽框架下得到部分调和，但作者未深入讨论。

二、最核心、最简单的例子 / 数学问题

第一步：符号、模型、可观测数据交代清楚

符号： - s ∈ S：可观测的状态变量（有限集，|S| 个元素）。在 DDC 中，s 是研究者能观测到的部分状态。 - a ∈ A(s)：动作/选择（有限集，|A(s)| 个元素）。在 DDC 中，A(s) 是状态 s 下的可行动作集。 - ε ∈ ℝ^{|A(s)|}：不可观测的偏好冲击向量，每个动作 a 对应一个分量 ε(a)。个体观测到 ε，但研究者不观测。 - r(s, a)：奖励/效用函数（标量），是研究者要推断的目标。 - p(s' | s, a)：状态转移概率，即给定当前状态 s 和动作 a，下一状态 s' 的条件概率。 - β ∈ (0, 1)：折扣因子，通常假设已知。 - π(a | s)：条件选择概率（CCP），即给定可观测状态 s 下选择动作 a 的概率。这是研究者能从数据中估计的对象。 - Q(s, a)：动作价值函数，即从状态 s 选择动作 a 后，后续遵循最优策略的期望累积折扣奖励。 - V(s)：状态价值函数，即从状态 s 开始遵循最优策略的期望累积折扣奖励。 - θ：结构参数向量，用于参数化 r_θ(s, a) 和/或 p_θ(s' | s, a)。这是研究者要估计的目标。 - τ_i = {(s_{it}, a_{it})}_{t=0}^{T_i}：个体 i 的轨迹，即连续的状态-动作序列。 - D = {τ_i}_{i=1}^N：观测数据集，包含 N 条独立轨迹。 - σ：极值分布的尺度参数，控制选择概率的“温度”。σ → 0 时 softmax 退化为硬 max。

模型： - 数据生成机制：个体在每一期 t 观测到完整状态 (s_t, ε_t)，其中 ε_t 是独立同分布（i.i.d.）的多元极值（Gumbel）分布，尺度参数为 σ，均值为 0。个体选择动作 a_t 以最大化期望累积折扣奖励： - a_t = argmax_{a ∈ A(s_t)} [Q(s_t, a) + ε_t(a)]，其中 Q 是 soft Bellman 方程（18）的固定点。 - 状态转移由 p(s_{t+1} | s_t, a_t) 控制，且 ε_{t+1} 与 (s_t, a_t, ε_t) 条件独立（CI 假设）。 - 已知 vs 未知： - 已知：折扣因子 β（通常假设已知，但也可估计）、极值分布形式、条件独立假设。 - 要估计的对象：奖励函数 r(s, a)（或参数化形式 r_θ(s, a)）、状态转移概率 p(s' | s, a)（在模型基础方法中）、有时还包括 β。 - 识别假设：为了点识别 r，需要额外假设，如已知的锚定动作 r(s, a_s)（Hotz and Miller, 1993）、参数化奖励（维度小于 |S|(|A|-1)）、或多个环境（Cao et al., 2021）。

可观测数据： - 研究者实际能观测到：轨迹 D = {τ_i}，即每个个体的状态-动作序列 {(s_{it}, a_{it})}。注意：研究者不观测偏好冲击 ε_t。 - 想要但观测不到：奖励函数 r(s, a)、状态转移概率 p(s' | s, a)（除非从数据中估计）、个体的信念（主观 p）、以及 ε_t 的实现值。 - 关键识别桥梁：在 EV/CI 假设下，CCP π(a|s) 与 Q(s, a) 通过 softmax 公式（21）一一对应。因此，从可观测的 π 可以恢复 Q 的差值（32），进而通过 Bellman 方程（18）恢复 r——但仅到等价类（Section 3.3）。

第二步：最小内核

最简特例：二动作、单状态、无转移的静态 logit 模型。

在这个特例下，MDP 退化为静态离散选择模型（McFadden, 1973）： - 状态空间：S = {s₀}（只有一个状态，因此状态转移无关紧要）。 - 动作空间：A = {0, 1}（两个动作，如“购买”与“不购买”）。 - 奖励：r(s₀, 0) = r₀，r(s₀, 1) = r₁，均为未知标量。 - 偏好冲击：ε = (ε₀, ε₁) ~ i.i.d. Gumbel(0, σ)，尺度参数 σ 已知或可估计。 - 折扣因子：β = 0（静态问题，无未来）。 - 可观测数据：N 个独立观测 {(a_i)}，每个个体选择动作 0 或 1。

在这个特例下，要证的命题退化成什么？

命题：在 EV/CI 假设下，从观测到的选择概率 π(1|s₀) 可以识别奖励差值 r₁ - r₀，但无法单独识别 r₀ 或 r₁。

证明怎么走？

  1. softmax 选择概率：由公式（21），在 β=0 时 Q(s₀, a) = r(s₀, a)（无未来），因此：
  2. π(1|s₀) = exp(r₁/σ) / [exp(r₀/σ) + exp(r₁/σ)] = 1 / [1 + exp((r₀ - r₁)/σ)]。

  3. 这是标准的二项 logit 形式。

  4. 识别：从观测数据可以一致估计 π̂(1|s₀)（样本比例）。由上式可得：

  5. log[π̂(1|s₀) / (1 - π̂(1|s₀))] = (r₁ - r₀)/σ。

  6. 因此，只有差值 r₁ - r₀ 被识别。单独识别 r₀ 或 r₁ 需要额外假设（如锚定 r₀ = 0）。

  7. 为什么这是最小内核？ 这个特例抓住了 DDC/IRL 的核心识别困难：从选择概率只能恢复 Q 的差值，而非水平。在动态设定中，这一困难被 Bellman 方程（18）的递归结构放大，但本质不变。整个 DDC/IRL 的识别理论（Section 3.3）都是在这个最小内核上叠加动态结构（β > 0、状态转移、多期决策）得到的。

本文的关键想法怎么破？ 本文（作为综述）没有提出新的破解方法，而是系统梳理了已有方法如何通过不同假设来“锚定”奖励函数： - DDC 传统：假设已知的锚定动作 r(s, a_s)（Hotz and Miller, 1993）或参数化奖励（维度小于 |S|(|A|-1)）。 - IRL 传统：使用最大熵原理（Ziebart et al., 2010）或对抗性训练（Fu et al., 2018）来选择一个“最不承诺”的奖励函数。 - 多环境识别：Cao et al. (2021) 证明，在两个具有足够不同转移律的环境中观测同一智能体，可以识别奖励至多一个常数。

三、这篇论文做了什么

三句话

  1. 研究了什么问题：系统比较动态离散选择（DDC）与逆强化学习（IRL）两个领域，它们从不同学科传统出发解决同一核心问题——从观测到的序贯行为推断决策者的偏好与信念。
  2. 核心工具/方法：统一框架为马尔可夫决策过程（MDP）下的 softmax 选择概率和平滑 Bellman 方程，通过极值偏好冲击（DDC）或熵正则化（IRL）推导出相同的数学形式。
  3. 主要结论：两个领域在数学上等价（softmax 策略、soft Bellman 方程），但在求解方法（确定性策略迭代 vs 随机迭代）、对随机性的解释（未观测状态 vs 策略熵）、以及最终目标（反事实政策评估 vs 智能体训练）上存在系统差异；模型无关 IRL 估计器（如 TD-CCP）是连接两个领域的有前景方向。

关键设定与假设

在第二节最小记号的基础上，补全完整设定：

  • MDP 框架（Section 2）：有限状态空间 S、有限动作空间 A、奖励函数 r(s,a)、转移概率 p(s'|s,a)、折扣因子 β ∈ (0,1)。策略 π(a|s) 是条件概率分布。
  • DDC 核心假设（Section 3）：
  • 条件独立（CI）：ε_t 与 (s_t, a_t, ε_{t-1}) 条件独立，即 p(s', ε' | s, ε, a) = g(ε' | s') p(s' | s, a)。
  • 极值（EV）分布：ε(a) 独立同分布 Gumbel(0, σ)，均值为 0，尺度参数 σ。
  • 可加可分性：奖励可分解为 r(s,a) + ε(a)。
  • 理性预期：个体的主观信念 p(s'|s,a) 等于客观转移概率（通常用于识别）。
  • IRL 核心假设（Section 4）：
  • 熵正则化：个体最大化包含策略熵的修正奖励 r(s,a) + σH(π(s))（公式 8）。
  • 专家演示：观测到来自最优（或近似最优）策略的轨迹。
  • 模型无关：通常不假设 p(s'|s,a) 已知，而是从数据中学习或通过模拟。
  • 相比已有文献的放宽/强化：
  • 本文作为综述，没有提出新的假设。它强调 DDC 的 EV/CI 假设与 IRL 的熵正则化假设在数学上等价（导出相同的 softmax 策略和 soft Bellman 方程），但解释不同：DDC 将随机性归因于未观测状态，IRL 将其归因于策略熵偏好。
  • 本文指出，IRL 的模型无关方法（如 TD-CCP）放宽了 DDC 中对 p(s'|s,a) 的显式建模要求，但隐含假设理性预期（即个体知道真实转移概率）。

主要结果

本文是综述，没有新定理。主要结果以比较性结论的形式呈现：

  1. 数学等价性（Section 3, 4.1）：DDC 在 EV/CI 假设下的 softmax 选择概率（21）和平滑 Bellman 方程（20）与 IRL 在熵正则化下的 soft Q-learning 公式完全一致。MCE IRL (Ziebart et al., 2010) 的梯度更新 µ_D - E_{π_θ}{·} 与 DDC 的 MLE 梯度相同。

  2. 方法差异（Section 3.1 vs 4.1-4.3）：

  3. DDC 强调确定性算法（策略迭代、NFXP）和全信息 MLE，计算成本高但效率最优。
  4. IRL 发展出随机迭代算法（Q-learning、TD）和模型无关方法（GAIL、AIRL），可扩展至高维状态空间但可能损失效率。

  5. 关键权衡：模型基础方法（NFXP）需要准确建模 p(s'|s,a) 但能进行反事实预测；模型无关方法（TD-CCP）避免建模 p 但隐含理性预期假设，且对有限数据敏感。

  6. 识别问题（Section 3.3, 4.2）：两个领域共同面临识别问题——多个奖励函数可解释同一行为。等价类为 r_h(s,a) = r(s,a) + β Σ_{s'} h(s') p(s'|s,a) - h(s)（Ng et al., 1999）。点识别需要额外假设：

  7. DDC 传统：已知锚定动作 r(s, a_s)（Hotz and Miller, 1993）或参数化奖励。
  8. IRL 传统：多环境观测（Cao et al., 2021）、结构化判别器分解（AIRL, Fu et al., 2018）。

  9. 重要结论：van der Laan et al. (2026) 和 Kalouptsidi et al. (2021) 证明，即使 {β, r, p} 仅部分识别，某些反事实量仍是可识别的。

  10. 收敛性保证（Section 2.4, 4.3）：

  11. 表格型 Q-learning 在适当步长条件下几乎必然收敛（Tsitsiklis, 1994）。
  12. 线性半梯度 TD 可能发散（Baird, 1995; Tsitsiklis and Roy, 1997），但目标网络和双时间尺度框架可保证收敛（Zhang et al., 2021）。
  13. DQN 在可实现性假设下以 O_p(1/√N) 的速率一致收敛（Zhang et al., 2023）。
  14. GLADIUS (Kang et al., 2025) 在可实现性假设下达到 O(1/T) + O(1/N) 的全局收敛率。

证明路线与技术技巧

本文是综述，没有新证明。但作者详细梳理了关键方法的证明路线：

NFXP 的收敛性（Section 3.1）： - 整体路线：外层循环最大化似然 L_f(θ)，内层循环求解固定点 Q_θ = Λ_θ(Q_θ)。内层使用策略迭代（Newton 法），利用 Bellman 算子的压缩性保证几何收敛。 - 关键跳跃点：隐函数定理保证 Q_θ 是 θ 的光滑函数，从而 MLE 具有标准渐近性质。 - 技术技巧：压缩映射、策略迭代（Newton 法）、隐函数定理。

NPL 的零 Jacobian 性质（Section 3.1）： - 整体路线：NPL 使用第一阶段非参数 CCP 估计 π̂ 来构造伪似然，然后迭代更新 θ 和 π。Aguirregabiria and Mira (2002) 证明，在固定点处 ∂V(s)/∂π = 0，因此 θ 的得分函数对 π̂ 的估计误差具有 Neyman 正交性。 - 关键跳跃点：零 Jacobian 性质的证明依赖于 Bellman 方程（22）在固定点处的一阶条件。 - 技术技巧：Neyman 正交性、隐函数定理、迭代估计。

DQN 的收敛性（Section 2.4）： - 整体路线：Zhang et al. (2023) 使用双时间尺度框架，外层 FVI 迭代（目标网络更新缓慢），内层 SGD 迭代（主网络更新快速）。在可实现性假设（真实 Q 在神经网络类中）下，证明 Q̂ 以 O_p(1/√N) 的速率一致收敛。 - 关键跳跃点：目标网络“冻结”了 Bellman 目标中的 Q，将 TD 误差转化为标准回归问题，避免了“致命三要素”中的自举不稳定性。 - 技术技巧：目标网络、经验回放、双时间尺度 SGD、可实现性假设。

GLADIUS 的收敛性（Section 4.3）： - 整体路线：Kang et al. (2025) 分别参数化 Q_ϕ 和 EV_ψ，将 Bellman 误差分解为 TD(ϕ) - β² VQ(ϕ, ψ)，然后求解 maxmin 问题 (ϕ̂, ψ̂) = argmin_ϕ argmax_ψ BE(ϕ, ψ)。在可实现性假设下，证明全局收敛率 O(1/T) + O(1/N)。 - 关键跳跃点：通过最大化 VQ(ϕ, ψ) 来估计条件方差项，从而在不需知道 p(s'|s,a) 的情况下计算 Bellman 误差。 - 技术技巧：maxmin 优化、Bellman 误差分解、可实现性假设。

真实例子与应用

本文包含多个真实数据例子，用于说明 DDC 和 IRL 的应用价值：

  1. 丹麦汽车税改革（Section 1）：Gillingham et al. (2022) 使用 DDC 模型估计消费者在高税率下的偏好，然后反事实预测减税和增加汽油税的影响。结果显示可以同时改善福利、增加税收、减少 CO₂ 排放。这个例子想说明：结构模型可以用于评估没有历史先例的政策变化，这是简化形式方法做不到的。

  2. Google Maps 路线偏好（Section 1）：Barnes et al. (2024) 使用 IRL 从 1.1 亿次行程中推断用户的路线偏好（3.6 亿参数），实现了 16-24% 的全局路线质量提升。这个例子想说明：IRL 可以扩展到超大规模真实应用，且学到的奖励函数可以用于改进推荐系统。

  3. 序列化内容消费（Section 4.2）：Lee et al. (2026) 使用 AIRL 从章节文本中估计读者的奖励函数，并评估反事实定价策略（如“等待免费”）。结果显示，高支付意愿用户在免费访问弱情节后更可能购买后续内容。这个例子想说明：AIRL 可以处理高维状态空间（章节文本），且学到的奖励函数可以用于反事实政策评估——这是 DDC 的核心目标。

  4. 自动驾驶（Section 4.5）：Lu et al. (2023) 结合模仿学习与 RL（BC-SAC），在挑战性驾驶场景中减少了 38% 的安全失败。Remonda et al. (2021) 发现，使用工程化奖励的 RL 智能体虽然速度与人类相当，但控制模式完全不同。这个例子想说明：工程化奖励无法捕捉人类的隐含权衡，IRL 学到的奖励函数可能更接近真实偏好。

  5. 专业网球发球（Section 3.3 脚注 19）：Anderson et al. (2025) 使用 DDC 模型从比赛数据中推断职业网球选手的主观信念（关于发球方向对获胜概率的影响），假设奖励函数已知（赢=1，输=0）。这个例子想说明：当奖励函数已知时，DDC 可以用于识别信念——这是理性预期假设的一个特例。

🔎 结论是否比证明窄

本文是综述，没有新定理，因此不存在“结论比证明窄”的问题。但作者在讨论中做出了一些泛化的 claim，值得注意：

  1. “模型无关 IRL 估计器……是连接两个领域的有前景方向”（Section 5）：这是一个观点性 claim，没有理论或实证支持。作者没有证明 TD-CCP 或 GLADIUS 在什么条件下优于传统 DDC 方法。

  2. “TD 估计器达到了半参数效率界”（Section 4.3，引用 Adusumilli and Eckardt, 2025, p. 24）：作者明确标注这是“conjecture”（猜想），而非已证明的结论。原文写道“they conjecture that the TD estimator attains ‘the semi-parametric efficiency bound when the transition density is unknown’”。

  3. “神经网络和随机化可以打破维度灾难”（Section 2.3）：作者指出“there is no formal proof that they actually ‘break’ this curse”，仅引用 Barron (1993) 对光滑函数的通用逼近界，以及 RL 在 Atari、围棋等领域的实证成功。这是一个未证明的 claim。

  4. “反事实预测依赖于难以验证的假设”（Section 5）：这是一个一般性观察，但作者没有量化这种依赖程度。Kalouptsidi et al. (2021) 和 van der Laan et al. (2026) 的工作表明，某些反事实量在部分识别下仍是稳健的——作者引用了这一点，但未深入讨论。

四、开放问题

  1. 有限理性下的 DDC/IRL：如何将有限理性（bounded rationality）纳入框架？本文 Section 5 指出“there is relatively little work on how to adapt DDC and IRL to infer rewards of boundedly rational agents”。具体来说，需要建模“suboptimal ‘satisficing’ behavior is due to inability to optimize or irrational beliefs”。扎根点：Section 5, p. 28。

  2. 模型无关估计器的半参数效率：Adusumilli and Eckardt (2025) 猜想 TD 估计器在转移密度未知时达到半参数效率界，但这一猜想尚未被证明。扎根点：Section 4.3, p. 24, “they conjecture that the TD estimator attains ‘the semi-parametric efficiency bound when the transition density is unknown’”。

  3. 神经网络是否真正打破维度灾难：本文 Section 2.3 指出“there is no formal proof that they actually ‘break’ this curse”。需要严格的理论结果，说明在什么条件下神经网络近似可以避免指数级增长的计算复杂度。扎根点：Section 2.3, p. 5。

  4. 多环境识别条件的可检验性：Cao et al. (2021) 证明在足够不同的转移律下可识别奖励至多一个常数，但“足够不同”的条件在实际中如何检验？Schlaginhaufen and Kamgarpour (2024) 指出有限数据下秩条件不足以保证识别。扎根点：Section 3.3, p. 19; Section 4.5 脚注 34。

Maintained by 陈星宇 · Homepage · Source on GitHub

评论