跳转至

Dynamic Discrete Choice and Inverse Reinforcement Learning: Inferring Preferences and Beliefs From Human Behavior

作者: Pranjal Rawat, John Rust
主题: 经济理论 / 应用
相关性: 6/10
链接: https://arxiv.org/abs/2608.24362

一、领域脉络与小综述

这个方向是什么

动态离散选择（DDC）与逆强化学习（IRL）是两个从不同学科传统出发、却解决同一核心问题的子领域：从观测到的序贯行为（状态-动作轨迹）推断决策者的偏好（奖励函数）。两者均假设个体在马尔可夫决策过程（MDP）框架下最大化期望折扣奖励，但DDC起源于1980年代的结构计量经济学，侧重用极大似然等经典统计工具做反事实政策评估；IRL起源于2000年代的机器学习，侧重从专家演示中学习奖励函数以训练智能体。两个领域在数学上已高度趋同——核心等价于“soft Q-learning”框架下的softmax（多项logit）选择概率与平滑Bellman方程——但在求解MDP的方法（确定性迭代 vs. 随机迭代）、对随机性的解释（未观测偏好冲击 vs. 熵正则化混合策略）、以及最终目标（反事实预测 vs. 行为克隆/智能体训练）上存在系统差异。当前成熟度：DDC在有限离散状态空间下已有成熟的估计理论（MLE、CCP、NPL）和识别结果；IRL则在深度神经网络和模型-free方法上取得了大规模应用突破，但两者共同面临识别问题（多个奖励函数可解释同一行为）和维度诅咒。

发展脉络

  • 奠基工作：Rust (1987, 1988) 将McFadden (1973)的静态随机效用模型扩展到动态设定，引入加性极值（EV）偏好冲击，导出softmax选择概率（21）和平滑Bellman方程（18-20），并提出嵌套固定点算法（NFXP）计算MLE。这是DDC的基石。同期，Bellman (1957)和Howard (1960)的动态规划与策略迭代为MDP求解提供了确定性算法框架。在IRL一侧，Ng and Russell (2000)正式提出IRL问题，指出其不适定性（多个奖励可解释同一最优策略），并提出最大间隔方法选择唯一解。

  • 主要进展：

  • DDC的CCP与NPL革命：Hotz and Miller (1993)提出条件选择概率（CCP）估计子，用非参数第一步估计π(a|s)来避免NFXP的内层MDP求解，大幅降低计算成本。Aguirregabiria and Mira (2002) (AM)提出嵌套伪似然（NPL）估计子，通过迭代CCP估计与策略评估步骤，在保持渐近效率的同时减少策略迭代次数。AM证明了NPL的零雅可比性质（∂V(s)/∂π=0），使参数估计对第一步π的估计噪声具有Neyman正交性。
  • IRL的最大熵与soft Q-learning：Ziebart et al. (2008, 2010)提出最大因果熵（MCE）IRL，将IRL重新表述为在特征匹配约束下最大化策略熵的凸优化问题，其KKT条件导出与DDC完全相同的softmax策略（21）和平滑Bellman方程（18-19）。Haarnoja et al. (2017)在此基础上提出soft Q-learning，将熵正则化引入RL目标（8），解决了探索-利用困境，并证明了其收敛到最优混合策略。Ziebart et al. (2010)明确指出MCE IRL与DDC在数学上等价。
  • 对抗方法与模型-free IRL：Ho and Ermon (2016)提出生成式对抗模仿学习（GAIL），将IRL重新表述为占用度量匹配的鞍点问题（34），实现了模型-free的模仿学习。Fu et al. (2018)提出对抗IRL（AIRL），通过结构化判别器（35）实现可迁移奖励函数的学习，但其理论保证依赖于确定性动力学和状态无关奖励。Kaji et al. (2023)为对抗估计提供了渐近理论：在正确设定下达到参数效率，在误设定下达到参数率。

  • 模型-free DDC估计：Adusumilli and Eckardt (2025) (AE)将时序差分（TD）学习与CCP估计子结合，提出模型-free的DDC估计方法，避免了转移概率p(s'|s,a)的估计或参数化。他们使用最小二乘TD公式（14）估计R和Q_ε，并引入Neyman正交化修正第一步噪声。AE推测其估计子达到半参数效率界（当转移密度未知时）。

  • 当前frontier：模型-free IRL与DDC的融合是当前最活跃的方向。Kang et al. (2025)的GLADIUS估计子通过分别参数化Q_ϕ和EV_ψ，在可实现性假设下达到O(1/T)+O(1/N)的全局收敛率。Lee et al. (2026)将AIRL应用于序列内容消费，用神经网络处理非结构化文本状态变量，并通过经济结构（退出选项）实现识别。Barnes et al. (2024)在Google Maps上实现了最大规模的IRL应用（3.6亿参数，1.1亿次行程）。

  • 本文的位置：本文是一篇综述文章（发表于Oxford Research Encyclopedia of Economics and Finance），由DDC领域的奠基人之一John Rust与合著者撰写。它的核心贡献不是提出新方法，而是系统性地揭示DDC与IRL在数学框架上的等价性（特别是soft Q-learning与EV偏好冲击模型的等价），并比较两个领域在估计方法、计算策略、识别假设和目标上的差异。本文特别强调了模型-free IRL（如AE的TD-CCP估计子）作为连接两个领域的有前景方向。

子线索聚类

  1. DDC的结构估计传统（Rust 1987, 1988; Hotz and Miller 1993; Aguirregabiria and Mira 2002; Magnac and Thesmar 2002; Su and Judd 2012; Iskhakov et al. 2016; Luo and Sang 2024; Nguyen 2025）：侧重在有限离散状态空间下用MLE、CCP、NPL等方法估计结构参数θ，强调反事实预测的识别条件与渐近效率。核心工具是Bellman方程的确定性求解（策略迭代/值迭代）和似然函数。

  2. IRL的机器学习传统（Ng and Russell 2000; Ziebart et al. 2008, 2010; Haarnoja et al. 2017; Ho and Ermon 2016; Fu et al. 2018; Kaji et al. 2023）：侧重从专家演示中学习奖励函数以训练智能体，发展出最大熵、对抗、soft Q-learning等方法。核心工具是随机迭代算法（Q-learning、TD）、深度神经网络和模型-free采样。

  3. 模型-free DDC/IRL的桥梁方法（Adusumilli and Eckardt 2025; Kang et al. 2025; Lee et al. 2026）：将RL的模型-free技术（TD学习、目标网络、经验回放）与DDC的估计框架（CCP、NPL、识别条件）结合，试图在保持计算可扩展性的同时保留结构解释力。这是本文特别强调的交叉方向。

核心问题与已知瓶颈

  • 识别问题：多个奖励函数可解释同一观测行为。DDC通过参数化r_θ、已知折扣因子β、理性预期假设和“锚定动作”假设（r(s,a_s)已知）实现点识别；IRL通过最大熵原则、多环境观测（Cao et al. 2021）或经济结构（退出选项）实现识别。但识别假设难以验证，且误设定会导致反事实预测失效。
  • 维度诅咒：MDP求解的计算复杂度随状态空间维度指数增长。DDC通过函数近似（神经网络、筛子）和随机化（Monte Carlo积分）缓解；IRL通过模型-free方法（避免估计p(s'|s,a)）和深度神经网络缓解。但尚无严格证明这些方法“打破”维度诅咒（Chow and Tsitsiklis 1989的下界）。
  • 模型-free vs. model-based的权衡：模型-free方法避免估计p(s'|s,a)，计算上更可扩展，但隐含假设理性预期（个体信念等于真实转移概率），且对有限数据敏感。模型-based方法需要估计p，但允许反事实预测（改变转移概率）。本文指出这是一个“深刻的、未解决的问题”（p. 29）。
  • 有限理性建模：AlphaZero等RL系统超越人类表现，说明人类并非完美理性优化者。如何将DDC/IRL扩展到有限理性（bounded rationality）个体（如满足化、扭曲信念）是开放问题。

⚠️ 作者的framing

作者将缺口frame成：DDC与IRL在数学上等价，但各自发展了不同的计算工具和识别策略，模型-free IRL是连接两者的有前景方向。具体来说： - 作者强调“soft Q-learning框架与DDC的EV偏好冲击模型等价”（Section 3, 4.1），从而将两个领域统一在同一数学语言下。 - 作者将模型-free IRL（特别是AE的TD-CCP估计子）定位为“桥接两个文献的有前景方向”（Abstract, Section 5），暗示这是未来工作的自然起点。 - 作者淡化了DDC中更复杂的设定（如连续状态空间、动态博弈、序列相关性），将讨论集中在有限离散状态空间和EV/CI假设上，这使等价性论证更清晰但也牺牲了 generality。 - 明显该被引/该存在但未出现在intro中的工作：本文未引用任何关于统计-计算权衡（information-computation gap）的文献，尽管MDP求解的维度诅咒本质上是一个计算复杂度问题。Chow and Tsitsiklis (1989)的下界被引用，但后续关于低度多项式障碍、SQ下界、平均情况难解性的工作（如与planted problems相关的文献）完全缺席。这可能是因为本文定位为经济学/RL的综述，而非理论计算机科学视角。研究者可自行检查：是否有关于“MDP求解的计算下界”或“RL的统计-计算权衡”的近期工作被遗漏。

张力

未见明显对立引用。各工作之间在数学框架上高度一致（softmax策略、平滑Bellman方程），差异主要体现在计算方法和识别假设上。一个潜在的张力是：DDC文献强调理性预期假设（个体信念等于真实转移概率），而IRL的模型-free方法隐含这一假设但未明确检验。本文在Section 5指出“模型-free IRL并非无假设：它需要个体具有理性预期的强隐含假设”（p. 29），但未深入讨论这一假设的实证有效性。

二、最核心、最简单的例子 / 数学问题

第一步：符号、模型、可观测数据交代清楚

符号： - \( s \in S \)：状态变量（可观测），\( |S| \)有限。 - \( a \in A(s) \)：动作变量（可观测），\( |A| \)有限。 - \( r(s,a) \)：奖励函数（待估参数/结构参数）。 - \( p(s'|s,a) \)：转移概率（已知或可估计）。 - \( \beta \in (0,1) \)：折扣因子（通常已知）。 - \( \varepsilon \)：个体观测但研究者未观测的偏好冲击向量，维度等于\( |A(s)| \)。 - \( V(s) \)：值函数，满足Bellman方程（2）。 - \( Q(s,a) \)：动作-状态值函数，满足\( Q(s,a) = r(s,a) + \beta \sum_{s'} V(s') p(s'|s,a) \)。 - \( \pi(a|s) \)：条件选择概率（CCP），即给定状态s下选择动作a的概率。 - \( \theta \)：结构参数向量（待估），通常参数化\( r_\theta(s,a) \)。 - \( \phi \)：函数近似参数（如神经网络权重），用于近似\( Q_\phi \)或\( V_\phi \)。 - \( \sigma \)：极值分布的尺度参数（在DDC中为偏好冲击方差；在IRL中为熵正则化强度）。 - \( \vec{r}(s,a) = (r_1(s,a), \ldots, r_K(s,a)) \)：已知特征函数向量（当奖励为线性时）。 - \( \mu_D = \frac{1}{N} \sum_{i=1}^N \sum_{t=0}^{T_i} \beta^t \vec{r}(s_{it}, a_{it}) \)：专家的经验折扣特征计数。

模型： - 个体在MDP框架下最大化期望折扣奖励：\( V(s) = \max_\pi \mathbb{E}^\pi [\sum_{t=0}^\infty \beta^t r(s_t, a_t) | s_0 = s] \)。 - 个体观测完整状态\( (s, \varepsilon) \)，其中\( \varepsilon \)服从多元Gumbel（Type I极值）分布，尺度参数\( \sigma \)，且\( \mathbb{E}[\varepsilon(a)|s] = 0 \)。 - 转移概率满足条件独立性（CI）：\( p(s', \varepsilon' | s, \varepsilon, a) = g(\varepsilon'|s') p(s'|s,a) \)。 - 个体使用纯策略\( \delta^*(s, \varepsilon) = \arg\max_a [Q(s,a) + \varepsilon(a)] \)。

可观测数据： - 研究者观测到N条轨迹\( \mathcal{D} = \{\tau_i\}_{i=1}^N \)，每条轨迹\( \tau_i = \{(s_{it}, a_{it})\}_{t=0}^{T_i} \)是状态-动作对序列。 - 可观测：\( s_{it}, a_{it} \)（状态和动作）。 - 不可观测：偏好冲击\( \varepsilon_{it} \)（个体观测但研究者未观测）、转移概率\( p(s'|s,a) \)（除非已知或可估计）、奖励函数\( r(s,a) \)（待估）、折扣因子\( \beta \)（通常假设已知）。

第二步：讲最小内核

最简特例：考虑一个单期（静态）离散选择模型，即\( \beta = 0 \)。此时MDP退化为McFadden (1973)的随机效用模型： - 个体在状态s下选择动作a，获得效用\( u(s,a) = r(s,a) + \varepsilon(a) \)，其中\( \varepsilon(a) \) i.i.d. Gumbel(0, σ)。 - 个体选择最大化效用的动作：\( a^* = \arg\max_a [r(s,a) + \varepsilon(a)] \)。 - 研究者观测到N个独立同分布样本\( \{(s_i, a_i)\}_{i=1}^N \)。

核心思路：Gumbel分布的一个关键性质是：\( \max_a [r(s,a) + \varepsilon(a)] \)的期望具有解析形式（log-sum公式）：

\[\mathbb{E}_\varepsilon[\max_a (r(s,a) + \varepsilon(a))] = \sigma \log \left( \sum_{a \in A(s)} \exp\{r(s,a)/\sigma\} \right).\]
更重要的是，选择概率\( \pi(a|s) \)具有封闭形式（多项logit/softmax）：
\[\pi(a|s) = \frac{\exp\{r(s,a)/\sigma\}}{\sum_{a' \in A(s)} \exp\{r(s,a')/\sigma\}}.\]
这个公式是整篇论文的数学内核。它说明： 1. 随机性来源：个体行为看似随机，是因为研究者未观测到\( \varepsilon \)。个体本身是确定性的（选择最大\( r+\varepsilon \)的动作），但研究者只能观测到概率分布。 2. 识别问题：从\( \pi(a|s) \)只能恢复\( r(s,a) \)的差值（因为\( \pi(a|s)/\pi(a'|s) = \exp\{(r(s,a)-r(s,a'))/\sigma\} \)），不能恢复绝对水平。需要“锚定动作”假设（如\( r(s,a_s) \)已知）才能点识别。 3. 与IRL的联系：在IRL中，同样的softmax公式可以从最大熵原则导出：在特征匹配约束下最大化策略熵，其KKT条件恰好给出\( \pi(a|s) \propto \exp\{Q(s,a)/\sigma\} \)。当\( \beta=0 \)时，\( Q(s,a)=r(s,a) \)，两者完全等价。

推广到动态（\( \beta > 0 \)）：动态情形下，\( Q(s,a) \)不再是\( r(s,a) \)本身，而是包含未来折扣奖励的递归定义（18）。但softmax公式（21）和平滑Bellman方程（18-20）的结构保持不变——只是将\( r(s,a) \)替换为\( Q(s,a) \)，而\( Q(s,a) \)本身是\( r \)和\( V \)的递归函数。这就是为什么整篇论文的核心数学结构可以归结为“soft Q-learning框架下的softmax策略”。

三、这篇论文做了什么

三句话

  1. 研究了什么问题：系统比较动态离散选择（DDC）与逆强化学习（IRL）两个领域，揭示它们在数学框架（MDP、softmax策略、平滑Bellman方程）上的等价性，并分析它们在估计方法、计算策略、识别假设和目标上的差异。
  2. 核心工具/方法：以“soft Q-learning”框架（即熵正则化RL）为统一语言，将DDC的EV偏好冲击模型与IRL的最大熵原则联系起来；通过综述NFXP、CCP、NPL、MaxEnt IRL、GAIL、AIRL、TD-CCP等具体方法，展示两个领域的技术谱系。
  3. 主要结论：DDC与IRL在数学上等价（softmax策略+平滑Bellman方程），但DDC侧重结构估计与反事实预测（使用MLE、CCP、策略迭代），IRL侧重可扩展的模型-free方法（使用深度神经网络、对抗训练、TD学习）。模型-free IRL（如AE的TD-CCP估计子）是连接两个领域的有前景方向。两者共同面临识别问题和维度诅咒。

关键设定与假设

在第二节最小记号的基础上，补全完整设定：

  • 状态空间与动作空间：假设\( S \)和\( A \)为有限集（Section 2开头），但后续讨论扩展到连续/高维状态空间（Section 3.2, 4.3）。
  • 加性极值（EV）偏好冲击（Section 3）：\( \varepsilon(a) \) i.i.d. Gumbel(0, σ)，且与\( s \)条件独立（CI假设）。这是DDC的核心假设，导出softmax公式（21）和平滑Bellman方程（18-20）。相比IRL的熵正则化解释（个体直接偏好混合策略），DDC将随机性归因于未观测冲击。
  • 条件独立性（CI）（Section 3）：\( p(s', \varepsilon' | s, \varepsilon, a) = g(\varepsilon'|s') p(s'|s,a) \)。这意味着\( \varepsilon_t \)在时间上独立，且与\( s_t \)无关。这是计算上的便利假设，但限制了序列相关性。
  • 理性预期（Section 3.3）：个体的主观信念\( p(s'|s,a) \)等于真实转移概率。这是DDC识别和反事实预测的关键假设。
  • 折扣因子已知（Section 3.3）：\( \beta \)通常假设已知，但Abbring and Daljord (2020)证明在理性预期和某些奖励限制下可识别。
  • 线性奖励函数（Section 3.1, 4.1）：\( r_\theta(s,a) = \vec{r}(s,a)^\top \theta \)，其中\( \vec{r} \)为已知特征函数。这是CCP估计子和MaxEnt IRL的常见设定。
  • 可实现性假设（Section 4.3）：在GLADIUS中，假设\( Q = Q_{\phi^*} \)和\( EV = EV_{\psi^*} \)对某些\( \phi^*, \psi^* \)成立。在DQN分析中（Zhang et al. 2023），假设真实Q位于深度神经网络类中。
  • 锚定动作假设（Section 3.3, 4.2）：对每个状态s，存在一个已知奖励的动作\( a_s \)（如退出选项），用于点识别奖励函数。Lee et al. (2026)使用“退出选项”实现这一假设。

相比已有文献的放宽/强化： - 相比Rust (1987, 1988)的原始设定，本文放宽了对转移概率参数化的要求（允许非参数第一步估计）。 - 相比Ng and Russell (2000)的最大间隔方法，本文强化了概率建模（softmax似然）。 - 相比Ziebart et al. (2010)的MCE IRL，本文明确建立了与DDC的等价性，并讨论了识别条件。

主要结果

本文为综述，无新定理。但梳理了以下关键结果（来自被引文献）：

  1. DDC的MLE渐近效率（Rust 1987, 1988）：在EV/CI假设下，NFXP计算的MLE达到参数效率，且\( \hat{\theta} \)渐近正态。
  2. CCP估计子的两步法效率损失（Hotz and Miller 1993）：第一步非参数估计\( \hat{\pi} \)引入噪声，导致\( \hat{\theta} \)效率低于MLE。
  3. NPL的零雅可比性质（Aguirregabiria and Mira 2002）：\( \partial V(s)/\partial \pi = 0 \)使NPL估计对第一步\( \hat{\pi} \)的噪声具有Neyman正交性，迭代后达到与MLE相同的效率。
  4. MCE IRL与DDC的等价性（Ziebart et al. 2008, 2010）：最大因果熵IRL的KKT条件导出与DDC完全相同的softmax策略和平滑Bellman方程。
  5. AIRL的可迁移奖励（Fu et al. 2018）：在确定性动力学和状态无关奖励下，结构化判别器（35）可恢复真实奖励（至多一个常数）。
  6. GLADIUS的全局收敛率（Kang et al. 2025）：在可实现性假设下，\( O(1/T) + O(1/N) \)。
  7. DQN的收敛率（Zhang et al. 2023）：在可实现性假设下，\( \|Q_{\hat{\phi}} - Q\|_\infty = O_p(1/\sqrt{N}) \)。
  8. 识别问题的刻画（Magnac and Thesmar 2002; Ng et al. 1999）：奖励函数只能识别到“潜在奖励塑造”变换\( r_h(s,a) = r(s,a) + \beta \sum_{s'} h(s') p(s'|s,a) - h(s) \)，该变换保持策略不变。

证明路线与技术技巧

本文为综述，无新证明。但梳理了关键方法的技术路线：

NFXP（Rust 1988）： - 整体路线：外层循环最大化似然\( L^f_\mathcal{D}(\theta) \)（26），内层循环对每个\( \theta \)求解固定点\( Q_\theta = \Lambda_\theta(Q_\theta) \)（18）。 - 关键跳跃点：内层固定点求解使用策略迭代（Section 2.2），需要\( O(|S|^3) \)操作。当\( |S| \)大时不可行。 - 技术技巧：利用Bellman算子的压缩映射性质保证收敛；利用隐函数定理保证\( Q_\theta \)对\( \theta \)光滑。

CCP估计子（Hotz and Miller 1993）： - 整体路线：第一步非参数估计\( \hat{\pi}(a|s) \)和\( \hat{p}(s'|s,a) \)；第二步求解线性系统（27）和（25）得到\( \hat{R} \)和\( \hat{Q}_\varepsilon \)；第三步最大化部分似然（29）得到\( \hat{\theta} \)。 - 关键跳跃点：线性奖励假设（\( r_\theta = \vec{r}^\top \theta \)）使\( Q_r(s,a) = R(s,a)^\top \theta \)，只需一次求解（27）即可，避免内层MDP求解。 - 技术技巧：Hotz-Miller反演（32）从\( \pi \)恢复\( Q \)的差值；锚定动作假设实现点识别。

NPL（Aguirregabiria and Mira 2002）： - 整体路线：从非参数\( \hat{\pi}^{(0)} \)开始，迭代执行：策略评估（22）→ 策略改进（21）→ 部分似然最大化（29）→ 更新\( \hat{\pi}^{(k)} \)。 - 关键跳跃点：零雅可比性质（\( \partial V(s)/\partial \pi = 0 \)）使参数估计对第一步\( \hat{\pi} \)的噪声正交，迭代后达到MLE效率。 - 技术技巧：将NFXP的内外层循环“交换”，减少策略迭代次数。

MCE IRL（Ziebart et al. 2010）： - 整体路线：在特征匹配约束下最大化因果熵（33），引入Lagrange乘子\( \theta \)，求解KKT条件得到softmax策略（21）和平滑Bellman方程（18-19）。 - 关键跳跃点：熵最大化与极大似然的等价性（指数族分布的标准结果）。 - 技术技巧：因果熵（而非Shannon熵）避免随机转移带来的风险寻求偏差；平滑Bellman算子的压缩映射性质保证唯一解。

GAIL（Ho and Ermon 2016）： - 整体路线：将IRL重新表述为占用度量匹配的鞍点问题（34），使用生成式对抗网络（GAN）框架：生成器（策略π）最小化与专家占用度量的JS散度，判别器D区分专家与生成样本。 - 关键跳跃点：占用度量\( d^\pi(s,a) \)的引入使问题模型-free（只需样本，无需p(s'|s,a)）。 - 技术技巧：使用因果熵正则化（\( \lambda H_c(\pi) \)）防止策略退化；判别器D近似密度比\( d^E/(d^E + d^\pi) \)。

AIRL（Fu et al. 2018）： - 整体路线：使用结构化判别器（35），其logits分解为\( f_\phi(s,a,s') = g_\phi(s,a) + \beta h_\phi(s') - h_\phi(s) \)，实现潜在奖励塑造的显式建模。 - 关键跳跃点：在确定性动力学和状态无关奖励下，\( g_\phi(s) \)恢复真实奖励（至多常数），\( h_\phi(s) \)恢复值函数。 - 技术技巧：潜在奖励塑造（Ng et al. 1999）的显式参数化；使用目标网络稳定训练。

TD-CCP估计子（Adusumilli and Eckardt 2025）： - 整体路线：使用最小二乘TD公式（14）从观测转移\( (s,a,s') \)估计\( R_\phi \)和\( Q_{\varepsilon,\phi} \)；代入CCP公式（28）估计\( \theta \)；使用Neyman正交化修正第一步噪声。 - 关键跳跃点：TD估计避免了对p(s'|s,a)的显式建模或积分，实现模型-free。 - 技术技巧：线性函数近似（基函数\( \vec{\rho}(s,a) \)）；最小二乘TD的封闭解（14）；Neyman正交化（Chernozhukov et al. 2022）。

真实例子与应用

本文包含多个真实数据例子和应用：

  1. Google Maps路线偏好估计（Barnes et al. 2024）：使用IRL从1.1亿次行程中估计360M参数的路线偏好函数，实现16-24%的全局路线质量提升。这是“迄今为止最大规模的IRL真实世界应用”（p. 2）。例子说明IRL的可扩展性和实际价值。

  2. 丹麦汽车税改革反事实预测（Gillingham et al. 2022）：使用DDC结构模型估计消费者偏好，预测降低新车税、提高汽油税可同时改善福利、增加税收、减少CO2排放。例子说明DDC在反事实政策评估中的核心作用。

  3. 序列内容消费（Lee et al. 2026）：使用AIRL估计读者对小说/电视剧章节的偏好，状态变量为非结构化文本（章节内容）。通过退出选项（已知零奖励）实现识别，评估反事实定价策略（如“等待免费”）。例子说明AIRL在经济学中的应用：处理高维状态、实现识别、进行反事实预测。

  4. 出租车轨迹预测（Zhao and Liang 2023）：在上海使用AIRL从GPS轨迹中学习路线偏好，利用道路网络的确定性转移实现模型-free估计。例子说明IRL在交通领域的应用。

  5. 自动驾驶（Lu et al. 2023）：结合行为克隆（BC）与RL（BC-SAC），在100k英里城市驾驶数据上训练，在最具挑战性场景中减少38%的失败。例子说明IRL/IL在安全关键系统中的重要性。

  6. AlphaZero（Silver et al. 2018）：通过自我对弈学习超越人类水平的棋类策略。例子说明RL在已知奖励函数下的能力，以及人类并非完美理性优化者的事实（Section 5）。

🔎 结论是否比证明窄

本文为综述，无新证明，但存在以下值得注意的“结论比证明窄”的情况：

  • Section 4.3：AE的TD-CCP估计子被描述为“模型-free”，但作者在Section 5指出其隐含假设理性预期（p. 29）。这一假设在AE原文中未被明确检验或讨论。作者写道“模型-free IRL并非无假设：它需要个体具有理性预期的强隐含假设”，但未提供AE原文中对此假设的处理。
  • Section 4.2：AIRL的可迁移性证明（Fu et al. 2018）要求“确定性动力学和状态无关奖励”（p. 23），但Lee et al. (2026)的应用中动力学是随机的（读者是否继续阅读下一章）。作者承认“在随机动力学下，分解是近似的”（p. 23），但未量化近似误差。
  • Section 3.2：SEES和NNES估计子的渐近性质（Luo and Sang 2024; Nguyen 2025）依赖于筛子维度随样本量增长到无穷的速率，但作者未讨论这些速率条件在实际中是否可验证。
  • Section 5：作者声称“模型-free IRL具有计算优势并避免估计p”，但未讨论有限样本下模型-free方法的方差问题（如TD估计的偏差-方差权衡（11））。AE原文（Adusumilli and Eckardt 2025）的模拟实验可能提供了有限样本证据，但本文未详细报告。

四、开放问题

  1. 有限样本下模型-free IRL的识别与效率：AE的TD-CCP估计子被推测达到半参数效率界（当转移密度未知时），但这一推测未被严格证明。扎根于Adusumilli and Eckardt (2025, p. 24)：“We conjecture that the TD estimator attains the semiparametric efficiency bound when the transition density is unknown.” 需要严格证明或反例。

  2. 非理性/有限理性个体的DDC/IRL：AlphaZero超越人类表现说明人类并非完美理性。如何将DDC/IRL扩展到有限理性个体（如满足化、扭曲信念、理性疏忽）？扎根于Section 5 (p. 28)：“there is relatively little work on how to adapt DDC and IRL to infer rewards of boundedly rational agents.” 具体可参考Hoiles et al. (2020)的理性疏忽IRL，但该工作仅处理静态设定。

  3. 高阶矩/高阶影响函数在DDC/IRL中的应用：本文讨论了Neyman正交化（Chernozhukov et al. 2022）用于修正第一步估计噪声，但未涉及高阶影响函数（HOIF）或高阶U统计量。对于高维状态空间或弱识别问题，高阶修正可能改善有限样本性质。扎根于Section 3.1对CCP估计子效率损失的讨论，以及Section 4.3对TD估计子偏差-方差权衡的讨论。研究者可自行检查：HOIF技术（如高阶U统计量的树宽/张量收缩复杂度）是否可用于改进TD-CCP估计子的有限样本表现。

  4. 统计-计算权衡在MDP求解中的角色：本文引用了Chow and Tsitsiklis (1989)的下界，但未讨论后续关于“低度多项式障碍”或“SQ下界”的工作。对于高维MDP，是否存在统计上可识别但计算上难解（需要超多项式时间）的奖励函数类？扎根于Section 2.3对维度诅咒的讨论，以及Section 5对“模型-free vs. model-based”权衡的讨论。研究者可自行检查：是否有关于“MDP中奖励识别的计算下界”的近期工作（如与planted clique或随机SAT的类比）被遗漏。

Maintained by 陈星宇 · Homepage · Source on GitHub

评论