Feedback-Aware Tuning of Recursive Q-Learning¶

作者: Masahiro Kojima
主题: 因果推断
相关性: 7/10
链接: https://arxiv.org/abs/2609.12716

一、领域脉络与小综述¶

这个方向是什么¶

本文研究的核心问题是：在递归 Q-learning（一种用于估计最优动态治疗方案的 backward 回归方法）中，如何为完整的、跨阶段的 Q-learning 拟合进行模型选择或模型平均。由于 Q-learning 是递归的——后一阶段的拟合结果会改变前一阶段的响应变量（pseudo-outcome）——因此，传统的逐阶段模型比较准则（如 AIC）无法直接评估最终目标阶段的预测风险。本文试图解决这个“比较反馈”（comparison feedback）问题，即下游拟合决策如何改变上游的统计比较。

发展脉络¶

奠基工作：SMART 设计与 Q-learning
- Murphy (2005) [1] 提出了序贯多期随机试验 (SMART) 的设计，为开发动态治疗方案提供了实验框架。
- Nahum-Shani et al. (2012) [2] 和 Schulte et al. (2014) [5] 系统介绍了 Q-learning 方法，通过 backward 回归来估计最优动态治疗方案。这是本文方法的应用背景和基础。
主要进展：模型不确定性与风险估计
- 模型平均与选择：Hansen (2007) [6]、Hjort & Claeskens (2003) [7] 等发展了频率学派模型平均方法，为组合不同模型提供了风险导向的权重。Peng & Yang (2022) [8] 进一步探讨了模型平均能否超越模型选择。
- 递归 Q-learning 的改进：Huang et al. (2015) [9] 研究了 backward Q-learning 中累积的模型误设偏差及其减少方法。Song et al. (2015) [10]、Laber et al. (2014) [11] 和 Bian et al. (2023) [12] 则从惩罚 Q-learning、交互式模型构建和变量选择等角度处理了建模和推断问题。
- 风险估计与调优：Stein (1981) [17] 的 Stein 无偏风险估计 (SURE) 为评估数据依赖的估计量提供了基础。Tibshirani & Rosset (2019) [20] 和 Cauchois et al. (2021) [21] 研究了 SURE 调优后的估计量的“过度乐观”偏差，并给出了修正界。Dalalyan & Salmon (2012) [19] 为聚合仿射估计量提供了尖锐的 oracle 不等式。
当前 Frontier 与本文位置
- 上述工作虽然处理了模型选择、偏差累积和风险估计，但都没有直接解决本文指出的核心问题：下游拟合如何改变上游的伪响应和比较统计量。作者认为，现有的逐阶段准则（如 AIC）无法评估一个完整 Q-learning 拟合的最终预测风险，因为下游的模型选择会改变上游的响应变量，从而改变上游的比较统计量。本文的贡献在于量化这种“比较反馈”，并将其纳入一个可观测的风险评估框架中，用于比较和组合完整的 Q-learning 拟合。

子线索聚类¶

动态治疗方案估计：包括 Q-learning [3-5]、A-learning [5]、G-estimation [13] 等。这一簇关注如何从数据中估计最优的序贯决策规则。
模型选择与平均：包括 AIC [22]、频率学派模型平均 [6-8]、贝叶斯模型组合 [15] 等。这一簇关注如何在多个候选模型中进行选择或加权组合。
递归估计中的偏差与推断：包括累积偏差 [9]、惩罚 Q-learning [10]、交互式模型构建 [11]、变量选择 [12] 等。这一簇关注 Q-learning 递归结构带来的特殊统计问题。
风险估计与聚合：包括 SURE [17]、聚合 [18, 19]、调优乐观偏差 [20, 21] 等。这一簇关注如何估计数据依赖估计量的风险，并组合它们。

核心问题与瓶颈¶

核心问题 1：如何评估一个完整 Q-learning 拟合在目标阶段的预测风险？
核心问题 2：下游拟合决策如何改变上游的模型比较统计量？
核心问题 3：如何设计一个风险准则，使其能够保留这种递归依赖，并用于组合不同的 Q-learning 拟合？
已知瓶颈：逐阶段模型比较准则（如 AIC）无法捕捉下游拟合对上游比较的反馈效应，因此不能正确排序完整的 Q-learning 拟合。

⚠️ 作者的 framing¶

作者的缺口 frame：作者将现有文献的缺口 frame 为“没有直接解决下游拟合如何改变上游伪响应和比较统计量的问题”。因此，本文的“显然的下一步”是量化这种“比较反馈”，并设计一个能够保留这种依赖的风险准则。
被淡化或回避的竞争路线：作者淡化了硬选择（hard selection） 路线（如 AIC 选择单一模型），将其作为不可微的、非库成员的比较基准。作者也回避了贝叶斯方法（如 [15]）的深入比较，仅将其列为相关方法。
值得研究者去查的问题：作者在引言中引用了 Munos & Szepesvári (2008) [16] 关于 fitted value iteration 的有限时间界，但并未深入讨论。这是一个潜在的、与本文递归风险分析相关的理论连接点，值得研究者去查证其与本文结果的关系。

张力¶

未见明显对立引用。各被引工作在不同设定下（如模型选择 vs. 模型平均、线性 vs. 非线性、单阶段 vs. 多阶段）发展，彼此互补而非矛盾。

二、最核心、最简单的例子 / 数学问题¶

第一步：符号、模型、可观测数据交代清楚¶

符号：
- K: 治疗阶段总数。
- n: 样本量（参与者数量）。
- H_s: 第 s 阶段开始前的历史信息（随机变量）。
- A_s: 第 s 阶段的治疗分配（随机变量）。
- Y_s: 第 s 阶段结束后的即时奖励（随机变量）。
- Q_s^*(h, a): 最优 Q-函数，即在历史 h 下采取行动 a 并之后遵循最优策略的期望总回报。
- V_s^*(h): 最优值函数，V_s^*(h) = max_a Q_s^*(h, a)。
- \hat{Q}_s^{(j)}: 在第 j 个 Q-learning 规格下，第 s 阶段 Q-函数的估计量。
- \hat{V}_s^{(j)}: 在第 j 个 Q-learning 规格下，第 s 阶段值函数的估计量。
- \tilde{Y}_s^{(j)}: 在第 j 个 Q-learning 规格下，第 s 阶段的伪响应（pseudo-outcome），\tilde{Y}_s^{(j)} = Y_s + \hat{V}_{s+1}^{(j)}(H_{s+1})。
- R_{t,n}^{(j)}: 第 j 个 Q-learning 规格在目标阶段 t 的预测风险，R_{t,n}^{(j)} = E \| \hat{Q}_t^{(j)} - Q_t^* \|_t^2。
- \nu_t: 目标阶段 t 的评估分布（evaluation law），用于定义风险中的范数 \|\cdot\|_t。
- \alpha_{t,j,n}: 在目标阶段 t，赋予第 j 个 Q-learning 规格的权重，\sum_j \alpha_{t,j,n} = 1。
- \hat{Q}_t^{FA}: 反馈感知软调优的最终 Q-函数估计量，\hat{Q}_t^{FA} = \sum_j \hat{\alpha}_{t,j,n} \hat{Q}_t^{(j)}。
模型：
- 数据生成机制：一个 K 阶段的序贯多期随机试验 (SMART)。在每个阶段 s，治疗 A_s 根据历史 H_s 随机分配。奖励 Y_s 在下一阶段前观测到。假设参与者轨迹独立、一致性、无干扰、序贯随机化和正性。
- 目标：估计最优 Q-函数 Q_s^*，从而得到最优动态治疗方案 d_s^*(h) = \arg\max_a Q_s^*(h, a)。
- 估计方法：Backward Q-learning。从最后一个阶段 K 开始，拟合回归模型估计 \hat{Q}_K，然后计算 \hat{V}_K。接着，为前一阶段 K-1 构造伪响应 \tilde{Y}_{K-1} = Y_{K-1} + \hat{V}_K，并拟合回归模型估计 \hat{Q}_{K-1}，以此类推。
可观测数据：
- 对于每个参与者 i，可观测到 (H_{1,i}, A_{1,i}, Y_{1,i}, H_{2,i}, A_{2,i}, Y_{2,i}, ..., H_{K,i}, A_{K,i}, Y_{K,i})。
- 想要但观测不到：最优 Q-函数 Q_s^*、最优值函数 V_s^*、以及使用真实最优值函数构造的“oracle”伪响应 Y_s + V_{s+1}^*。这些是估计的目标或理想化的构造。

第二步：最小内核——两阶段线性 Q-learning 特例¶

为了理解本文的核心思想，我们考虑一个两阶段 (K=2) 的线性 Q-learning 特例。

设定：
- 阶段 2：Q_2(H_2, A_2) = \beta_2^T \phi_2(H_2, A_2)，其中 \phi_2 是特征向量。我们有两个候选模型：窄模型（narrow）和宽模型（wide），宽模型比窄模型多一个特征 z_2。
- 阶段 1：Q_1(H_1, A_1) = \beta_1^T \phi_1(H_1, A_1)。同样有两个候选模型：窄模型和宽模型，宽模型比窄模型多一个特征 z_1。
- 目标：估计阶段 1 的 Q-函数 Q_1。
标准 Backward Q-learning 过程：
1. 阶段 2：用数据拟合窄模型和宽模型，得到 \hat{Q}_2^{narrow} 和 \hat{Q}_2^{wide}。通过 AIC 等准则选择一个模型（或进行模型平均），得到最终的 \hat{Q}_2。计算 \hat{V}_2(H_2) = \max_{a_2} \hat{Q}_2(H_2, a_2)。
2. 阶段 1：构造伪响应 \tilde{Y}_1 = Y_1 + \hat{V}_2(H_2)。用这个伪响应拟合阶段 1 的窄模型和宽模型，得到 \hat{Q}_1^{narrow} 和 \hat{Q}_1^{wide}。再次通过 AIC 等准则选择或平均，得到最终的 \hat{Q}_1。
核心问题（比较反馈）：假设我们在阶段 2 有两个不同的规格：
- 规格 A：在阶段 2 选择窄模型。
- 规格 B：在阶段 2 选择宽模型。这两个规格会生成不同的 \hat{V}_2，进而生成不同的阶段 1 伪响应 \tilde{Y}_1^{(A)} 和 \tilde{Y}_1^{(B)}。现在，当我们在阶段 1 比较窄模型和宽模型时，即使阶段 1 的候选模型和比较准则（如 AIC）完全相同，我们比较的统计量（如似然比统计量 \Lambda_{1,n}）也会因为伪响应的不同而不同。这就是“比较反馈”：下游（阶段 2）的模型选择改变了上游（阶段 1）的比较统计量。
本文的核心想法：与其在每一阶段独立地进行模型选择/平均，不如将整个 backward 拟合规则（即从阶段 2 到阶段 1 的完整递归过程）作为一个不可分割的比较单元。对于每个规格 j（它指定了每个阶段使用哪个模型或如何平均），我们：
1. 完整地运行一次 backward Q-learning，得到其阶段 1 的 Q-函数估计 \hat{Q}_1^{(j)}。
2. 在一个共同的预测目标（例如，阶段 1 的 Q-函数 Q_1^*）上评估所有规格的预测风险。
3. 使用一个保留递归依赖的风险准则（如基于 Stein 方法的准则）来估计每个规格的风险，并据此计算权重 \alpha_j 来组合这些 \hat{Q}_1^{(j)}。
数学上干了什么：本文的核心数学贡献是量化了这种比较反馈。在 Proposition 2 中，作者推导出下游扰动（如阶段 2 拟合误差 Z_{2,n}^{(j)}）如何通过一个反馈系数矩阵 C_1 改变上游（阶段 1）的标准化的系数向量 \eta_{1,n}^{(j)}： \eta_{1,n}^{(j)} = \eta_{1,n}^\circ + C_1 Z_{2,n}^{(j)} + o_p(1) 其中 \eta_{1,n}^\circ 是使用 oracle 伪响应时的标准化系数。这个 C_1 矩阵量化了“比较反馈”的强度。如果 C_1 = 0，则下游拟合不影响上游比较；否则，下游的任何变化都会直接传导到上游的模型比较统计量（如似然比统计量 \|\eta_{1,n}^{(j)}\|^2）上。

三、这篇论文做了什么¶

三句话¶

研究了什么问题：在递归 Q-learning 中，下游阶段的模型选择/平均会改变上游阶段的伪响应和模型比较统计量，导致逐阶段准则无法评估完整 Q-learning 拟合的最终预测风险。本文提出了反馈感知软调优 (FA soft tuning) 来解决这个“比较反馈”问题。
核心工具/方法：将整个 backward 拟合规则作为比较单元，使用高斯移位模型下的 Stein 风险准则来评估每个完整拟合的预测风险，该准则通过全导数保留了递归依赖。然后使用指数权重来组合这些拟合，并引入一个外权重导数修正项来校正因估计权重而产生的偏差。
主要结论：在高斯移位模型下，为固定有限库建立了精确的风险恒等式和带有显式适应余项的 oracle 不等式。在坐标表示和矩条件下，这些保证可转移到任意预设阶段的 Q-函数预测风险。一个两阶段构造提供了显式的可观测实现。

关键设定与假设¶

设定：K 阶段 SMART，n 个独立参与者。每个阶段有有限的动作集。假设一致性、无干扰、序贯随机化和正性。
Q-learning 规格：一个规格 j 完整指定了每个阶段使用的回归模型和选择/加权规则（如 AIC 选择、Akaike 加权等）。所有规格共享相同的候选模型库。
预测目标：目标阶段 t 的 Q-函数 Q_t^*。评估分布 \nu_t 是固定的，对所有规格相同。
关键假设：
- Assumption 1 (预测风险转移)：这是将高斯移位模型的结果转移到真实 SMART 风险的核心假设。它要求：
  - (a) 存在一个可观测的坐标向量 w_t，其极限分布是 N(\delta_t, I)，并且其估计量 \hat{w}_t 是相合的。
  - (b) 每个规格的 Q-函数估计误差可以分解为一个共同成分 U_{t,0} 和一个规格特异成分，后者由高斯移位模型中的映射 f_{t,j} 表示。
  - (c) 共同成分 U_{t,0} 在给定 w_t 的条件下与规格特异成分正交。
  - (d) 映射 f_{t,j} 和风险估计满足高斯移位模型中的条件（如可微性、矩条件）。
- Assumption 2 (两阶段实现)：针对两阶段模型的具体假设，包括局部参数序列（b_1, b_2 为 O(n^{-1/2})）、正定 Gram 矩阵、以及一系列预设的回归保障措施（如特征值下限、尺度下限）。

主要结果¶

Theorem 1 (高斯移位模型下的风险恒等式与 Oracle 不等式)：
- 陈述：对于高斯移位模型 w \sim N(\delta, I_p)，使用指数权重 \alpha_j(w) 组合映射 f_j(w)，作者构造了一个风险估计量 S^{FA}(w)，它是组合预测器 \bar{f}(w) 的真实风险 R^{FA}(\delta) 的无偏估计。此外，该风险满足一个 oracle 不等式： R^{FA}(\delta) \le \inf_{q \in \mathcal{W}^J} \left\{ \sum_j q_j R_j(\delta) + T KL(q \|\pi) \right\} + \frac{E_\delta \text{Disp}^{\partial S}}{T^2}
- 直觉：S^{FA} 通过减去预测的离散度 (\text{Disp}^f) 和加上外权重导数修正 (B) 来校正平均预测和估计权重带来的偏差。Oracle 不等式表明，FA 调优的风险不会比任何固定权重组合（加上一个 KL 散度惩罚项）的风险差太多，余项由风险准则导数的离散度 (\text{Disp}^{\partial S}) 控制。
- 必要条件：映射 f_j 是 C^2 的，且满足一定的矩条件（14）。
- 解决的技术难点：如何在校正了权重估计偏差后，仍然得到风险的无偏估计和 oracle 不等式。
Theorem 2 (预测风险转移)：
- 陈述：在 Assumption 1 下，高斯移位模型中的风险比较可以转移到真实 SMART 的 Q-函数预测风险上。具体地，n R_{t,n}^{(j)} \to C_{0,t} + \varsigma_t^2 R_{t,j}(\delta_t)，其中 C_{0,t} 是共同成分的方差，\varsigma_t^2 是尺度参数。FA 调优的 oracle 不等式也相应成立。
- 直觉：这个定理保证了，只要我们能构造出满足 Assumption 1 的可观测坐标，那么在高斯模型中关于 FA 调优的所有理论保证（无偏风险估计、oracle 不等式）都可以直接应用于真实的 Q-函数预测风险。
- 必要条件：Assumption 1 的全部条件，特别是共同成分的正交性条件 (c)。
Corollary 1 (两阶段实现)：
- 陈述：在 Assumption 2 下，两阶段构造（Algorithm 1）满足 Assumption 1。因此，Theorem 2 的结论成立，包括 oracle 界和一级无偏的全风险估计。
- 直觉：这个推论将抽象的理论结果落地到一个具体的、可实现的算法上，证明了 Algorithm 1 确实继承了 Theorem 2 的理论保证。

证明路线与技术技巧¶

整体路线：
1. 量化比较反馈 (Section 2)：通过 Proposition 1 和 2，将递归 Q-learning 中的误差传播和下游扰动对上游比较统计量的影响用数学公式表达出来，特别是推导出反馈系数矩阵 C_s。
2. 构建高斯风险准则 (Section 3)：在高斯移位模型下，为每个完整的 Q-learning 拟合（视为一个映射 f_j）构造一个基于 Stein 方法的风险估计 S_j。这个估计的关键在于计算 f_j 关于 w 的全导数 \partial_w^T f_j，从而保留递归依赖。
3. 组合与偏差校正 (Section 3)：使用指数权重组合这些映射。推导出组合预测器 \bar{f} 的风险无偏估计 S^{FA}，它包含了对平均预测和估计权重带来的偏差的校正项（\text{Disp}^f 和 B）。证明 oracle 不等式。
4. 风险转移 (Section 4)：通过 Assumption 1，将高斯移位模型中的风险结果“转移”到真实 SMART 的 Q-函数预测风险上。这需要构造可观测的坐标 w_t 和尺度参数 \varsigma_t，并证明共同成分的正交性。
5. 可观测实现 (Section 4)：为两阶段模型提供一个显式的、可观测的算法（Algorithm 1），并验证其满足 Assumption 1 的条件（Corollary 1）。
关键跳跃点：
- 从逐阶段比较到完整拟合比较：这是概念上的关键跳跃。作者放弃了在每个阶段独立进行模型选择的思路，转而将整个 backward 拟合视为一个原子单元。这使得“比较反馈”问题被内化到每个单元的风险评估中。
- 高斯移位模型作为代理：将复杂的、非线性的、递归的 Q-learning 拟合问题，通过局部渐近分析，简化为一个高斯移位模型中的映射比较问题。这个跳跃依赖于 Assumption 1 中的分解和正交性条件。
- 外权重导数修正 B：在组合预测器时，权重 \alpha_j 本身是数据的函数，这引入了额外的偏差。作者通过计算 \alpha_j 关于 w 的导数，构造了修正项 B，从而恢复了风险估计的无偏性。这是技术上的一个精细点。
技术技巧点名：
- Stein 无偏风险估计 (SURE)：用于构造每个映射 f_j 的风险估计 S_j。核心是计算 \text{tr}(A^T \partial_w^T f_j)，即映射的雅可比矩阵的迹。
- 指数权重 / 吉布斯分布：用于组合不同的映射。权重 \alpha_j \propto \exp(-S_j / T) 是风险估计的软最小化。
- KL 散度惩罚：在 oracle 不等式中，T KL(q \|\pi) 项惩罚了权重 q 偏离先验 \pi 的程度，这是 PAC-Bayesian 类型论证的常见技巧。
- 局部渐近分析 / 局部参数序列：通过将模型误设偏差设为 O(n^{-1/2})（如 b_1 / \sqrt{n}），使得问题落入局部渐近正态 (LAN) 框架，从而可以用高斯移位模型来近似。
- 残差化系数表示 (Residualised-coefficient representation)：通过将回归系数投影到窄模型的补空间上，分离出“新增”信号，从而将模型比较问题简化为对新增系数向量的检验。

真实例子与应用¶

模拟 ADHD 试验 (Section 5.3)：
- 数据：DTRlearn2 R 包中的模拟 ADHD 数据，包含 150 条记录，模拟一个两阶段 SMART。
- 方法应用：比较了在阶段 2 使用 AIC 硬选择与使用模型平均对阶段 1 模型比较的影响。
- 结果：虽然下游（阶段 2）的模型选择/平均改变了上游（阶段 1）的伪响应、交互项系数和似然比统计量，但没有改变阶段 1 的治疗推荐，因为扰动相对于治疗效果的边际来说很小。
- 说明的问题：这个例子旨在展示“比较反馈”现象的存在，并说明“比较反馈”与“治疗推荐改变”是两个不同的事件。它验证了 Section 2 的理论动机，但不是对 FA 调优算法的验证。

🔎 结论是否比证明窄¶

窄结论：Theorem 2 的 oracle 不等式（20）中的余项 \varsigma_t^2 E_{\delta_t} \text{Disp}^{\partial S} / T^2 在一般情况下不一定趋于 0。作者在文中明确提到“the remainder need not vanish on the local risk scale”（第 12 页）。这意味着，对于固定的 T，FA 调优的风险可能不会渐近地达到 oracle 风险。这是一个诚实的、窄于“渐近最优”的结论。
泛化 claim：作者在 Section 6 提到“The theorem allows any prespecified target stage for fixed K; the two-stage construction verifies its conditions, and the supplement gives checks for other K-stage models.” 这里的“checks for other K-stage models”是一个泛化的 claim。读者需要去补充材料中核实这些检查是否完整、是否覆盖了所有可能的模型，还是仅针对某些特定结构。这是一个值得研究者去查证的点。

四、开放问题¶

Oracle 不等式的紧性：Theorem 2 中的 oracle 不等式余项 \varsigma_t^2 E_{\delta_t} \text{Disp}^{\partial S} / T^2 在什么条件下可以消失或得到改进？特别是，能否通过数据自适应地选择 T 来使余项更小？这扎根于 Theorem 1 和 2 的 oracle 不等式陈述。
非光滑映射的扩展：本文的库要求 C^2 映射，排除了硬选择（如 AIC 硬选择）和阈值收缩映射。能否将理论扩展到这些非光滑但更常用的模型选择规则？这扎根于 Section 3.2 中“excludes discontinuous hard selectors and threshold-shrinkage maps”的陈述。
共同成分的估计：Theorem 2 中的共同成分 C_{0,t} 需要被估计以得到完整的风险估计。虽然作者在 Corollary 1 中提到了 \hat{C}_0 的构造，但该估计量的有限样本性质（如偏差、方差）及其对最终风险估计的影响尚未被充分研究。这扎根于 Theorem 2 中关于 \hat{S}^{full}_{t,n} 的陈述。
更一般的 K 阶段模型：作者声称补充材料提供了其他 K 阶段模型的检查。一个开放问题是，对于一般的、非线性的、高维的 Q-函数模型，Assumption 1 中的条件（特别是共同成分的正交性条件 (c)）是否仍然容易验证？这扎根于 Section 6 中关于“the supplement gives checks for other K-stage models”的泛化 claim。

Maintained by 陈星宇 · Homepage · Source on GitHub