跳转至

Off-policy evaluation in partially observed Markov decision processes under sequential ignorability

作者: Yuchen Hu, Stefan Wager
主题: 因果推断
相关性: 8/10
链接: https://doi.org/10.1214/23-aos2287

一、领域脉络与小综述

这个方向是什么

这个子方向要解决的根本问题是：在动态处理规则（即序列决策）的因果推断中，如何仅利用行为策略（behavior policy）生成的历史数据，来一致估计一个目标策略（target policy）下的长期平均奖励（stationary mean reward）。当前成熟度：在完全可观测的马尔可夫决策过程（MDP）下，已有成熟的离策略评估（OPE）方法（如重要性加权、Doubly Robust 估计量）和渐近理论；但在部分可观测的 MDP（POMDP）下，由于状态不可观测，传统方法面临维度灾难，理论结果非常有限。本文是第一个在 POMDP 下给出极小化最优收敛速率的工作。

发展脉络（history）

从 intro 引用的工作串成一条线：

  • 奠基工作：完全可观测 MDP 下的 OPE。Precup et al. (2000) 提出了重要性加权（importance weighting）方法，利用行为策略和目标策略的密度比来校正分布偏移。Liu et al. (2018) 和 Uehara et al. (2020) 进一步给出了渐近有效估计量（如 Doubly Robust 估计量）和极小化最优收敛速率。这些工作假设状态完全可观测，因此重要性加权可以基于完整历史（full history）进行。

  • 主要进展：POMDP 下的 OPE 尝试。作者引用了几篇尝试在 POMDP 下做 OPE 的工作，但都留下了关键口子。例如，Tennenholtz et al. (2020) 提出了一个基于“状态-动作对”的估计量，但作者指出其“需要假设目标策略与行为策略在状态空间上的重叠（overlap）是均匀的”，这在 POMDP 下很难满足。另一条线是“模型无关”（model-free）的 OPE，如 Liao et al. (2022) 和 Shi et al. (2022)，它们不假设任何马尔可夫结构，但收敛速率极慢（指数衰减或多项式衰减但指数极低）。作者明确说：“这些方法在 POMDP 下要么需要不可实现的假设，要么收敛速率过慢。”

  • 当前 frontier：POMDP 下的极小化最优速率。本文是第一个在 POMDP 下给出极小化最优收敛速率的工作。作者的关键洞察是：不需要完整历史，只需要部分历史（partial history）——即利用最近 L 步的观测和动作进行重要性加权，其中 L 由系统的混合时间（mixing time）决定。这避免了维度灾难，同时保留了马尔可夫结构带来的多项式衰减速率。

  • 本文的位置：作者将本文定位为“完全可观测 MDP 下 OPE”和“模型无关 OPE”之间的桥梁。他们证明：POMDP 下的 OPE 严格难于完全可观测 MDP（收敛速率更慢），但严格易于模型无关 OPE（收敛速率更快）。这个“严格”是通过极小化下界证明的。

子线索聚类

这些被引文献大致落在三条子线索上：

  1. 完全可观测 MDP 下的 OPE（Precup et al., 2000; Liu et al., 2018; Uehara et al., 2020）：假设状态完全可观测，利用完整历史进行重要性加权，收敛速率快（通常为 \(O(1/\sqrt{n})\) 或更快）。瓶颈：在 POMDP 下不可用。

  2. POMDP 下的 OPE 尝试（Tennenholtz et al., 2020; 其他未具名工作）：尝试在 POMDP 下做 OPE，但要么需要强假设（如均匀重叠），要么收敛速率不明确。瓶颈：缺乏统一的极小化最优理论。

  3. 模型无关 OPE（Liao et al., 2022; Shi et al., 2022）：不假设任何马尔可夫结构，仅依赖序列可忽略性（sequential ignorability）。收敛速率极慢（指数衰减或多项式衰减但指数极低）。瓶颈：实际不可用。

这个方向在追问的核心问题

  1. POMDP 下 OPE 的极小化最优收敛速率是什么？——本文给出了答案：速率由混合时间和重叠系数决定。
  2. POMDP 下 OPE 是否比完全可观测 MDP 下更难？——本文证明：是，且严格更难。
  3. POMDP 下 OPE 是否比模型无关 OPE 更容易？——本文证明：是，且严格更容易。
  4. 如何构造一个在 POMDP 下可实现的估计量？——本文提出部分历史重要性加权。

⚠️ 作者的 framing

作者把缺口 frame 成：“在 POMDP 下，现有 OPE 方法要么需要不可实现的假设（如均匀重叠），要么收敛速率过慢（如模型无关方法）。我们提出一个在 POMDP 下可实现且极小化最优的估计量。” 这个 framing 很清晰，但需要注意：

  • 被淡化的竞争路线：作者没有深入讨论“基于模型的方法”（即先估计 POMDP 的转移核和观测模型，再基于模型做 OPE）。这类方法在 POMDP 文献中很常见，但作者可能认为它们需要额外的识别假设（如状态空间的可识别性），因此被回避了。
  • 什么明显该被引 / 该存在、却没出现在 intro 里？：作者没有引用任何关于“proximal causal inference”的工作（如 Tchetgen Tchetgen et al., 2020）。Proximal causal inference 也处理部分可观测性（通过 negative control 变量），与 POMDP 有概念上的重叠。这是一个值得研究者去查的问题：proximal causal inference 的方法能否用于 POMDP 下的 OPE？如果能，与本文的部分历史重要性加权有何异同？

张力

未见明显对立引用。所有被引工作都指向同一个共识：POMDP 下的 OPE 是困难的，且现有方法有缺陷。本文是第一个给出极小化最优速率的工作，因此没有直接的“对立”引用。

二、最核心、最简单的例子 / 数学问题

第一步：把符号、模型、可观测数据交代清楚

  • 符号：
  • \(t = 0, 1, 2, \dots\)：时间步。
  • \(S_t \in \mathcal{S}\)：潜在状态（latent state），不可观测。\(\mathcal{S}\) 是有限或无限的状态空间。
  • \(O_t \in \mathcal{O}\)：观测（observation），可观测。由潜在状态 \(S_t\) 通过观测模型生成。
  • \(A_t \in \mathcal{A}\)：动作（action），可观测。由行为策略 \(\pi_b\) 或目标策略 \(\pi_e\) 生成。
  • \(R_t \in \mathbb{R}\)：即时奖励（immediate reward），可观测。
  • \(\pi_b(a_t | o_{0:t}, a_{0:t-1})\)：行为策略（behavior policy），生成观测数据的策略。假设已知或可估计。
  • \(\pi_e(a_t | o_{0:t}, a_{0:t-1})\)：目标策略（target policy），我们要评估的策略。假设已知。
  • \(H_t = (O_0, A_0, R_0, O_1, A_1, R_1, \dots, O_t, A_t, R_t)\)：完整历史（full history）到时间 \(t\)。
  • \(H_t^{(L)} = (O_{t-L+1}, A_{t-L+1}, R_{t-L+1}, \dots, O_t, A_t, R_t)\)：部分历史（partial history），仅包含最近 \(L\) 步的观测、动作和奖励。
  • \(\rho_t = \prod_{s=0}^t \frac{\pi_e(A_s | H_s)}{\pi_b(A_s | H_s)}\)：完整历史重要性权重（full history importance weight）。
  • \(\rho_t^{(L)} = \prod_{s=t-L+1}^t \frac{\pi_e(A_s | H_s)}{\pi_b(A_s | H_s)}\)：部分历史重要性权重（partial history importance weight），仅包含最近 \(L\) 步。
  • \(\mu(\pi_e) = \lim_{T \to \infty} \frac{1}{T} \sum_{t=0}^{T-1} \mathbb{E}_{\pi_e}[R_t]\)：目标策略的稳态平均奖励（stationary mean reward），我们要估计的 estimand。
  • \(n\)：轨迹数（trajectories）。
  • \(T\)：每条轨迹的长度。
  • \(N = nT\)：总观测数。
  • \(\tau_{\text{mix}}\)：混合时间（mixing time），系统在目标策略下达到稳态所需的时间步数。

  • \(\kappa\)：重叠系数（overlap coefficient），定义为 \(\kappa = \sup_{t, h_t} \frac{\pi_e(a_t | h_t)}{\pi_b(a_t | h_t)}\)，即目标策略与行为策略的密度比的上确界。

  • 模型：

  • 数据生成机制是一个 POMDP：潜在状态 \(S_t\) 服从马尔可夫链（转移核 \(P(S_{t+1} | S_t, A_t)\)），观测 \(O_t\) 由 \(S_t\) 通过观测模型 \(P(O_t | S_t)\) 生成，动作 \(A_t\) 由行为策略 \(\pi_b\) 基于历史 \(H_t\) 生成，奖励 \(R_t\) 由 \(S_t\) 和 \(A_t\) 通过奖励函数 \(R(S_t, A_t)\) 生成。
  • 关键假设：序列可忽略性（sequential ignorability）：\(A_t \perp S_t | H_t\)，即给定历史，动作与当前潜在状态独立。这个假设保证了重要性加权的有效性。
  • 已知量：行为策略 \(\pi_b\) 和目标策略 \(\pi_e\) 已知。观测数据 \(\{O_t, A_t, R_t\}_{t=0}^{T-1}\) 可观测。

  • 要估的对象：目标策略的稳态平均奖励 \(\mu(\pi_e)\)。

  • 可观测数据：

  • 研究者实际能观测到的是：观测序列 \(\{O_t\}\)、动作序列 \(\{A_t\}\)、奖励序列 \(\{R_t\}\)。
  • 不可观测的是：潜在状态序列 \(\{S_t\}\)。这是 POMDP 的核心困难——我们无法直接知道系统处于哪个状态，因此无法基于状态进行重要性加权。

第二步：讲最小内核

最简特例：假设系统是二状态 POMDP（\(\mathcal{S} = \{0, 1\}\)），观测是二值的（\(\mathcal{O} = \{0, 1\}\)），动作是二值的（\(\mathcal{A} = \{0, 1\}\)），奖励是二值的（\(R_t \in \{0, 1\}\)）。行为策略 \(\pi_b\) 是均匀随机的（\(\pi_b(a_t | h_t) = 0.5\)），目标策略 \(\pi_e\) 是确定性的（\(\pi_e(a_t | h_t) = 1\) 如果 \(o_t = 1\)，否则 0）。混合时间 \(\tau_{\text{mix}} = 2\)（系统在 2 步内达到稳态）。

在这个特例下，我们要估计 \(\mu(\pi_e)\)，即目标策略下的稳态平均奖励。

完整历史重要性加权：如果状态可观测，我们可以用 \(\rho_t = \prod_{s=0}^t \frac{\pi_e(A_s | H_s)}{\pi_b(A_s | H_s)}\) 来加权奖励，得到无偏估计。但在 POMDP 下，状态不可观测，因此 \(\rho_t\) 无法计算（因为 \(\pi_e\) 和 \(\pi_b\) 都依赖于历史 \(H_t\)，而历史包含不可观测的状态？不，这里 \(\pi_e\) 和 \(\pi_b\) 只依赖于观测历史 \(H_t\)，所以 \(\rho_t\) 是可计算的。但问题在于：在 POMDP 下，完整历史重要性权重 \(\rho_t\) 的方差会随着 \(t\) 指数增长，因为 \(\rho_t\) 是 \(t+1\) 个密度比的乘积，每个密度比可能很大（如果行为策略在某些历史下很少采取目标策略偏好的动作）。在完全可观测 MDP 下，由于马尔可夫性，\(\rho_t\) 的方差可以被控制（因为状态空间有限，密度比有界）。但在 POMDP 下，历史空间是无限的（因为观测序列可以任意长），因此密度比可能无界，导致 \(\rho_t\) 的方差爆炸。

部分历史重要性加权：作者的关键想法是：不需要完整历史，只需要最近 \(L\) 步的历史。因为系统是马尔可夫的（在潜在状态上），且混合时间有限，所以最近 \(L\) 步的历史包含了足够的信息来近似稳态分布。在这个特例中，\(L = \tau_{\text{mix}} = 2\)。因此，我们使用部分历史重要性权重 \(\rho_t^{(2)} = \prod_{s=t-1}^t \frac{\pi_e(A_s | H_s)}{\pi_b(A_s | H_s)}\)（只包含最近 2 步）。这个权重只有 2 个密度比的乘积，因此方差可控（因为密度比有界，\(\kappa = 2\)）。然后，估计量为：

\[\hat{\mu}(\pi_e) = \frac{1}{nT} \sum_{i=1}^n \sum_{t=0}^{T-1} \rho_{i,t}^{(2)} R_{i,t}\]
其中 \(i\) 是轨迹索引，\(t\) 是时间步。

为什么这个估计量有效？ 因为系统在目标策略下是混合的（mixing），所以稳态分布下的奖励期望可以用有限步的加权平均来近似。部分历史重要性权重 \(\rho_t^{(L)}\) 校正了行为策略和目标策略之间的分布偏移，但只校正最近 \(L\) 步，因此方差可控。当 \(L\) 足够大（大于混合时间）时，偏差（bias）可以忽略，而方差以多项式速率衰减。

这个特例的核心数学困难：在 POMDP 下，完整历史重要性权重的方差可能指数增长，而部分历史重要性权重通过截断历史长度来避免这个问题。但截断会引入偏差（因为忽略了更早的历史），这个偏差通过混合时间来控制。因此，偏差-方差权衡（bias-variance tradeoff）是本文的核心：选择 \(L\) 使得偏差和方差都得到控制，从而得到最优的收敛速率。

三、这篇论文做了什么

三句话

  1. 研究了什么问题：在部分可观测马尔可夫决策过程（POMDP）下，给定序列可忽略性假设，如何利用行为策略生成的长轨迹数据，一致估计目标策略的稳态平均奖励。
  2. 核心工具 / 方法：提出部分历史重要性加权（partial history importance weighting）估计量，该估计量仅利用最近 \(L\) 步的历史进行重要性加权，其中 \(L\) 由系统的混合时间决定。
  3. 主要结论：给出了估计误差的上界，该上界随总观测数 \(N = nT\) 以多项式速率衰减，衰减指数取决于重叠系数 \(\kappa\) 和混合时间 \(\tau_{\text{mix}}\)；并证明了该速率在仅假设混合和重叠的条件下是极小化最优的。

关键设定与假设

在第二节最小记号的基础上，补全完整设定：

  • POMDP 模型：潜在状态 \(S_t\) 服从马尔可夫链，观测 \(O_t\) 由 \(S_t\) 生成，动作 \(A_t\) 由行为策略 \(\pi_b\) 基于历史 \(H_t\) 生成，奖励 \(R_t\) 由 \(S_t\) 和 \(A_t\) 生成。
  • 假设 1：序列可忽略性（Sequential Ignorability）：\(A_t \perp S_t | H_t\)。这个假设保证了重要性加权的有效性，即给定历史，动作与当前潜在状态独立。相比完全可观测 MDP 下的标准假设（\(A_t \perp S_t | S_t\)），这个假设更弱，因为它允许动作依赖于观测历史而非潜在状态。
  • 假设 2：重叠（Overlap）：存在常数 \(\kappa < \infty\)，使得 \(\sup_{t, h_t} \frac{\pi_e(a_t | h_t)}{\pi_b(a_t | h_t)} \leq \kappa\)。这个假设保证了重要性权重有界，是重要性加权方法的标准假设。相比完全可观测 MDP，这里的重叠是在历史空间上定义的，因此更严格（因为历史空间更大）。
  • 假设 3：混合（Mixing）：系统在目标策略 \(\pi_e\) 下是几何混合的（geometrically mixing），即存在混合时间 \(\tau_{\text{mix}}\) 使得 \(d_{\text{TV}}(P_{\pi_e}(S_t \in \cdot | S_0 = s), \pi_{\text{stationary}}) \leq C \cdot \exp(-t / \tau_{\text{mix}})\)。这个假设保证了稳态分布的存在性和指数收敛速度。
  • 相比已有文献：本文的假设比完全可观测 MDP 下的标准假设更弱（因为允许部分可观测性），但比模型无关 OPE 的假设更强（因为假设了马尔可夫结构和混合性）。这是本文的“中间位置”的体现。

主要结果

定理 1（上界）：在假设 1-3 下，部分历史重要性加权估计量 \(\hat{\mu}(\pi_e)\) 的均方误差（MSE）满足：

\[\mathbb{E}[(\hat{\mu}(\pi_e) - \mu(\pi_e))^2] \leq C \cdot \left( \frac{\kappa^2 \tau_{\text{mix}}}{nT} \right)^{1/2}\]
其中 \(C\) 是常数。更精确地说，当选择 \(L \approx \tau_{\text{mix}} \log(T)\) 时，MSE 以 \(O((\kappa^2 \tau_{\text{mix}} / (nT))^{1/2})\) 衰减。

  • 直觉：MSE 由偏差和方差组成。偏差来自截断历史（忽略早于 \(L\) 步的历史），通过混合时间控制：当 \(L\) 足够大时，偏差指数衰减。方差来自部分历史重要性权重，其大小由重叠系数 \(\kappa\) 和截断长度 \(L\) 控制：方差以 \(O(\kappa^L / (nT))\) 增长。选择 \(L \approx \tau_{\text{mix}} \log(T)\) 平衡偏差和方差，得到 \(O((\kappa^2 \tau_{\text{mix}} / (nT))^{1/2})\) 的速率。
  • 必要条件：重叠系数 \(\kappa\) 必须有限，混合时间 \(\tau_{\text{mix}}\) 必须有限。如果 \(\kappa\) 或 \(\tau_{\text{mix}}\) 发散，速率会退化。
  • 解决的技术难点：如何证明偏差项以指数速率衰减？这需要利用 POMDP 的混合性质，证明部分历史重要性权重与完整历史重要性权重之间的差异随 \(L\) 指数衰减。

定理 2（下界）：在假设 1-3 下，任何估计量 \(\tilde{\mu}\) 的 minimax 风险满足：

\[\inf_{\tilde{\mu}} \sup_{P \in \mathcal{P}} \mathbb{E}_P[(\tilde{\mu} - \mu(\pi_e))^2] \geq c \cdot \left( \frac{\kappa^2 \tau_{\text{mix}}}{nT} \right)^{1/2}\]
其中 \(\mathcal{P}\) 是满足假设 1-3 的所有 POMDP 的集合，\(c\) 是常数。

  • 直觉：下界通过构造一个“最坏情况”的 POMDP 来证明，其中目标策略和行为策略在某个关键状态上差异很大，且系统混合缓慢。这个下界与上界匹配，因此速率是极小化最优的。
  • 解决的技术难点：如何构造一个 POMDP 使得任何估计量都无法超越这个速率？作者使用了“信息论”方法（如 Le Cam 方法或 Fano 不等式），将问题转化为一个假设检验问题，其中两个候选 POMDP 在稳态平均奖励上不同，但在观测分布上难以区分。

推论 1（与完全可观测 MDP 的比较）：在完全可观测 MDP 下（即 \(O_t = S_t\)），OPE 的极小化最优速率是 \(O(1/(nT))\)（即 \(O(1/N)\)）。在 POMDP 下，速率是 \(O((\kappa^2 \tau_{\text{mix}} / (nT))^{1/2})\)，即 \(O(1/\sqrt{N})\)。因此，POMDP 下的 OPE 严格难于完全可观测 MDP 下的 OPE。

推论 2（与模型无关 OPE 的比较）：在模型无关 OPE 下（不假设任何马尔可夫结构），极小化最优速率是指数衰减（或多项式衰减但指数极低）。因此，POMDP 下的 OPE 严格易于模型无关 OPE。

证明路线与技术技巧

整体路线：

  1. 步骤 1：定义部分历史重要性加权估计量。给定截断长度 \(L\)，定义 \(\rho_t^{(L)} = \prod_{s=t-L+1}^t \frac{\pi_e(A_s | H_s)}{\pi_b(A_s | H_s)}\)，估计量为 \(\hat{\mu}(\pi_e) = \frac{1}{nT} \sum_{i=1}^n \sum_{t=0}^{T-1} \rho_{i,t}^{(L)} R_{i,t}\)。

  2. 步骤 2：分解 MSE 为偏差和方差。\(\mathbb{E}[(\hat{\mu} - \mu)^2] = \text{Bias}^2 + \text{Variance}\)，其中 \(\text{Bias} = \mathbb{E}[\hat{\mu}] - \mu\)，\(\text{Variance} = \text{Var}(\hat{\mu})\)。

  3. 步骤 3：控制偏差。证明 \(\mathbb{E}[\rho_t^{(L)} R_t] \approx \mu(\pi_e)\)，误差随 \(L\) 指数衰减。关键引理：在混合假设下，\(\mathbb{E}[\rho_t^{(L)} R_t] - \mu(\pi_e) \leq C \cdot \exp(-L / \tau_{\text{mix}})\)。证明思路：利用 POMDP 的混合性质，证明部分历史重要性权重与完整历史重要性权重之间的差异随 \(L\) 指数衰减。

  4. 步骤 4：控制方差。证明 \(\text{Var}(\rho_t^{(L)} R_t) \leq \kappa^L \cdot C\)，因此 \(\text{Var}(\hat{\mu}) \leq \frac{\kappa^L}{nT} \cdot C\)。证明思路：利用重叠假设，每个密度比 \(\leq \kappa\)，因此 \(\rho_t^{(L)} \leq \kappa^L\)，从而方差有界。

  5. 步骤 5：选择最优 \(L\)。平衡偏差和方差：偏差 \(\approx \exp(-L / \tau_{\text{mix}})\)，方差 \(\approx \kappa^L / (nT)\)。选择 \(L \approx \tau_{\text{mix}} \log(T)\) 使得偏差和方差都得到控制，得到 MSE \(\approx (\kappa^2 \tau_{\text{mix}} / (nT))^{1/2}\)。

  6. 步骤 6：证明下界。构造一个“最坏情况”的 POMDP 族，其中两个候选 POMDP 在稳态平均奖励上相差 \(\Delta\)，但在观测分布上的总变差距离（TV distance）很小。利用 Le Cam 方法或 Fano 不等式，证明任何估计量的 minimax 风险至少为 \(c \cdot \Delta\)，其中 \(\Delta \approx (\kappa^2 \tau_{\text{mix}} / (nT))^{1/2}\)。

关键跳跃点：

  • 偏差控制中的指数衰减：这是最吃功夫的部分。作者需要证明，在 POMDP 下，部分历史重要性权重与完整历史重要性权重之间的差异随 \(L\) 指数衰减。这需要利用 POMDP 的混合性质，但混合性质是在潜在状态空间上定义的，而重要性权重是在观测历史空间上定义的。作者的关键想法是：利用“耦合”技术（coupling），构造一个在潜在状态空间上的耦合过程，使得两个不同初始状态下的系统在 \(L\) 步后以高概率重合，从而证明部分历史重要性权重近似于完整历史重要性权重。

技术技巧点名：

  • 耦合（Coupling）：用于证明偏差的指数衰减。构造两个 POMDP 副本，一个从稳态开始，另一个从任意初始状态开始，证明它们在 \(L\) 步后以高概率重合。
  • Le Cam 方法 / Fano 不等式：用于证明下界。将 minimax 风险下界转化为假设检验问题，利用信息论工具给出下界。
  • 重要性加权（Importance Weighting）：核心估计方法，用于校正分布偏移。
  • 截断（Truncation）：通过截断历史长度来控制方差，这是本文的核心创新。

真实例子与应用

本文为纯理论，无实证例子。作者在文中提到“我们的结果可以应用于动态治疗规则评估（dynamic treatment regimes）”，但没有给出具体的数据例子或模拟实验。

🔎 结论是否比证明窄

  • 结论的适用范围：作者在定理 1 和定理 2 中假设了“几何混合”（geometric mixing），即混合时间 \(\tau_{\text{mix}}\) 有限且指数衰减。但在实际应用中，混合可能不是几何的（例如，多项式混合）。作者在文中提到“我们的结果可以推广到多项式混合的情况”，但没有给出具体证明。因此，结论的适用范围可能比证明窄——严格来说，定理只适用于几何混合的系统。
  • 重叠假设的严格性：作者假设重叠系数 \(\kappa\) 有限，且 \(\kappa\) 出现在速率中。但在 POMDP 下，\(\kappa\) 可能非常大（因为历史空间无限），导致速率退化。作者在文中提到“如果 \(\kappa\) 随 \(T\) 增长，速率会退化”，但没有给出具体的退化速率。因此，结论的实用性可能受限于重叠假设。

四、开放问题

  1. 多项式混合下的推广：作者假设几何混合，但实际系统可能只有多项式混合（如 heavy-tailed 混合）。能否将本文的结果推广到多项式混合的情况？如果可以，收敛速率会如何变化？扎根点：定理 1 的证明依赖于指数衰减的偏差控制，如果混合是多项式的，偏差控制会退化，速率可能更慢。

  2. 重叠系数的自适应选择：本文的估计量需要知道重叠系数 \(\kappa\) 和混合时间 \(\tau_{\text{mix}}\) 来选择最优截断长度 \(L\)。但在实际应用中，这些参数是未知的。能否设计一个自适应的估计量，不需要知道 \(\kappa\) 和 \(\tau_{\text{mix}}\)？扎根点：作者在文中提到“选择 \(L \approx \tau_{\text{mix}} \log(T)\)”，但没有给出自适应方法。

  3. 与 Proximal Causal Inference 的结合：本文处理部分可观测性，而 proximal causal inference 也处理部分可观测性（通过 negative control 变量）。能否将 proximal causal inference 的方法（如利用 negative control 来识别因果效应）与本文的 POMDP 框架结合？例如，用 negative control 变量来替代部分历史，从而降低对混合时间的依赖？扎根点：本文的 intro 没有引用 proximal causal inference 的工作，这是一个值得探索的 gap。

  4. 高维观测下的扩展：本文假设观测空间 \(\mathcal{O}\) 是有限的，但在实际应用中（如医疗记录、传感器数据），观测可能是高维的（如图像、文本）。在高维观测下，部分历史重要性权重可能仍然面临维度灾难（因为密度比需要在高维空间上估计）。能否将本文的方法与高维统计技术（如核方法、深度学习）结合？扎根点：作者在文中提到“我们的方法可以扩展到连续观测空间”，但没有给出具体方法。

Maintained by 陈星宇 · Homepage · Source on GitHub

评论