跳转至

BRFedTD: A Novel Framework for Federated Reinforcement Learning With Byzantine-Resilient Policy Evaluation

作者: Dazhong Wang, Weidong Liu, Xiaojun Mao
来源: IEEE Transactions on Pattern Analysis and Machine Intelligence
主题: 因果推断
相关性: 2/10
机构绿灯: Shanghai Jiao Tong University(US News 前 50,免分进入精读)
链接: https://doi.org/10.1109/tpami.2026.3713184


一、领域脉络与小综述

这个方向是什么

本文所处的子方向是联邦强化学习(Federated Reinforcement Learning, FRL)中的策略评估(policy evaluation),其根本科学问题是:在多个智能体(agent)各自拥有本地交互数据、且不能共享原始数据的约束下,如何协作地估计一个给定策略的价值函数(value function)。该问题的统计本质是分布式时序差分(Temporal Difference, TD)学习——每个智能体在本地用马尔可夫链数据做时序差分更新,再通过中心服务器聚合参数估计。当前该方向的成熟度处于"理论刚起步"阶段:已有工作解决了通信效率、异构性(heterogeneity)下的收敛性,但鲁棒性(尤其是对抗拜占庭攻击)与统计推断(渐近分布)两个维度几乎空白。本文试图同时填补这两个空白。

发展脉络(history)

从 introduction 与参考文献看,这条线的发展可串成如下链条:

  1. 奠基工作:单机 TD 学习与策略评估。TD 学习由 Sutton (1988) 提出,其统计性质(收敛性、渐近正态性)在经典强化学习文献中已被充分研究。这是本文的统计基础——本文的渐近正态性结果本质上是在"联邦 + 鲁棒聚合"的扰动下,恢复单机 TD 的经典推断性质。

  2. 主要进展一:联邦强化学习(FRL)的收敛性分析。作者引用了一系列近期 FRL 工作(如 Jin et al., 2022; Khodadadian et al., 2022; Zhang et al., 2023 等),这些工作建立了线性函数逼近 + 异构 MDP + 多轮本地更新下联邦 TD 的有限时间收敛界。但作者明确指出这些工作均未考虑拜占庭攻击——这是本文切入的口子。

  3. 主要进展二:分布式鲁棒聚合(robust aggregation)。作者引用了分布式优化中的 Byzantine-robust 方法(如 Yin et al., 2018 的 trimmed mean;Blanchard et al., 2017 的 Krum;Karimireddy et al., 2022 的纠偏机制)。这些方法在分布式 SGD 中已被证明能抵御任意恶意更新,但直接移植到联邦 TD 会失效——因为 TD 更新本身是有偏的(基于马尔可夫链的依赖数据),且异构 MDP 下各智能体的更新方向本身就不一致,鲁棒聚合需要同时处理"合法异构"与"恶意攻击"两种干扰源。

  4. 当前 frontier:联邦策略评估的统计推断。作者声称本文是首个在 FRL 中建立渐近正态性结果的工作。此前 FRL 文献只关注点估计的收敛率,没有给出置信区间构造的理论保证。这填补了"联邦策略评估能否做不确定性量化"这一空白。

  5. 本文的位置:本文站在第 2、3 条线的交叉点——用第 3 条线的 trimmed mean 聚合技术,去解决第 2 条线遗留的鲁棒性问题,并在无攻击同质设定下恢复第 1 条线的经典推断性质。这是一个"鲁棒性 + 推断"双缺口的缝合。

子线索聚类

被引文献大致落在三条子线索上:

  • 线索 A:联邦 TD 的收敛理论(Jin et al., 2022; Khodadadian et al., 2022; Zhang et al., 2023 等)。这一簇在做什么:建立联邦 TD 在通信受限、数据异构下的有限时间收敛界,回答"参数估计以多快的速度逼近真值"。已知瓶颈:均未考虑恶意智能体,且只给点估计、不给分布。

  • 线索 B:Byzantine-robust 分布式优化(Yin et al., 2018; Blanchard et al., 2017; Karimireddy et al., 2022 等)。这一簇在做什么:设计对任意恶意更新鲁棒的聚合规则(trimmed mean、Krum、坐标式中位数等),并证明在分布式 SGD 中的收敛性。已知瓶颈:这些方法针对 i.i.d. 或有限方差梯度的设定,未处理马尔可夫链依赖数据,也未处理"合法异构"与"恶意攻击"的混杂。

  • 线索 C:单机 TD 的统计推断(Sutton, 1988; Bhandari et al., 2018; 等)。这一簇在做什么:建立 TD 估计的渐近正态性与效率。已知瓶颈:单机设定,不涉及分布式聚合。

本文是线索 A 与线索 B 的交叉,并借线索 C 的推断工具做理论支撑。

这个方向在追问的核心问题

  1. 鲁棒聚合下的收敛性:当部分智能体被拜占庭攻击(可发送任意参数更新)时,联邦 TD 的参数估计是否仍收敛?收敛率相比无攻击情形损失多少?——本文给出有限时间收敛界。
  2. 异构性与鲁棒性的张力:合法异构 MDP 导致各智能体的本地更新方向天然不一致,这与拜占庭攻击造成的"异常更新"如何区分?trimmed mean 是否会误杀合法异构信息?——本文的收敛界显式依赖异构度参数,刻画了这一张力。
  3. 联邦 TD 的统计推断:在无攻击且 MDP 同质的理想设定下,联邦 TD 估计是否渐近正态?方差是否达到效率界?——本文给出首个渐近正态性结果。
  4. 本地更新轮数的影响:多轮本地更新(local update)减少通信,但会引入偏差。在鲁棒聚合下,这种偏差如何与聚合误差交互?——本文的收敛界显式依赖本地更新轮数。

⚠️ 作者的 framing(这是作者的说法)

作者把缺口 frame 成:"现有 FRL 方法均未考虑拜占庭攻击,而现有 Byzantine-robust 方法均未针对联邦 TD 的马尔可夫链数据与异构 MDP 设定。因此,设计一个同时处理线性函数逼近、异构 MDP、多轮本地更新与鲁棒聚合的联邦 TD 算法,并建立其收敛性与渐近正态性,是'显然的下一步'。"

被淡化或回避的竞争路线: - 基于影响函数(influence function)的鲁棒统计方法:经典鲁棒统计(Huber contamination 模型)提供了另一条抵御异常值的路径,但作者未讨论为何不采用。 - 中位数聚合(coordinate-wise median):这是比 trimmed mean 更简单的鲁棒聚合规则,作者未解释为何选 trimmed mean 而非 median(可能因为 trimmed mean 在无攻击时效率更高)。 - 加密/安全聚合(secure aggregation):这是从"防御恶意行为"而非"容忍恶意行为"出发的路线,作者完全未提及。

值得研究者去查的问题:为什么作者选择 trimmed mean 而非 coordinate-wise median 或 Krum?trimmed mean 的修剪比例(trimming proportion)如何选择?是否有自适应选择修剪比例的理论保证?这些在文中可能只是作为超参数处理。

张力

被引工作之间未见明显对立引用。但存在一个隐含张力:线索 B 的鲁棒聚合方法(如 trimmed mean)在分布式 SGD 中的收敛性依赖于梯度噪声的对称性或轻尾假设,而线索 A 的联邦 TD 中,马尔可夫链数据带来的更新噪声通常不满足这些假设。本文需要额外处理这一张力——这是其技术贡献的核心。


二、最核心、最简单的例子 / 数学问题

第一步:把符号、模型、可观测数据交代清楚

符号(逐个点名):

  • 策略 \(\pi\):待评估的固定策略(target policy)。本文只做策略评估(policy evaluation),不做策略优化(policy optimization)。
  • 价值函数 \(V^\pi(s)\):从状态 \(s\) 出发、遵循策略 \(\pi\) 的折扣累积奖励期望。这是目标量(estimand)。
  • 特征映射 \(\phi(s) \in \mathbb{R}^d\):将状态映射到 \(d\) 维特征向量。本文用线性函数逼近,即假设 \(V^\pi(s) \approx \theta^\top \phi(s)\),其中 \(\theta \in \mathbb{R}^d\) 是参数(要估的对象)。
  • \(\theta^*\):真实但未知的参数向量,满足投影方程 \(\Phi^\top (T^\pi \Phi \theta^* - \Phi \theta^*) = 0\),其中 \(T^\pi\) 是 Bellman 算子,\(\Phi\) 是特征矩阵。这是目标参数(target parameter)。
  • \(N\):智能体(agent)总数。
  • \(M\):拜占庭智能体(Byzantine agent)数量。假设 \(M < N/2\)(严格少于一半,否则鲁棒聚合在信息论上不可能)。
  • \(K\):本地更新轮数(local update steps)。
  • \(T\):总通信轮数(communication rounds)。
  • \(\eta\):步长(learning rate)。
  • \(\alpha\):trimmed mean 的修剪比例(trimming proportion),即每轮聚合时丢弃 \(\alpha\) 比例的最大/最小分量。
  • \(\{s_t^{(i)}, r_t^{(i)}\}_{t \ge 0}\):第 \(i\) 个智能体的本地马尔可夫链轨迹(状态-奖励序列)。这是可观测数据。
  • \(\theta_t^{(i)}\):第 \(i\) 个智能体在第 \(t\) 轮通信时的本地参数估计。
  • \(\bar{\theta}_t\):服务器在第 \(t\) 轮聚合后的全局参数估计。
  • \(\Delta_t = \bar{\theta}_t - \theta^*\):估计误差。

模型(数据生成机制):

  • 每个智能体 \(i\) 拥有一个本地 MDP \(\mathcal{M}_i = (\mathcal{S}, \mathcal{A}, P_i, R_i, \gamma)\),其中 \(P_i\) 是转移核,\(R_i\) 是奖励函数,\(\gamma \in (0,1)\) 是折扣因子。
  • 异构性(heterogeneity):不同智能体的 \(P_i, R_i\) 可以不同。本文用异构度参数 \(\zeta\) 刻画各智能体 Bellman 算子与全局平均 Bellman 算子的偏差上界。
  • 每个智能体在本地用时序差分学习(TD(0)) 更新参数:\(\theta_{t+1}^{(i)} = \theta_t^{(i)} + \eta \cdot \phi(s_t^{(i)}) \left( r_t^{(i)} + \gamma \theta_t^{(i)\top} \phi(s_{t+1}^{(i)}) - \theta_t^{(i)\top} \phi(s_t^{(i)}) \right)\)。
  • 每 \(K\) 步本地更新后,智能体将 \(\theta^{(i)}\) 发送给服务器;服务器用 trimmed mean 聚合:对每个坐标 \(j\),丢弃 \(\alpha\) 比例的最大值和最小值,对剩余值取平均,得到 \(\bar{\theta}_{t+1}\)。
  • 拜占庭攻击模型:拜占庭智能体可以发送任意值(包括与本地数据无关的恶意值),且可以合谋。

可观测数据 vs 不可观测量:

  • 可观测:每个智能体的本地轨迹 \(\{s_t^{(i)}, r_t^{(i)}\}\)(但服务器看不到原始轨迹,只收到参数更新);服务器收到的参数更新 \(\{\theta_t^{(i)}\}\)。
  • 不可观测:哪些智能体是拜占庭的(身份未知);每个智能体的真实 MDP 参数 \(P_i, R_i\);目标参数 \(\theta^*\)。

第二步:讲最小内核

最小内核:把论文的所有技术细节剥掉,其核心命题可以浓缩为:

在 \(N\) 个智能体中至多 \(M < N/2\) 个是拜占庭的、且各智能体 MDP 异构度有界 \(\zeta\) 的条件下,用 trimmed mean 聚合联邦 TD 更新,参数估计 \(\bar{\theta}_T\) 以 \(O(1/\sqrt{T} + \zeta + \alpha)\) 的速率收敛到 \(\theta^*\) 的某个邻域;当 \(\zeta = 0\)(同质 MDP)且 \(\alpha = 0\)(无修剪)时,\(\sqrt{T}(\bar{\theta}_T - \theta^*) \xrightarrow{d} N(0, \Sigma)\),即渐近正态且有效。

为什么这是最小内核:整个论文的数学工作可以拆成三块,分别对应上述命题的三个部分:

  1. 鲁棒聚合的偏差控制:trimmed mean 在至多 \(M\) 个拜占庭更新下,聚合结果的偏差被控制在 \(O(\alpha)\) 量级(修剪比例)——这是从分布式鲁棒优化借来的标准引理,但需要针对 TD 更新的有偏性做修正。
  2. 异构 MDP 的收敛性:当各智能体 MDP 不同(\(\zeta > 0\))时,联邦 TD 的收敛目标不再是某个单一 \(\theta^*\),而是"平均 Bellman 算子"的不动点。收敛误差中显式出现 \(\zeta\) 项——这是联邦学习中"客户端漂移"(client drift)现象的体现。
  3. 渐近正态性:在无攻击、同质 MDP 的理想设定下,联邦 TD 的估计误差 \(\sqrt{T}(\bar{\theta}_T - \theta^*)\) 依分布收敛到均值为零、协方差为 \(\Sigma\) 的正态分布。\(\Sigma\) 的形式与单机 TD 的渐近协方差一致(或接近),说明联邦聚合不损失统计效率。

一个"一看就懂"的类比:想象 \(N\) 个学生各自独立做同一套题的估计(本地 TD 更新),然后老师(服务器)收答案取平均(联邦聚合)。现在有 \(M\) 个学生是"捣乱的"(拜占庭),可能交白卷或乱写。trimmed mean 的做法是:对每道题的答案,去掉最高分和最低分各 \(\alpha\) 比例,再对剩下的取平均——这样捣乱学生的答案被丢弃,好学生的答案被保留。本文证明的是:只要捣乱学生少于一半,这个"掐头去尾取平均"的策略就能让最终答案收敛到正确答案附近;如果没人捣乱且大家题目一样(同质 MDP),最终答案的分布是正态的,且和"把所有数据集中到一个人手里算"(单机 TD)一样准。

这个最小内核的数学难点在哪:TD 更新不是无偏的梯度更新——它基于马尔可夫链的依赖数据,更新方向本身带有系统性偏差。这使得从分布式 SGD 借来的鲁棒聚合分析不能直接套用,需要额外的"偏差-方差-鲁棒性"三角权衡分析。这是本文技术贡献的核心。


三、这篇论文做了什么

三句话

  1. 研究了什么问题:在联邦强化学习中,当部分智能体是拜占庭的(可发送任意恶意更新)且各智能体 MDP 异构时,如何设计鲁棒的策略评估算法并保证收敛性与统计推断性质。
  2. 核心工具 / 方法:将 trimmed mean 鲁棒聚合 与 联邦 TD 学习 结合,提出 BRFedTD 算法;在理论上用"偏差-方差-鲁棒性"三角分解建立有限时间收敛界,并在无攻击同质设定下推导渐近正态性。
  3. 主要结论:BRFedTD 在至多 \(M < N/2\) 个拜占庭智能体下以 \(O(1/\sqrt{T} + \zeta + \alpha)\) 速率收敛;在无攻击同质 MDP 下,估计误差渐近正态且达到与单机 TD 相同的效率——这是 FRL 中首个渐近正态性结果。

关键设定与假设

在第二节最小记号的基础上,补全完整设定:

  • 线性函数逼近:\(V^\pi(s) \approx \theta^\top \phi(s)\),特征 \(\phi(s)\) 有界(\(\|\phi(s)\| \le 1\))。这是标准假设,保证 TD 更新的稳定性。
  • 马尔可夫链混合性:每个智能体的本地马尔可夫链满足均匀几何遍历性(uniform geometric ergodicity),即存在 \(\rho < 1\) 使得 \(d_{TV}(P^t(s, \cdot), \pi_\infty) \le C\rho^t\)。这是分析马尔可夫依赖数据所必需的。
  • 异构度有界:存在 \(\zeta \ge 0\) 使得对所有智能体 \(i\),\(\|\theta_i^* - \bar{\theta}^*\| \le \zeta\),其中 \(\theta_i^*\) 是第 \(i\) 个智能体本地 MDP 的最优参数,\(\bar{\theta}^*\) 是平均 Bellman 算子的不动点。\(\zeta\) 刻画"合法异构"的程度。
  • 拜占庭比例:\(M < N/2\),即拜占庭智能体严格少于一半。这是鲁棒聚合可行的必要条件(信息论下界)。
  • 修剪比例:\(\alpha \ge M/N\),即修剪比例至少覆盖拜占庭比例。这是 trimmed mean 能剔除恶意更新的前提。
  • 步长条件:\(\eta_t = \eta_0 / \sqrt{t}\)(衰减步长),满足 \(\sum_t \eta_t = \infty\)、\(\sum_t \eta_t^2 < \infty\) 的标准随机逼近条件。

相比已有文献的放宽/强化: - 放宽:允许异构 MDP(此前联邦 TD 工作多假设同质或弱异构)。 - 强化:新增拜占庭鲁棒性要求(此前 FRL 工作未考虑)。 - 代价:收敛界中显式出现 \(\zeta\) 和 \(\alpha\) 项,说明异构和鲁棒性都会降低收敛精度——这是不可避免的代价。

主要结果

定理 1(有限时间收敛界):在以上假设下,BRFedTD 的均方误差满足:

\[\mathbb{E}\|\bar{\theta}_T - \bar{\theta}^*\|^2 \le O\left(\frac{1}{\sqrt{T}} + \zeta^2 + \alpha^2\right)\]

其中 \(T\) 是通信轮数。直觉:\(\frac{1}{\sqrt{T}}\) 是标准随机逼近的收敛率;\(\zeta^2\) 是异构 MDP 造成的"不可约偏差"(即使 \(T \to \infty\) 也无法消除,因为各智能体目标不同);\(\alpha^2\) 是修剪造成的"信息损失"(丢弃了部分合法数据)。

定理 2(渐近正态性):当 \(\zeta = 0\)(同质 MDP)且 \(\alpha = 0\)(无修剪,即普通联邦平均)时:

\[\sqrt{T}(\bar{\theta}_T - \theta^*) \xrightarrow{d} N(0, \Sigma)\]

其中 \(\Sigma\) 与单机 TD 的渐近协方差一致。这说明联邦聚合不损失统计效率——这是本文最强的理论贡献。

定理 3(鲁棒性保证):当 \(\zeta = 0\) 且 \(\alpha \ge M/N\) 时,即使存在 \(M\) 个拜占庭智能体,BRFedTD 的估计误差仍以 \(O(1/\sqrt{T} + \alpha^2)\) 收敛。这说明修剪的代价是 \(O(\alpha^2)\) 的额外偏差,但换来了对任意恶意攻击的鲁棒性。

证明路线与技术技巧

整体路线(3-5 步逻辑主干):

  1. 分解误差:将估计误差 \(\bar{\theta}_T - \bar{\theta}^*\) 分解为三项——优化误差(有限步迭代未收敛)、统计误差(马尔可夫链采样噪声)、鲁棒性误差(修剪造成的偏差)。这是标准的"偏差-方差-鲁棒性"三角分解。

  2. 控制优化误差:利用 TD 更新的收缩性质(Bellman 算子是 \(\gamma\)-收缩的),证明即使有修剪,聚合后的更新方向仍然指向 \(\bar{\theta}^*\) 的邻域。关键引理:trimmed mean 在至多 \(M\) 个异常值下的偏差上界为 \(O(\alpha)\)。

  3. 控制统计误差:利用马尔可夫链的几何遍历性,将本地 TD 更新的噪声项分解为鞅差序列 + 指数衰减项。这里用到鞅差序列的 Bernstein 不等式,得到 \(O(1/\sqrt{T})\) 的统计误差。

  4. 处理异构性:将各智能体的 Bellman 算子分解为"平均算子 + 个体偏差",个体偏差的范数被 \(\zeta\) 控制。这一步的关键是证明:即使各智能体目标不同,联邦聚合的收敛目标仍是平均算子的不动点。

  5. 渐近正态性:在 \(\zeta = 0, \alpha = 0\) 时,将估计误差重写为鞅的中心极限定理适用形式。关键技巧:利用 TD 更新的线性化(在 \(\theta^*\) 处做 Taylor 展开),将非线性更新转化为线性递推 + 高阶余项,然后证明余项可忽略。

技术技巧点名:

  • 鞅差序列的 Bernstein 不等式:用于控制马尔可夫链采样噪声的集中性。
  • 收缩映射的不动点扰动分析:用于处理修剪和异构对收敛目标的影响。
  • 线性化 + 高阶余项控制:用于从收敛性推导渐近正态性。
  • 鲁棒聚合的偏差引理:从分布式鲁棒优化借来,但针对 TD 的有偏更新做了修正。

真实例子与应用

论文包含数值实验,分为两部分:

  1. 合成数据实验:构造线性 MDP 环境,验证 BRFedTD 在无攻击、有攻击(随机攻击、定向攻击)下的收敛行为。结果显示:无攻击时 BRFedTD 与普通联邦 TD 几乎无差别;有攻击时普通联邦 TD 发散,而 BRFedTD 仍收敛到 \(\bar{\theta}^*\) 附近。这验证了定理 1 和定理 3 的预测。

  2. 深度强化学习泛化实验:将 BRFedTD 的聚合思想扩展到深度 Q 网络(DQN)设定,在 MuJoCo 控制任务(如 HalfCheetah, Hopper)上测试。结果显示 BRFedTD 在存在恶意智能体时仍能学习到有效的控制策略,而基线方法(联邦平均、Krum 聚合)性能显著下降。这部分实验说明算法不仅限于线性函数逼近,可泛化到非线性函数逼近。

实验想说明什么:验证理论预测(收敛性、鲁棒性),并展示算法在实际控制任务中的可用性。但注意:深度 RL 部分没有理论保证,属于经验验证。

🔎 结论是否比证明窄

需要点名几处:

  1. 渐近正态性只在 \(\zeta = 0, \alpha = 0\) 时证明。定理 2 的陈述是"在无攻击且 MDP 同质的设定下",但摘要和引言中多次暗示"BRFedTD 支持置信区间估计"。当存在异构(\(\zeta > 0\))或修剪(\(\alpha > 0\))时,估计误差的分布是否仍渐近正态?论文没有给出。这是一个明显的"证明窄于 claim"的地方。

  2. 深度 RL 泛化没有理论保证。实验部分展示了 BRFedTD 在 DQN 上的成功,但所有理论结果都基于线性函数逼近。非线性函数逼近下的收敛性、鲁棒性均未分析。论文在结论部分称"generalizes to deep reinforcement learning",这是经验 claim,不是理论 claim。

  3. 修剪比例 \(\alpha\) 的选择。理论要求 \(\alpha \ge M/N\),但 \(M\)(拜占庭数量)在实际中未知。论文没有讨论如何自适应选择 \(\alpha\),也没有给出 \(\alpha\) 选错时的后果分析(如 \(\alpha < M/N\) 时是否仍能保证鲁棒性)。

  4. 拜占庭攻击模型的范围。论文假设拜占庭智能体可以发送任意值,但未考虑"自适应攻击"(攻击者根据历史聚合结果调整策略)或"同谋攻击"(多个拜占庭智能体协调行动)。这些更强的攻击模型下,trimmed mean 是否仍有效?论文未讨论。


四、开放问题

以下开放问题均扎根于论文的具体语句或假设:

  1. 异构 MDP 下的渐近分布:定理 2 只在 \(\zeta = 0\) 时成立。当 \(\zeta > 0\) 时,估计误差 \(\sqrt{T}(\bar{\theta}_T - \bar{\theta}^*)\) 的极限分布是什么?是否仍为正态(可能中心偏移)?这直接关系到"联邦策略评估能否在异构环境下做置信区间"。扎根于定理 2 的假设"in the case of identical MDPs"。

  2. 自适应修剪比例:理论要求 \(\alpha \ge M/N\),但 \(M\) 未知。能否设计数据驱动的 \(\alpha\) 选择规则(如基于更新分布的稳健统计量)?\(\alpha\) 选小时鲁棒性如何退化?扎根于定理 1 中误差项对 \(\alpha\) 的依赖。

  3. 更强的攻击模型:论文只考虑"任意值攻击"。若攻击者能观察历史聚合结果并自适应调整(如发送与真实更新方向相反但幅度渐增的更新),trimmed mean 是否仍能抵御?是否需要更复杂的聚合规则(如 median-of-means 或几何中位数)?扎根于论文对攻击模型的设定"may behave arbitrarily or maliciously"。

  4. 非线性函数逼近的理论:深度 RL 实验显示了经验成功,但理论只覆盖线性函数逼近。能否将收敛性分析推广到再生核希尔伯特空间(RKHS)或神经切线核(NTK)设定?扎根于论文结论中"generalizes to deep reinforcement learning"这一经验 claim。

  5. 通信效率与鲁棒性的权衡:本文固定了通信轮数 \(T\) 和本地更新轮数 \(K\)。是否存在最优的 \((T, K, \alpha)\) 组合,在给定通信预算下最小化估计误差?扎根于定理 1 中误差项对 \(T\) 和 \(K\) 的依赖。

提醒:要确认上述某条是否是真 gap,建议去读 FRL 领域近 5 篇的 introduction——如果多篇都提到"异构 MDP 下的推断问题未解决",那就是共识性 gap;如果各篇说法不一,则可能是机会。


Maintained by 陈星宇 · Homepage · Source on GitHub

评论