跳转至

Memento: Fine-tuning LLM Agents without Fine-tuning LLMs

讲者: Linyi Yang
会场: High-Dimensional Inference and Learning under Complex Data Settings
报告题目: Fine-Tuning LLM Agents without Fine-Tuning LLMs
链接: arXiv
来源: JCSDS 2026 · 返回会议总览

一、领域脉络与小综述

这个方向是什么

本文所涉方向是 LLM Agent 的持续学习（continual learning），核心问题：如何让一个部署后的 LLM agent 在不断变化的环境中持续改进性能，而不必每次更新都重新微调底层的大语言模型（LLM）。当前主流做法分为两类：一是固定工作流（hard-coded reasoning），灵活度低、无法适应新情况；二是参数微调（通过 SFT 或 RL 更新 LLM 权重），效果好但计算成本极高，不适合在线场景。本文试图在两者之间开辟第三条路：通过外部记忆（episodic memory）和基于案例的推理（CBR）实现持续适应，完全冻结 LLM 参数。

发展脉络（history）

从 introduction 和 related work 中梳理出的主线：

  • 奠基工作：LLM 作为推理与行动主体
  • Chain-of-Thought (Wei et al., 2022) 展示了通过中间推理步骤提升复杂推理能力，但仍是静态 prompt。
  • ReAct (Yao et al., 2023) 将推理与行动交织，让 LLM 在生成过程中调用外部工具（如 Wikipedia），但反馈机制仍基于预定义启发式，没有真正的持续学习。

  • Reflexion (Shinn et al., 2023) 引入语言反馈（verbal reinforcement learning），通过反思文本改进后续决策，但依然没有参数更新，且反馈模式固定。

  • 工具增强与多智能体

  • Toolformer (Schick et al., 2023) 通过自监督学习教会 LLM 何时调用 API，但需要微调且工具集固定。
  • WebGPT (Nakano et al., 2021) 在浏览器环境中用模仿学习训练模型，但同样需要微调。

  • AutoGen (Wu et al., 2023) 提出多智能体对话框架，但缺乏持续学习机制。

  • 记忆机制与案例推理

  • RAG (Lewis et al., 2020) 检索静态文档库，但作者指出其“缺乏持续适应机制”（Gao et al., 2023）。
  • CBR 经典工作（Aamodt & Plaza, 1994）提出案例推理的四个步骤（Retrieve, Reuse, Revise, Retain），但早期 CBR 系统面临“swamping problem”（Francis & Ram, 1993）：案例过多时检索成本超过收益。

  • 近期工作如 ExpeL (Zhao et al., 2024)、AutoGuide (Fu et al., 2024)、Agent Workflow Memory (Wang et al., 2024) 从交互轨迹中提取规则或子任务序列，但作者认为它们“仍受限于预定义启发式，未实现真正终身学习”。

  • 本文位置：作者将 CBR 与强化学习结合，形式化为记忆增强 MDP（M-MDP），并学习一个神经案例选择策略（通过 soft Q-learning 优化），从而在冻结 LLM 的前提下实现持续适应。这是首次将 CBR 的检索策略用 RL 端到端学习，并应用于 deep research agent。

子线索聚类

  1. 参数化持续学习：通过微调 LLM 参数（SFT 或 RL）来适应新任务。代表：START (Li et al., 2025a)、Search-R1 (Jin et al., 2025)、DeepResearcher (Zheng et al., 2025)。优点：任务 fidelity 高；缺点：计算成本大、有灾难性遗忘风险。

  2. 非参数化记忆与反思：冻结 LLM，通过外部记忆（文本、向量库）存储经验，用启发式或简单相似度检索。代表：Reflexion、ExpeL、MemoryBank (Zhong et al., 2024)、SAGE (Liang et al., 2024)。优点：低成本；缺点：检索策略固定，无法区分案例效用。

  3. 工具增强与多智能体协调：关注如何让 LLM 调用外部工具，但通常不涉及持续学习。代表：Toolformer、WebGPT、AutoGen、OWL。

本文属于第 2 条线索的深化：将检索策略从固定相似度升级为可学习的 Q 函数，同时保持非参数化记忆的灵活性。

这个方向在追问的核心问题

  • 如何在不更新 LLM 参数的前提下实现持续改进？
  • 如何从经验中自动识别哪些案例值得记住、哪些应该忽略？（swamping problem）
  • 如何将检索策略与任务状态动态适配，而非固定相似度？
  • 在长 horizon、多工具交互的 deep research 场景中，记忆如何有效支持规划？

当前主流方法（如 Reflexion、ExpeL）使用固定启发式（如最近邻、成功/失败标签）来检索或反思，缺乏对案例长期效用的建模。本文的瓶颈在于：检索策略的学习需要在线交互数据，且 Q 函数的泛化能力受限于状态表示的丰富度。

⚠️ 作者的 framing（必须明确标注为作者说法）

作者将缺口 frame 为：“现有方法要么是静态工作流（缺乏灵活性），要么需要昂贵的参数微调（不适合持续适应）”。因此，本文的“显然下一步”是：用外部记忆 + 可学习的检索策略实现低成本持续学习。作者淡化了以下竞争路线：

  • 参数微调方法（如 DeepResearcher、Search-R1）虽然效果好，但作者强调其计算成本和不适合在线场景，未深入讨论其性能上限或是否可以通过更高效的微调（如 LoRA）缓解。
  • 纯 RAG 方法被作者一笔带过，称其“缺乏持续适应机制”，但未讨论 RAG 结合动态文档索引的可能性。
  • 多智能体框架（如 AutoGen）被提及但未作为主要对比基线。

什么明显该被引 / 该存在、却没出现在 intro 里？
- 关于 memory-augmented neural networks 的经典工作（如 Neural Turing Machines, Differentiable Neural Computers）未被引用，尽管本文的 parametric memory 与其有概念重叠。
- 离线强化学习（如 CQL、IQL）可能为案例选择提供更稳定的学习范式，但未被讨论。
- 持续学习中的灾难性遗忘文献（如 Kirkpatrick et al., 2017）未被引用，尽管本文声称避免遗忘。

张力

未见明显对立引用。各被引工作基本在互补方向上推进，没有在同一设定下得出相反结论的案例。

二、最核心、最简单的例子 / 数学问题

第一步：符号、模型、可观测数据交代清楚

符号（逐个点名）：

  • \( \mathcal{S} \)：状态空间。在 deep research 场景中，状态 \( s_t \) 是当前任务指令及已执行历史（自然语言序列）。
  • \( \mathcal{A} \)：动作空间。动作 \( a_t \) 是 LLM 生成的计划或工具调用（自然语言序列）。
  • \( \mathcal{M} \)：记忆空间，即案例库（case bank）的集合。每个案例 \( c = (s, a, r) \) 是一个三元组，记录过去的状态、动作和奖励。
  • \( \mu(c \mid s, M) \)：案例检索策略，给定当前状态 \( s \) 和案例库 \( M \)，输出案例 \( c \) 的概率。这是本文要学习的核心对象。
  • \( p_{\text{LLM}}(a \mid s, c) \)：底层 LLM 的策略，给定状态 \( s \) 和检索到的案例 \( c \)，生成动作 \( a \)。冻结不变。
  • \( \pi(a \mid s, M) = \sum_{c \in M} \mu(c \mid s, M) p_{\text{LLM}}(a \mid s, c) \)：整体 agent 策略。
  • \( \mathcal{R}(s, a) \)：奖励函数。在 deep research 任务中，奖励是二元的：\( r \in \{0, 1\} \)（任务成功=1，失败=0）。
  • \( \gamma \)：折扣因子，\( \gamma \in [0,1) \)。
  • \( \alpha \)：熵正则化系数，控制检索策略的探索程度。
  • \( Q(s, M, c) \)：Q 函数，表示在状态 \( s \)、案例库 \( M \) 下选择案例 \( c \) 的期望累积奖励。
  • \( \theta \)：可学习参数（用于 kernel 网络或 Q 网络）。

模型：数据生成过程由 M-MDP 描述。agent 在每一步 \( t \)： 1. 从案例库 \( M_t \) 中按检索策略 \( \mu(\cdot \mid s_t, M_t) \) 采样一个案例 \( c_t \)。 2. 将 \( s_t \) 和 \( c_t \) 拼接成 prompt，输入冻结的 LLM，生成动作 \( a_t \sim p_{\text{LLM}}(\cdot \mid s_t, c_t) \)。 3. 执行 \( a_t \)，从环境获得奖励 \( r_t = \mathcal{R}(s_t, a_t) \) 和下一状态 \( s_{t+1} \sim \mathcal{P}(\cdot \mid s_t, a_t) \)。 4. 将新经验 \( (s_t, a_t, r_t) \) 加入案例库：\( M_{t+1} = M_t \cup \{(s_t, a_t, r_t)\} \)。

可观测数据：研究者能观测到的是完整的交互轨迹 \( \tau = \{s_0, c_0, a_0, r_0, s_1, c_1, a_1, r_1, \dots\} \)，以及案例库 \( M_t \) 的逐步增长。不可观测的是最优检索策略 \( \mu^* \) 和最优 Q 函数 \( Q^* \)，只能通过奖励信号间接推断。

第二步：最小内核

本文的核心数学问题可以剥离为：在单步决策（single-step）设定下，学习一个案例检索策略 \( \mu(c \mid s, M) \)，使得检索到的案例能最大化当前任务的成功概率。为什么可以简化为单步？因为作者在实现中将 CBR 仅用于规划阶段（planning），而规划本身是一个单步动作（生成一个计划），后续执行由 executor 完成。因此，M-MDP 退化为一个 bandit 问题：给定当前状态 \( s \)，从案例库 \( M \) 中选择一个案例 \( c \)，然后 LLM 生成计划 \( a \)，获得即时奖励 \( r \in \{0,1\} \)。

最简特例：假设案例库 \( M \) 只有两个案例：\( c_1 \)（成功案例）和 \( c_2 \)（失败案例）。当前状态 \( s \) 是一个新任务。我们希望学习一个策略 \( \mu(c_1 \mid s, M) \) 和 \( \mu(c_2 \mid s, M) \)，使得选择 \( c_1 \) 的概率更高（如果 \( c_1 \) 确实有助于成功）。奖励 \( r \) 是二元的。

核心思路：学习一个 Q 函数 \( Q(s, c) \) 来预测“给定状态 \( s \) 和案例 \( c \)，最终成功的概率”。然后检索策略取 softmax 形式：

\[\mu(c \mid s, M) = \frac{\exp(Q(s, c)/\alpha)}{\sum_{c' \in M} \exp(Q(s, c')/\alpha)}.\]
由于是单步，Q 学习的目标退化为监督学习：最小化 \( (Q(s, c) - r)^2 \) 或交叉熵损失（因为 \( r \in \{0,1\} \)）。这就是本文 parametric memory 的核心：用一个神经网络 \( Q(s, c; \theta) \) 来拟合成功概率，然后通过 Top-K 选择最高 Q 值的案例。

为什么这能工作：如果 Q 函数能准确估计案例的效用，那么检索策略就能自动偏向高效用案例，实现“学习”而不更新 LLM。训练数据来自 agent 自身的交互轨迹（在线收集）。

三、这篇论文做了什么

三句话

  1. 研究了什么问题：如何让 LLM agent 在不微调底层 LLM 的前提下，通过外部记忆和案例推理实现持续在线学习，特别针对 deep research 场景（长 horizon、多工具、动态环境）。
  2. 核心工具/方法：将 agent 建模为记忆增强 MDP（M-MDP），用 soft Q-learning 学习一个神经案例检索策略，并通过 kernel-based 估计或单步监督简化实现高效学习；实例化为 planner-executor 架构（Memento），集成 MCP 工具。
  3. 主要结论：Memento 在 GAIA 验证集上达到 87.88% Pass@3（top-1），测试集 79.40%；在 DeepResearcher 七个数据集上平均 F1 66.6%、PM 80.4%，超越所有基于训练的 baseline；CBR 在 OOD 任务上带来 4.7–9.6 个绝对点的提升；SimpleQA 上达到 95.0% PM，HLE 上 24.4% PM（第二，仅次于 GPT-5）。

关键设定与假设

  • M-MDP 定义（Definition 3.1）：在标准 MDP 上增加记忆空间 \( \mathcal{M} = (\mathcal{S} \times \mathcal{A} \times \mathbb{R})^* \)，即所有有限长度经验三元组的集合。关键假设：记忆更新是确定性的（新经验直接追加），奖励函数也是确定性的（但作者留了概率性扩展作为未来工作）。
  • CBR agent 定义（Definition 3.2）：整体策略 \( \pi(a \mid s, M) = \sum_{c \in M} \mu(c \mid s, M) p_{\text{LLM}}(a \mid s, c) \)。假设 LLM 策略 \( p_{\text{LLM}} \) 固定，只学习检索策略 \( \mu \)。
  • 最大熵 RL 框架：优化目标包含熵正则项 \( \alpha \mathcal{H}(\mu(\cdot \mid s, M)) \)，鼓励探索。
  • 单步简化（Section 4.2）：在 deep research 场景中，CBR 仅用于规划，规划是单步动作，因此 TD 目标退化为即时奖励，避免了 bootstrap 的非平稳性。
  • 奖励二元性：\( r \in \{0,1\} \)，因此用交叉熵损失代替 MSE。
  • 工具假设：通过 MCP 协议访问外部工具，工具集可扩展，但实验中使用固定工具集（搜索、爬虫、代码、多模态处理等）。

相比已有文献：
- 相比 Reflexion 等固定启发式检索，本文的检索策略是可学习的（通过 Q 函数）。
- 相比 DeepResearcher 等参数微调方法，本文完全冻结 LLM，计算成本低。
- 相比经典 CBR，本文引入了在线 RL 来优化检索，而非手工规则。

主要结果

理论型：本文无严格定理，主要贡献是算法框架和推导。关键推导包括：
- 最优检索策略的闭式解（式 7）：\( \mu^*(c \mid s, M) \propto \exp(Q^*(s, M, c)/\alpha) \)。
- 单步 Q 学习损失（式 14、15）：从 TD 学习退化为监督回归/分类。
- 梯度公式（式 11、26）用于 kernel-based 和 parametric 记忆更新。

应用/方法型（实验核心结论）：
- GAIA：验证集 87.88%（Pass@3），测试集 79.40%，超越 Manus、AWorld、OWL 等开源框架。
- DeepResearcher 七个数据集：平均 F1 66.6%、PM 80.4%，比 CoT+RAG 基线（37.7% F1）提升近一倍，超越所有 prompt-based 和 training-based 方法（包括 Search-R1、DeepResearcher）。
- SimpleQA：95.0% PM，超越 WebSailor (93.5%)、WebDancer (90.5%) 等。
- HLE：24.4% PM，仅次于 GPT-5 (25.32%)，超越 Gemini 2.5 Pro、o3-high。
- OOD 泛化：在 MusiQue、Bamboogle、PopQA 上，CBR 带来 4.7–9.6 绝对点提升。
- 消融：
- 检索数量 \( K=4 \) 最优，更大 \( K \) 导致性能下降（噪声引入）。
- 从 offline executor → online executor → planner (w/o CBR) → full Memento 逐步提升，CBR 贡献约 4–8 个点。
- 参数化 CBR 优于非参数化 CBR，且两者都优于无 CBR。
- 快速 planner（GPT-4.1）优于慢速 planner（o3），因为后者容易跳过规划或生成过于冗长的计划。

证明路线与技术技巧

整体路线（算法 1 的流程）：
1. 初始化案例库 \( M_0 = \emptyset \)，episodic memory \( \mathcal{D} = \emptyset \)，replay buffer \( \mathcal{B} = \emptyset \)。
2. 对每个时间步 \( t \)：
- Retrieve：根据当前检索策略 \( \mu_\theta(\cdot \mid s_t, M_t) \) 采样案例 \( c_t \)。
- Reuse & Revise：用 LLM 生成动作 \( a_t \sim p_{\text{LLM}}(\cdot \mid s_t, c_t) \)。
- Execute：执行 \( a_t \)，获得 \( r_t, s_{t+1} \)。
- Retain：更新案例库 \( M_{t+1} = M_t \cup \{(s_t, a_t, r_t)\} \)。
- Store：将 transition \( (s_t, c_t, r_t, s_{t+1}, M_{t+1}) \) 存入 replay buffer。
- Write episodic memory：将 \( (s_t, c_t, Q_t) \) 存入 \( \mathcal{D} \)。
- Update：从 replay buffer 采样 mini-batch，计算 TD 损失（式 10 或 15），更新参数 \( \theta \)。
- 定期更新 target network。

关键跳跃点：
- 从多步 MDP 到单步监督：作者观察到在 deep research 场景中，CBR 仅用于规划（单步），因此 TD 目标中的 bootstrap 项消失，Q 学习退化为监督学习。这一简化避免了非平稳目标和不稳定性，是 parametric memory 能够高效训练的关键。
- Kernel-based Q 估计（式 9）：为了在非参数化设定中利用历史 Q 值，作者采用 episodic control 的思路，用核函数加权平均历史 Q 值来估计当前 Q。这避免了直接学习高维 Q 函数，但需要维护 episodic memory 和核参数。
- 交叉熵损失代替 MSE（式 15）：因为奖励是二元的，MSE 在边界附近梯度消失，交叉熵提供更稳定的梯度信号。

技术技巧点名：
- Soft Q-learning（Haarnoja et al., 2017）：用于推导最优检索策略的闭式解。
- Episodic control / Neural Episodic Control（Pritzel et al., 2017）：用于 kernel-based Q 估计。
- Target network：稳定 TD 学习。
- Top-K 检索：在 parametric memory 中，用 Top-K 代替 softmax 采样，减少随机性、提高可解释性。
- MCP 协议：标准化工具接口，支持灵活的工具组合。
- SimCSE：用于非参数化记忆的文本编码。

真实例子与应用

本文在四个 benchmark 上进行了实验，每个 benchmark 都有具体的数据和结果：

  • GAIA：450 个问题（300 测试 + 150 验证），分三个难度等级。Memento 使用 GPT-4.1 作为 planner，o3 作为 executor，在验证集上达到 87.88%（Pass@3），测试集 79.40%。例子：Level 3 任务需要多达 50 步工具调用，涉及搜索、爬虫、代码执行、图像分析等。
  • DeepResearcher：七个开放域 QA 数据集（NQ, TQ, HotpotQA, 2Wiki, MusiQue, Bamboogle, PopQA），每个 512 样本（Bamboogle 125）。Memento 平均 F1 66.6%，PM 80.4%，超越所有 baseline。例子：Bamboogle 需要跨网页合成信息。
  • SimpleQA：4330 个事实性问题，Memento 达到 95.0% PM，超越 WebSailor 等。例子：单跳事实查询，如“谁是某本书的作者”。
  • HLE：2500 个专家级学术问题，Memento 达到 24.4% PM，仅次于 GPT-5。例子：需要长尾领域知识的问题，如高等数学、物理。

这些例子共同说明：CBR 能够将 episodic 经验转化为可复用的知识，在多种任务类型上提升性能，且对 OOD 任务也有泛化能力。

🔎 结论是否比证明窄

  • 作者在结论中声称“Memento 实现了持续学习”，但实验仅展示了在有限迭代（最多 5 轮）内的性能提升，且案例库在约 3k 样本后饱和。真正的“持续”学习（无限 horizon、无饱和）并未被验证。作者自己也承认“adding many more iterations yields diminishing returns”（Section 5.5.3）。
  • 单步简化（Section 4.2）是特定于 deep research 场景的假设（CBR 仅用于规划），并非一般 M-MDP 的解。作者在 Definition 3.1 中保留了多步设定，但实验和实现中完全依赖单步简化。因此，论文的 claim “formulate planning as a memory-augmented MDP” 实际上只验证了 bandit 版本。
  • 参数化 CBR 的 Q 函数学习（式 15）本质上是监督学习，而非真正的 RL（没有 bootstrap）。作者将其称为“soft Q-learning”可能有些名不副实，因为 TD 目标被完全丢弃。

四、开放问题

  1. 多步 M-MDP 的完整求解：本文仅验证了单步简化版本（CBR 用于规划）。在多步设定下（例如，CBR 也用于执行阶段的每一步），如何学习检索策略？TD 学习的不稳定性如何克服？这扎根于 Definition 3.1 和式 (10) 中的多步 TD 目标，但实验未触及。
  2. 记忆饱和与遗忘机制：作者观察到案例库在约 3k 样本后性能 plateau，且“diminishing returns”。如何设计选择性遗忘或案例合并策略，使记忆能持续增长而不退化？这扎根于 Section 5.5.3 的观察和作者提到的“swamping problem”（Francis & Ram, 1993）。
  3. 奖励函数的泛化：本文假设奖励是二元的（成功/失败）。在更复杂的场景中（如部分成功、多维度奖励），如何设计 Q 函数和检索策略？这扎根于式 (14) 和 (15) 对二元奖励的依赖。
  4. 检索策略与 LLM 策略的联合学习：本文冻结了 \( p_{\text{LLM}} \)。如果允许对 LLM 进行轻量级适配（如 prompt tuning 或 LoRA），能否进一步提升性能？这扎根于作者在 related work 中对参数化方法的批评，但未探索混合方案。

Maintained by 陈星宇 · Homepage · Source on GitHub

评论