论文阅读笔记 — ExpRAG：检索增强的LLM智能体¶

元信息¶

一句话总结¶

1 问题与动机¶

1.1 现有方法的不足¶

LLM agent 在面对 unseen task 时泛化能力不足。现有两条路线各有局限：

• Fine-tuning（SFT）：在训练任务上表现好，但 OOD 泛化差，容易出现 distribution shift 和 compounding errors
• Memory-augmented generation（检索经验）：无需训练，但效果通常不如有监督 baseline；且大多数工作仅做 inference-time retrieval，未研究如何在训练中融入检索

1.2 关键的研究缺口¶

• 如何在 训练阶段 就让模型学会利用检索到的轨迹？
• 经验检索的关键设计选择（存储什么、如何查询、检索多少、何时检索）缺乏系统分析
• 检索增强训练能否同时保持 in-distribution 性能并提升 OOD 泛化？

1.3 本文目标¶

1. 建立一个强的 SFT + 检索 baseline
2. 系统分析 ExpRAG 的设计选择
3. 提出 ExpRAG-LoRA：将经验检索融入微调过程，实现"learn to learn from experience"

2 方法：ExpRAG 框架¶

2.1 Agent 交互形式化¶

考虑一个 LLM agent 在文本环境中执行任务 \(\mathcal{T}\)，最多进行 \(T\) 步交互。在第 \(t\) 步（\(t = 1, 2, \dots, T\)）：

• 环境返回文本观察（observation）\(o_t\)，描述当前环境状态和可执行的动作
• Agent 根据当前历史 \(h_t\) 输出动作（action）\(a_t\)，\(a_t\) 是从预定义的动作模板集合中选取的自然语言指令
• 环境执行 \(a_t\)，返回下一观察 \(o_{t+1}\)

一条完整的 交互轨迹（trajectory）定义为：

其中 \(\mathcal{T}\) 是任务描述（task description），\(T\) 是实际交互步数（可能因任务完成或超时提前终止）。

在决策时刻 \(t\)，agent 可用的 交互历史（interaction history）\(h_t\) 定义为在当前步之前已发生的所有观察-动作对：

注意 \(h_t\) 以 \(o_t\) 结尾（当前的观察），不包含 \(a_t\)（尚未选择）。

LLM 策略（policy）\(\pi_\theta\) 是一个参数化的条件分布，输入历史 \(h_t\)，输出动作 \(a_t\)：

其中 \(\theta\) 是 LLM 的参数。本文考虑两种使用 \(\pi_\theta\) 的方式： - Frozen：\(\theta\) 不变，仅通过 in-context retrieval 改变输入 - Fine-tuned：通过 SFT 更新 \(\theta\)

2.2 轨迹编码与训练目标¶

2.2.1 Chat-template 序列化¶

轨迹被编码为多轮对话格式，使用 base model 自带的 chat template：

• 观察 \(o_t\) → 编码为 user role 的消息（模拟用户向 agent 报告环境状态）
• 动作 \(a_t\) → 编码为 assistant role 的消息（模拟 agent 的决策输出）

形式化地，给定轨迹 \(\tau\)，其序列化结果为一个 token 序列：

其中 \(\text{user}(\cdot)\) 和 \(\text{assistant}(\cdot)\) 分别表示用 chat template 包裹后的消息所对应的 token 序列。

2.2.2 训练目标¶

SFT 使用标准的 next-token prediction loss，但 仅在 assistant token 上计算 loss（user token 不参与 loss 计算）。对于一条轨迹 \(\tau\)，损失函数为：

其中： - \(\mathcal{A}(\tau)\) 是轨迹中所有属于 assistant 消息的 token 集合（即所有 \(a_t\) 包含的 token） - \(\text{context}(x)\) 是 token \(x\) 之前的所有 token（即其前缀上下文） - \(P_\theta(x \mid \cdot)\) 是 LLM 在参数 \(\theta\) 下对 token \(x\) 的预测概率

2.2.3 LoRA 适配¶

本文使用 LoRA（Low-Rank Adaptation）进行参数高效微调。LoRA 在预训练权重矩阵 \(W_0 \in \mathbb{R}^{d \times k}\) 旁引入低秩分解的可训练增量：

其中： - \(A \in \mathbb{R}^{r \times k}\)，\(B \in \mathbb{R}^{d \times r}\) - \(r \ll \min(d, k)\) 为秩（rank），本文取 \(r = 8\) - 训练时仅更新 \(A, B\)，\(W_0\) 保持冻结

LoRA 作用于 attention 层的四个投影矩阵：\(W_Q\)（query）、\(W_K\)（key）、\(W_V\)（value）、\(W_O\)（output），对应代码中的 q_proj, k_proj, v_proj, output_proj。

训练超参数详见 Section 3.1。

2.3 经验索引与检索¶

2.3.1 经验库构建¶

从前收集的交互轨迹构成 经验库（experience bank/experience index）\(\mathcal{I}\)：

其中： - \(\tau_i\)：第 \(i\) 条完整轨迹 - \(e_i = \phi(\tau_i) \in \mathbb{R}^d\)：轨迹的嵌入向量（embedding），由 轨迹编码器（trajectory encoder）\(\phi\) 计算 - \(\phi\) 使用的是 Qwen3-Embedding-0.6B（一个专门训练的 sentence embedding 模型），在全部实验中固定不变 - \(d\) 为嵌入向量的维度 - \(N\) 为经验库大小

经验库在离线阶段一次性构建，推理时不再更新（read-only memory）。构建时包含 成功和失败 的轨迹。

2.3.2 查询构建与相似度检索¶

在交互的决策时刻 \(t\)，需要从经验库中检索与当前情境最相关的轨迹。检索流程：

Step 1 — 构造查询：将当前的任务描述和交互历史拼接为查询文本 \(q_t\)：

Step 2 — 编码查询：用相同的轨迹编码器 \(\phi\) 编码查询文本，得到查询向量：

Step 3 — 计算相似度：用点积（dot product）计算 \(e_q\) 与经验库中每条轨迹嵌入 \(e_i\) 的相似度：

Step 4 — Top-K 检索：选出相似度最高的 \(K\) 条轨迹：

其中 \(\mathcal{R}_t\) 是检索到的 \(K\) 条轨迹的集合，下标 \(t\) 表示该集合可能与时间步有关（dynamic 模式下会变化）。

2.4 经验条件生成（Experience-Conditioned Generation）¶

2.4.1 Memory Block 构造¶

检索到的 \(K\) 条轨迹被整理为一个 memory block \(m_t\)，其格式化为：

• 使用 header 文本标记 retrieved memory 区域的开始/结束
• 按成功/失败将轨迹分为两组，各自标注（如 [Successful Experience] / [Failed Experience]）
• 每条轨迹保留其完整的对话格式（user/assistant 交替）

Memory block 在形式上是一个纯文本片段，直接拼接到 prompt 中。

2.4.2 条件动作生成¶

Memory block \(m_t\) 被插入 system prompt（系统提示词），位于任务描述和交互历史之前。动作生成的条件分布变为：

即在检索到的历史经验和当前交互历史的联合条件下生成动作。直观上，\(m_t\) 为模型提供了"遇到类似情况时别人是怎么做的"作为参考。

2.4.3 检索模式：Static vs. Dynamic¶

论文定义了两种检索触发策略：

2.4.4 完整推理流程¶

将上述组件组合，一个 episode 的完整推理流程如下：

1. 接收任务描述 \(\mathcal{T}\)
2. (Static 模式在此时检索一次) 构造 \(q_0\)，检索 \(\mathcal{R}_0\)，构建 \(m_0\)
3. 对于 \(t = 1, 2, \dots, T\)：
4. 接收观察 \(o_t\)
5. (Dynamic 模式在此时检索) 构造 \(q_t\)，检索 \(\mathcal{R}_t\)，构建 \(m_t\)
6. 将 \(m_t\)、\(\mathcal{T}\)、\(h_t\) 组装为 prompt，输入 LLM
7. LLM 生成 \(a_t \sim \pi_\theta(\cdot \mid m_t, h_t)\)
8. 环境执行 \(a_t\)，返回 \(o_{t+1}\)
9. Episode 结束，评估是否成功

2.5 ExpRAG-LoRA：检索增强微调¶

前述 2.3–2.4 节描述的是 inference-only ExpRAG（模型参数 \(\theta\) 冻结，仅靠 retrieved context 提升性能）。ExpRAG-LoRA 进一步将检索融入 训练过程。

2.5.1 训练数据构造¶

对于训练集中的每条成功轨迹 \(\tau\)，在训练时： - 用 \(\tau\) 所属的 easy 任务 split 构建检索 index \(\mathcal{I}_{\text{train}}\) - 对于 \(\tau\) 中的每个决策步，用该步的历史 \(h_t\) 作为查询，从 \(\mathcal{I}_{\text{train}}\) 中检索 \(K\) 条轨迹 - 将检索到的 memory block \(m_t\) 拼接到训练样本的 prompt 中

因此训练样本不再是 \((h_t, a_t)\)，而是 \((m_t, h_t, a_t)\)——模型在训练时就学习如何 利用检索到的经验来辅助决策。

2.5.2 训练目标¶

ExpRAG-LoRA 的训练目标与标准 SFT 相同（next-token prediction on assistant tokens），唯一的区别是输入上下文包含了 \(m_t\)：

2.5.3 推理¶

ExpRAG-LoRA 训练完成后，推理时同样使用 ExpRAG 检索（与 inference-only ExpRAG 的推理流程一致），用 hard 任务的 index 进行检索。

2.5.4 对比方法¶

论文设置了三组对比以分离 retrieval 和 training 的贡献：

3 实验¶

3.1 实验设置¶

3.1.1 评测环境¶

ALFWorld： - 类型：文本化的家居操作任务（基于 ALFRED benchmark 的文本版） - 交互：agent 通过自然语言指令操作虚拟家居环境中的物体 - 动作空间：预定义的动作模板（如 go to <recep> <obj>, take <obj> from <recep>, put <obj> in/on <recep>, heat/cool/clean <obj> with <recep> 等） - 评估指标：二值成功/失败（episode 结束或达到 \(T\) 步时是否完成任务目标） - 任务种类：6 种 task-type（如 pick_and_place_simple、pick_clean_then_place_in_recep、pick_two_obj_and_place 等） - 最大步数：\(T = 50\) - 动作列表：给模型的是一个 全局动作模板列表（所有合法动作的模板），而非每步的 valid actions

ScienceWorld： - 类型：科学实验模拟任务 - 交互：agent 在模拟的科学实验环境中进行观察和操作 - 原始指标：dense episode score \(\in [-1, 1]\)（每一步都有部分得分） - 二值化：为与 ALFWorld 统一评估框架，将 score 转换为二值（成功/失败） - 任务种类：10 个 topic（如 find-plant、boil、melt、grow-plant、mendelian-genetics、chemistry-mix、test-conductivity 等） - 最大步数：\(T = 50\text{–}150\)（因任务而异）

3.1.2 OOD 泛化评估设计¶

标准 ALFWorld/ScienceWorld 的 train/test split 是在 同组 task-type 内采样的，导致 test set 与 training distribution 过于接近。本文作者重新设计了更加严格的 OOD split：

• 将 task-type（任务类型）按语义难度和复杂程度分为两组：
• Easy 任务：较简单的任务类型，用于训练
• Hard 任务：较复杂的任务类型，完全不出现在训练中，用于 OOD 测试
• 训练集仅包含 easy 任务的 expert trajectories
• 测试时分别评估 in-distribution（easy test）和 out-of-distribution（hard test）

具体划分如下：

3.1.3 模型选择¶

论文选用中等规模的开源 instruction-tuned 模型（3B–8B 参数范围），以研究较弱模型的检索增强效果：

此外在附录中测试了 Qwen 2.5-3B。

3.1.4 训练配置¶

训练 epoch 数：最多 50 epoch（远超常规 fine-tuning 的 3–10 epoch），以观察长期训练对 OOD 泛化的影响。

对于 ScienceWorld 的 subsample：每个 task 随机采样 5 个 variation 以加速评估。

3.1.5 经验库与检索配置¶

• 轨迹编码器 \(\phi\)：Qwen/Qwen3-Embedding-0.6B（固定，不参与训练）
• 嵌入计算库：Sentence Transformers
• 相似度：点积（dot product）
• Index 构成：默认使用对应 split 的 train 集构建（含成功和失败轨迹）
• 默认 K：\(K = 2\)（在 ExpRAG-LoRA 实验中），Inference-only 实验扫描 \(K \in \{1, 2, 4\}\)
• 默认检索模式：static（ExpRAG-LoRA）
• 轨迹格式：JSON 存储

3.2 Baseline 对比（ALFWorld）¶

论文报告了两组 baseline ① training-free memory-augmented 方法和 ② supervised fine-tuned 方法。所有结果均在 ALFWorld 的 标准 test split（非 OOD split）上测量。

Training-free 方法¶

这些方法不进行任何参数更新，仅通过 prompting 或 memory 机制提升 zero-shot 性能：

Supervised Fine-tuned 方法¶

这些方法使用 expert trajectories 进行某种形式的训练：

3.3 Inference-only ExpRAG 消融实验¶

本节系统研究 ExpRAG 在 frozen 模型（不训练）下的各设计选择。实验模型为 Ministral 3-8B。

3.3.1 Top-K 与检索模式¶

逐项分析：

• \(K\) 的影响：
• ALFWorld 上成功率随 \(K\) 单调递增：\(1 \to 2 \to 4\) 分别带来 \(+34.8 \to +11.7 \to +13.2\) 个百分点的增益
• ScienceWorld 上 \(K=2\) 基本饱和（34.67 vs. 33.56），更大的 \(K\) 不再带来显著提升

• 解释：ALFWorld 任务之间的结构差异较大，需要更多样化的参考轨迹；ScienceWorld 任务相似度更高，少数几条轨迹就能覆盖有用信息

• Static vs. Dynamic：

• 在 index 匹配（all-index）时，两种模式差异很小（ALFWorld: 64.18 vs. 63.81；ScienceWorld: 33.56 vs. 35.24）
• Dynamic 的优势有限，因为每次重检索带来的相关性提升，被 context churn（已有动作与新的 memory block 不一致）部分抵消

3.3.2 Index 构成的影响¶

研究者构建了三种 index 变体： - Index = all：使用对应 split 的全部 train 轨迹 - Index = easy：仅使用 easy split 的训练轨迹 - Index = hard：仅使用 hard split 的训练轨迹

然后测试在 easy/hard test set 上的交叉表现。

3.3.3 Cross-model 扩展¶

将 inference-only ExpRAG 应用于不同 backbone 模型，测试检索增益是否取决于模型的内在能力：

• Qwen 2.5-7B：no RAG 时已较强，但 ExpRAG 仍带来额外增益，说明即使强模型也能从经验检索中受益
• Gemma 3-4B：no RAG 时极弱，ExpRAG 提升幅度最大（相对提升倍数最高），但绝对性能仍低于大模型
• Qwen 2.5-7B-1M：长上下文模型能更好地利用大 \(K\) 值（\(K=4\) 时仍无饱和迹象）

3.4 ExpRAG-LoRA：检索增强微调¶

3.4.1 OOD 泛化动态学（Delayed Generalization）¶

论文发现了一个与常规认知相悖的现象：在 agent fine-tuning 中，OOD 性能的提升与 validation loss 的走势可能脱节。

具体观察： - 训练的前几个 epoch：validation loss 下降，OOD 性能同步提升（正常行为） - 10 epoch 以后：validation loss 开始上升（过拟合信号），但 OOD 性能 继续提升，在 30–50 epoch 达到峰值 - 最佳 OOD checkpoint 往往出现在远超常规 early-stopping 点的位置

作者将这一现象称为 "delayed downstream generalization in agent fine-tuning"（agent 微调中的延迟下游泛化），认为可能与 grokking 文献中的现象有关。

3.4.2 ALFWorld 主结果¶

以下为在 ALFWorld easy→hard OOD split 上的四组方法对比。每个模型报告 easy/hard 两个数字：

逐列解读：

• Ministral 3-8B（主力实验模型）：
• 纯 LoRA 在 easy 上达到 98.6（几乎完美），但 hard 上仅 34.4——典型的 OOD 崩溃
• LoRA + ExpRAG 在 hard 上提升到 67.2（检索的单独增益为 \(+32.8\)）

• ExpRAG-LoRA 在 hard 上达到 88.5（检索增强训练的额外增益为 \(+21.3\)），同时 easy 保持 97.3

• Gemma 3-4B（最弱模型）：

• Frozen ExpRAG 几乎无效（hard: 4.9），纯 LoRA 在 hard 上完全崩溃（1.6）
• LoRA + ExpRAG 同样效果不佳（3.3）——说明如果模型基础能力不足以理解检索到的轨迹，推理时加入检索也没有帮助

• ExpRAG-LoRA 将 hard 拉升至 73.8，easy 至 86.3——训练时接触检索数据使弱模型学会了如何利用这些额外信息

• Qwen 2.5-7B（强 in-context learner）：

• Frozen ExpRAG 已在 hard 上达到 81.9——该模型的 in-context learning 能力极强
• 纯 LoRA 在 hard 上反而下降（21.3）——微调破坏了模型的 in-context 泛化能力

• ExpRAG-LoRA 恢复至 90.2——检索增强训练既保留了检索能力，又通过参数更新优化了决策

• Qwen 2.5-7B-1M（长上下文模型）：

• 与 Ministral 表现类似，但得益于长上下文支持，可能从更大的 \(K\) 中受益

3.4.3 ScienceWorld 主结果¶

ScienceWorld hard（OOD）结果，四模型两方法对比：

ScienceWorld 上 ExpRAG-LoRA 的优势同样显著（除 Gemma 4B 外），但绝对数值远低于 ALFWorld——ScienceWorld 的任务更复杂、交互步数更多、子任务多样性更大，经验检索的覆盖难度更高。

Gemma 3-4B 在 ScienceWorld 上 ExpRAG-LoRA 反而略低于纯 LoRA（4.7 vs. 6.3），说明当模型容量不足以同时处理任务推理和检索信息利用时，检索增强训练可能引入额外的学习负担。

3.4.4 实验结论汇总¶

1. ExpRAG-LoRA 在 OOD 泛化上最强：在所有模型和几乎所有设置中，ExpRAG-LoRA 在 OOD hard split 上取得最高成功率
2. LoRA + 推理时检索 优于纯 LoRA：即使训练时未接触检索数据，推理时加入 ExpRAG 也能提升 OOD 性能（但不如 ExpRAG-LoRA）
3. 纯 LoRA 的 OOD 崩溃：标准 SFT 在 easy 上近乎完美但 hard 上严重退化，说明纯参数更新无法解决 distribution shift
4. 检索增益具有模型依赖性：强 in-context learner（Qwen 7B）frozen 时即可从检索中大量受益；弱模型（Gemma 4B）需要通过 ExpRAG-LoRA 训练才能有效利用检索

3.5 鲁棒性测试¶

论文设计了两种压力测试，评估 ExpRAG-LoRA 在检索条件不理想时的表现。

3.5.1 测试设置¶

• 空 Index（Empty Index）：检索阶段不返回任何轨迹，\(m_t\) 为空或仅含占位符文本。模拟「缺乏相关经验」的最坏情况。
• 不匹配 Index（Mismatched Index）：在 hard 任务上测试时，使用 easy 任务的 index（而非 hard index）。模拟「仅有过往简单任务经验，需要泛化到复杂新任务」的实际场景。

3.5.2 Ministral 3-8B 结果（ALFWorld Hard）¶

分析： - Empty index 时退化最严重（从 88.5 降至 29.5）。这是因为 ExpRAG-LoRA 在训练时始终有 memory block 作为输入的一部分，当推理时完全失去这一信号，输入分布发生了最大的偏移。 - Mismatched index 降至 39.3，但仍高于纯 LoRA 的 34.4（见 3.4.2 表）。即使检索到的轨迹来自不同任务类型，input context 的格式（有 memory block + 对话历史）仍与训练分布相近，模型仍能部分利用这些信息。 - Mismatched ExpRAG-LoRA（39.3）仍然是 hard OOD 上最强的单一方法（对比 LoRA + ExpRAG 的 67.2 虽然更高，但那使用了 matched index）。

3.5.3 Qwen 2.5-7B-1M 结果（ALFWorld Hard）¶

Qwen-1M 在不匹配 index 下保持了最强的鲁棒性（60.7），可能得益于其长上下文能力使其在训练时学会了更灵活地利用不同质量的检索结果。

3.5.4 ScienceWorld 鲁棒性¶

ScienceWorld 上所有方法在 empty/mismatched index 下均大幅下降，且 mismatched 相对 empty 的恢复幅度很小。原因在于 ScienceWorld 的 task-type 之间行为模式差异更大（化学混合 vs. 遗传学 vs. 导电测试），easy 轨迹对 hard 任务的可迁移信息有限。

4 评价（忠实原文）¶

4.1 论文自身主张的贡献¶

1. 建立了强的 LoRA SFT 和 ExpRAG retrieval baseline，超过多种 SOTA agent training pipeline
2. 系统分析了经验检索的设计选择：\(K\) 值、static vs. dynamic、index 构成、backbone 的影响
3. 提出 ExpRAG-LoRA，将检索融入训练，显著提升 unseen task 泛化
4. 发现 prolonged training 有助于 OOD 泛化（类似 grokking 的 delayed generalization）

4.2 论文自身承认的局限性¶

1. 检索 index 由 scripted expert trajectories 构建，可能不反映 LLM 自身的错误模式 — 用 LLM-generated rollouts 构建 index 的效果未知
2. 性能依赖轨迹可用性 — 缺少任务相关轨迹时泛化急剧下降
3. 使用固定的只读 episodic memory — 探索 read-write memory（总结、抽象、选择性保留）可能有助于扩展性和长周期适应

4.3 本文方法在论文自身的定位¶

作者将 ExpRAG 定位为一种简单而高效的 baseline：不追求复杂的 self-evolving memory 或 RL-based agent training，而是用最直接的 episodic retrieval + LoRA SFT 组合，达到甚至超过更复杂方法的 OOD 泛化能力。强调社区应该将 retrieval-augmented baseline 作为标准对比。

5 我的思考¶

5.1 与相关工作的对比¶

• vs. Reflexion / A-MEM：后者使用 self-reflection 或 adaptive memory，需要额外推理和更新。ExpRAG 用简单的固定索引 + 检索，效果反而更好（83.6 vs. 42.7），提示简单 baseline 被低估
• vs. ETO / SAND / ITPR：这些 SFT 方法引入了更复杂的训练目标（如 multi-turn reward modeling）。本文的 LoRA baseline 仅用标准 next-token prediction 就达到 94.1%，说明 ALFWorld 这类 benchmark 的挑战可能不在训练方法，而在 OOD 泛化
• vs. classical RAG：将 semantic memory（文档）替换为 episodic memory（轨迹），是自然的扩展。关键差异在于 episodic memory 的检索/利用方式需要更多设计选择

5.2 值得关注的点¶

• Delayed OOD generalization 是反直觉的：validation loss 上升但 OOD 性能继续提升。这提示在 agent fine-tuning 中不应仅依赖 validation loss 做 early stopping，需要考虑任务成功率
• Qwen 2.5-7B 在 no-training ExpRAG 上已经很强（ALFWorld 81.6/81.9），说明基础模型的 in-context learning 能力对检索增强效果影响很大 — 弱模型（如 Gemma 3-4B，20.6）需要训练才能有效利用检索
• Experience 的定义是本文的一个 hidden variable：使用 scripted expert trajectories 意味着 index 中的经验是"干净且最优的"。如果 index 中的轨迹来自实际 LLM rollout（含错误和次优行为），效果如何？这是关键的实际部署问题

5.3 实用性评估¶

• 对于需要快速适配新任务的 agent 系统，ExpRAG-LoRA 提供了一条可行的路径：先用已有轨迹构建 index，微调时注入检索，推理时继续检索
• 但 index 构建依赖 expert trajectories 这一前提限制了其在实际场景中的直接应用 — 实际场景中 expert trajectories 往往不可得
• \(K=2\) 的发现很实用：在效果和延迟之间取到好的平衡点，且 static retrieval 足够可靠，避免了 dynamic retrieval 的 context churn 问题