Retrieval from Within:An Intrinsic Capability of Attention-Based Models——从内部检索：基于注意力模型的固有特性

这是一篇来自NVIDIA和以色列理工学院的学术论文，核心主张是：基于注意力的编码器-解码器模型本身就具备检索能力，无需外挂独立的检索模块。作者提出了INTRA框架，实现了检索与生成的统一。

一、研究背景与核心问题

现状：RAG（检索增强生成）是当前处理知识密集型任务的主流方案，但它将检索器和生成器视为两个独立模块，存在以下问题：

• 检索器与生成器的表示空间不匹配

• 检索到的文本需要重新编码，计算冗余

• 模块分离增加了系统复杂性

核心问题：能否让一个预训练的编码器-解码器模型"从内部"完成检索？即利用模型自身的交叉注意力机制，既做检索又做生成？

二、INTRA框架的核心思想

INTRA（INTrinsic Retrieval via Attention）的核心设计：

关键技术——Reverse-QWK（RQWK）：

• 将原本在编码器端的层特定键投影矩阵移到查询端

• 使所有解码器层可以共享同一套归一化的编码器表示

• 压缩比达约30倍，大幅降低存储和计算开销

三、实验设置

• 模型：T5Gemma2 4B-4B

• 基准：HotPotQA、2WikiMultihopQA、MuSiQue（多跳）、Natural Questions（单跳）

• 语料库：约1亿令牌，759K个块

• 对比基线：TF-IDF、BM25、BGE、Qwen3-Embedding、Jina重排序器、混合RAG等9种方法

四、主要实验结果

1. 检索效果（完整证据召回率）

• INTRA在多跳基准上显著优于所有基线

• 例如HotPotQA上R@5达到59.9%，远超BGE的54.8%和BM25的32.2%

• 对NQ（单跳）优势较小，符合预期——单跳问题留给检索组装的空间有限

2. 端到端QA效果（EM/F1）

• INTRA在多跳基准上全面领先

• HotPotQA EM达46.4%（vs BGE 41.9%），MuSiQue EM达14.0%（vs BGE 10.8%）

• 使用同一T5Gemma2模型做检索和生成时，差距闭合度达59.4%，远超其他生成器组合

3. 效率优势

• 证据预编码一次，跨查询重用

• 首个令牌时间（TTFT）随检索块数增加增长极慢（k=500时约65ms），而标准RAG达1.25s

• 存储1亿令牌的8位量化表示约需2.5TB，具备实际可行性

五、核心贡献总结

1. 概念贡献：证明检索可以是注意力模型的内在能力，无需外挂模块

2. 方法贡献：提出INTRA框架及RQWK技术，实现统一的检索-生成架构

3. 实证贡献：在多跳QA上超越强工程化RAG流水线，同时获得计算效率提升

4. 实践价值：消除检索器-生成器表示不匹配，降低系统复杂度

六、局限性

• 实验限于固定语料库（约1亿令牌），非开放网络规模

• 仅针对T5Gemma2类编码器-解码器架构，未覆盖仅解码器模型

• 存储开销仍大于传统检索索引

• 排除检索时间的效率分析可能低估端到端部署的实际成本

论文的核心主张是：预训练的编码器-解码器模型通过其交叉注意力机制已经具备了可用于检索的内在能力，INTRA框架能够激发这一能力，实现统一的检索-生成，在多跳QA上达到超越传统RAG的效果，同时获得计算效率优势。

这里是自己的论文阅读记录，感兴趣的话可以参考一下，如果需要阅读原文的话可以看这里，如下所示：

摘要

检索增强生成（RAG）通常将检索和生成视为独立的系统。我们探究一个基于注意力的编码器-解码器是否能够直接从其内部表示中进行检索。我们引入了 INTRA（通过注意力进行内在检索，INTrinsic Retrieval via Attention）框架，其中解码器注意力查询对预编码的证据块进行评分，然后这些证据块被直接重用为生成的上下文。通过构建，INTRA 统一了检索和生成，消除了 RAG 流水线中典型的检索器-生成器不匹配问题。这种设计还通过跨查询重用预计算的编码器状态来分摊上下文编码成本。在问答基准测试中，INTRA 在证据召回率和端到端答案质量方面均优于强大的工程化检索流水线。我们的结果表明，基于注意力的模型已经具备了一种可被激发而非作为外部模块添加的检索机制。

1 引言

1.1 动机

大型语言模型越来越多地应用于这样一种场景：回答查询所需的信息相对于完整的可用语料库来说是稀疏的。正是在这种情境下，检索增强生成（RAG）已成为默认设计：检索器选择候选证据，然后生成器使用这些证据来生成答案 [20]。这种分解是实用的，因为将所有可用上下文简单地连接到一个长提示中在计算上非常昂贵，而且即使是大上下文模型，在相关证据稀疏且分布广泛时仍然很脆弱 [39, 24]。

同时，这种标准框架鼓励在检索和生成之间进行强架构分离。检索器对索引文本或嵌入进行操作，而语言模型仅在选择完成后才消费所选的证据。在实践中，这种模块化通常是有帮助的，但它可能掩盖一个重要事实：注意力已经是一种查询条件下的选择和加权相关信息的机制。这引出了本文的核心问题：一个单一的预训练编码器-解码器能否检索到所需证据并用其回答查询？更广泛地说，RAG 的多少功能可以放在模型内部处理，而无需单独的检索器？

1.2 检索作为一种内在能力

我们研究使用固定知识库的问答，并探究预训练的编码器-解码器是否能够从其自身的表示空间中检索、优先排序并使用证据。我们的中心假设是，预训练的基于注意力的模型在此设置下已经具备内在的检索能力。我们将此机制称为 INTRA（通过注意力进行内在检索）：与其依赖于外部检索器，模型通过自身编码器产生的表示来选择证据并生成答案。

注意力与检索之间的联系在第 2.2 节中被具体化：两者都是对候选状态进行查询条件下的匹配操作。在此框架内，INTRA 将解码器的交叉注意力查询转化为块级别的检索得分。这种观点并不意味着注意力机制构成了大规模语料库检索的完整解决方案。相反，它表明预训练的编码器-解码器包含了正确的检索接口：表达解码器需求的查询状态，以及可以被选择并直接消费而无需转换到另一个表示空间的编码证据状态。

这种设计有若干实际优势。相同的编码块状态被用于证据选择和答案生成，减少了单独训练的检索器与其服务的生成器之间的不匹配。因为这些状态是编码器记忆，静态证据可以被编码一次并跨查询重用，而不是被反复打包进一个长解码器上下文中。最后，检索机制可以通过轻量级的解码器端检索查询来适应，而不是通过单独训练的检索器，从而减少了对专用检索系统的需求。

图 1：左图：标准 RAG 流水线。外部检索器选择文档，然后由解码器重新编码以生成答案。检索和生成在独立的表示空间中操作。右图：我们的方法 INTRA，使用预训练的冻结编码器-解码器进行检索和生成。解码器通过其交叉注意力查询检索相关块，并辅以可学习的检索令牌。检索器和生成器共享表示空间，允许跨查询重用预编码的证据。不需要外部检索器。数字表示操作顺序。

1.3 贡献

• 我们提出了 INTRA，其中单一预训练的编码器-解码器模型使用一个共享的表示空间，将证据选择与答案生成耦合起来。

• 我们确定了一个最小的架构方案来展现这种能力：直接重用预训练编码器的原生块表示，编码器端进行后期交互以执行粗检索，解码器端检索查询细化证据，而不引入单独的检索器或压缩模型，如图 1 所示。

• 我们凭经验证明，这种统一的检索-生成设计在多跳 QA 上尤其强大。尽管强大的工程化检索流水线使用了大规模训练数据，但它仍能与之一较高下，同时为选择和生成利用相同的潜在证据。

• 我们描述了这种设计的计算特征，包括当静态证据被编码一次并跨查询重用时出现的可重用上下文机制。

2 方法

2.1 框架公式化

2.2 基于注意力的检索

2.3 检索的初始上下文选择

3 实践实现

我们现在描述将预训练的编码器-解码器注意力模型适配到 INTRA 框架所需的实际更改。我们的实现从 T5Gemma2 [41] 开始，并修改了解码器的交叉注意力，使得预编码的块状态可以直接重用于检索和生成。

3.1 跨层的共享上下文表示

3.2 检索训练目标

3.3 使用池化块嵌入的近似相似度

4 基准测试和实验设置

我们在四个基于维基百科的 QA 基准上评估 INTRA：HotPotQA [38]、2WikiMultihopQA [12]、MuSiQue [34] 和 Natural Questions [19]。它们共同涵盖了桥接和比较推理、更清晰的两跳证据链、组合上更困难的多跳问题以及单跳开放域 QA。我们在大约 1 亿个令牌的固定预算下，为所有四个基准构建了一个共享的检索候选池，包含 759K 个块。关于上下文池构建和分割统计的完整细节见附录 E。

我们将 INTRA 与九个检索基线进行比较，包括稀疏词汇方法（TF-IDF [29]、BM25 [28]）、稠密单向量模型（BGE-large [37]、Qwen3-Embedding-0.6B/4B [42]）、重排序（Jina 重排序器 [14]）、混合 RAG（RRF [6]）以及 ColBERT 风格的 MaxSim 后期交互基线 [18]（详细信息见附录 B.2）。对于检索，我们报告 k∈{5,10,20} 时的完整证据召回率，定义为检索到所有标举证块的示例比例。对于端到端 QA，我们取前 5 个检索到的块，将它们预编码的 T5Gemma2 表示作为交叉注意力上下文打包，并使用 T5Gemma2 模型生成答案，报告精确匹配（EM）和令牌级 F1。所有实验都使用开放检索设置。

图 2：完整证据召回率：检索到所有支持事实的示例百分比。INTRA 在需要证据组装的多跳基准（HotPotQA、2Wiki、MuSiQue）上表现最佳。NQ 的单跳性质使这种优势最小化。

5 结果

我们围绕激发本文的三个实证问题来组织结果。首先，INTRA 是否提高了完整证据集的检索效果（第 5.1 节）？其次，这些收益是否转化为更好的端到端答案质量（第 5.2 节）第三，一旦块表示被重用而不是从原始文本重新编码，会出现什么效率优势（第 5.3 节）

5.1 检索结果

图 2 报告了在四个评估基准上，k∈{5,10,20}的完整证据召回率。完整证据召回率@k 是指在 top-kk 结果中检索到所有标注的支持块的示例比例。我们将此指标视为检索质量最清晰的代理，因为它奖励恢复完整的支持集，而不仅仅是部分支持证据。

主要模式是 INTRA 在需要组装多块证据的多跳检索设置（HotPotQA、2Wiki、MuSiQue）上最强。INTRA 的排序利用了解码器注意力权重，这作为答案生成过程信息需求的代理。这种优势在 NQ 上不太明显，因为检索通常归结为找到一个直接支持的段落，留给解码器引导的证据组装空间较小。附录 C 报告了完整的检索结果。

在图 3 中，我们还比较了三个 top-5 证据集：初始检索集 S0​、由公式 3 中的解码器得分 si​ 重排序的相同初始集，以及来自公式 4 的最终 INTRA 集 SINTRA​。结果表明，对 S0​ 进行重排序是有益的，但全语料库 INTRA 评分通过恢复初始池中不存在的证据产生了最大的收益。

5.2 端到端问答结果

表 1 评估了 INTRA 的端到端检索和生成行为。我们在保持相同的 T5Gemma2 解码器用于生成的同时改变检索方法，报告精确匹配（EM）和令牌级 F1（完整结果见附录 C）。INTRA 在多跳基准（HotPotQA、2Wiki、MuSiQue）上超过了所有基线，与第 5.1 节的结果一致。值得注意的是，INTRA 的检索信号来自一个仅预训练用于生成的冻结解码器，而诸如 BGE 和 Qwen-Embedding 等基线是在大规模检索语料库（包括 HotPotQA 和 NQ 作为监督 [33, 42]）上为检索预训练的。

表 2比较了使用共享解码器进行检索和生成与将 INTRA 检索器与更强的生成器耦合。虽然更强大的生成器通过优越的推理和参数知识可以提升性能，但 INTRA 检索通过使证据与解码器的特定注意力模式对齐来增强性能。为了隔离生成器强度的影响，我们测量了 INTRA 缩小了随机上下文和完整证据上下文之间 EM 差距的多少：

5.3 效率结果

INTRA 的编码器-解码器设计也带来了直接效率优势。标准 RAG 通常检索文本，因此在检索后，生成器在解码之前会重新编码选中的块。INTRA 取而代之的是从 K 检索预编码的块，并且这些状态作为解码器交叉注意力记忆馈入生成过程。检索和生成产生它们通常的成本，但选中的证据在查询时不再被重新编码。表 3 总结了这种计算权衡（详细分析见附录 D）。此外，存储这些表示是可行的，因为将以 8 位精度量化的 10 亿令牌语料库存储大约需要 2.5 TB 的存储空间（详见附录 A.3）。

我们在图 4 中的首个令牌时间（TTFT）基准测试中隔离了这种效应，该测试测量了证据被选择后的生成器端成本。随着检索到的块数 k 增加，INTRA 的预填充时间仍然很小，因为它重用存储的块状态，而标准 RAG 则变慢。附录 D.4 提供了设置和进一步的生成吞吐量测量。

表 2：与 T5Gemma2-INTRA 检索器兼容的生成器。差距闭合度衡量了 INTRA 检索从随机块到完整证据块的 EM 差距中恢复的百分比。在检索和生成之间共享解码器使检索到的证据与生成器的注意力对齐，从而缩小了最大的差距。

6 相关工作

检索增强生成流水线。大多数知识密集型 QA 系统采用模块化的先检索后生成架构。REALM 将检索融入语言模型预训练 [10]，而 RA-DIT 随后对检索器和生成器进行指令微调 [23]。DPR 确立了稠密段落检索作为开放域 QA 的强基元 [16]，而 RAG 则将检索器与序列到序列生成器耦合 [20]。Atlas [13] 联合预训练检索器和编码器-解码器生成器，以优化来自非结构化文本的少样本学习。最近，CLaRa [11] 将文档压缩为可检索的潜在向量，并联合优化重排序和生成。INTRA 与 CLaRa 的不同之处在于三个方面：（i）它重用模型的原生表示空间，（ii）它执行全语料库评分，（iii）它建立在冻结的编码器-解码器模型之上。

多轮智能体 RAG 系统则交替进行推理和重复检索 [21, 1, 31]。INTRA 的目标是可用于此类流水线中的单轮检索模块，而非流水线级别的智能体循环本身。

后期交互与表示空间检索。我们的检索公式与后期交互系统（如 ColBERT [18]、ColBERTv2 [30] 和 ColPali [8]）密切相关，这些系统通过多向量表示上的 MaxSim 式匹配来比较查询和文档令牌。后期交互系统依赖于专用检索器来评分查询-文档匹配，而 INTRA 则让解码器自身的交叉注意力执行此匹配，并在生成过程中消费匹配的表示。

记忆、潜在检索和统一检索-生成。注意力长期以来被视为基于内容的记忆访问。记忆网络 [32] 将 QA 框架化为可微分查找，而 RETRO [4, 36] 则将检索到的块注入模型的计算中。类似地，Titans [2] 认为长上下文建模需要显式记忆机制，而不是更大的注意力窗口。这种直觉与我们的观点兼容，但它们在记忆来源上有所不同：Titans 学习记忆，而 INTRA 则重用模型在证据池上的激活。

长上下文建模与高效序列架构。Transformer 架构在语言建模中的主导地位可主要归因于自注意力，它提供了灵活的令牌交互 [35]。然而，稠密注意力的二次成本阻碍了长上下文扩展，促使人们提出稀疏和线性替代方案 [3, 40, 5, 17]。最近的模型，如 Mamba，探索了进一步降低上下文处理成本的方法 [9, 7, 25, 22]。然而，最近的长上下文基准测试表明，仅仅增加窗口大小并不能确保在相关信息稀疏时能稳健地使用证据 [39, 24]。因此，我们的目标不是取代长上下文建模，而是研究一个必须识别并可靠使用稀疏证据的场景。

图 4：首个令牌时间与检索到的块数 k 的关系，不包括检索时间。INTRA 重用预编码的证据，而标准 RAG 在解码前重新编码检索到的文本。

7 局限性

我们的实验集中于一个固定的上下文池。我们在附录 A.3 中讨论了十亿令牌语料库的实用性，但并未将 INTRA 定位为开放网络检索或网络规模设置中 RAG 的替代品。同样，虽然我们展示了预训练的编码器-解码器在此机制下表现出强大的检索行为，但我们并未证明这种机制能泛化到通用检索器。此外，我们专注于一个单一的实现系列：具有 Reverse-QWK 的 T5Gemma2 风格编码器-解码器，并在短答案文本 QA 基准上进行评估。INTRA 对编码器-解码器交叉注意力的依赖也排除了仅解码器模型。将这些发现扩展到不同规模、模态、动态语料库和架构留待未来工作。

系统评估隔离了一种单一机制。第 5.3 节中的 TTFT 排除了检索时间，以隔离重新编码与重用的成本。部署成本还取决于索引、存储格式和数据移动，而令牌级记忆可能比压缩的检索索引大得多，因此端到端的权衡可能与本文分析的不同。

8 结论

我们的核心结论是概念性的：通常外包给单独模块的检索能力，可以在编码器-解码器的表示空间内执行。我们引入了 INTRA，一个通过激发基于注意力模型的内在检索机制来统一检索和生成的框架。通过为两项任务使用相同的预训练模型，INTRA 消除了检索器和生成器之间的表示不匹配。

实证上，INTRA 在多跳问答基准（HotPotQA、2WikiMultihopQA 和 MuSiQue）上表现出强劲性能，在完整证据召回率和端到端答案质量方面均达到或超过了几种工程化 RAG 流水线的结果。此外，这种共享空间公式化可以带来计算优势：静态证据可以被编码一次并跨查询重用，从而降低预填充成本和生成期间的首个令牌时间。最终，这些发现表明，基于注意力的编码器-解码器可能为传统模块化 RAG 架构提供一种有前景的统一替代方案。