在不断发展的人工智能领域，检索增强生成（RAG）正在掀起波澜。这种创新方法将大型语言模型的强大功能与事实数据检索的可靠性相结合。在这篇博文中，我们将深入探讨 RAG 的复杂性、其优点、缺点和替代方案。
背景
ChatGPT 等大型语言模型彻底改变了自然语言处理。然而，他们有“产生幻觉”的倾向，或者产生听起来似乎有道理但没有事实依据的信息。这就是检索增强生成（RAG）发挥作用的地方。
RAG 通过将模型的响应基于从矢量数据库检索的事实数据来增强这些模型的可靠性。这种方法不仅保证了生成信息的准确性，还为用户验证数据提供了参考点。此外，通过关注与特定领域相关的事实数据，RAG 允许大型语言模型更有效地专注于特定领域的任务。这会产生更准确、可靠且与上下文相关的输出。
RAG 的工作原理
检索增强生成 (RAG) 是一种复杂的方法，它将基于检索的模型的优势与 seq2seq 生成相结合。与传统的 seq2seq（文本到文本）模型不同，RAG 引入了一个中间步骤，其中涉及在生成响应之前检索相关文档。
它的工作原理如下：
- 文档检索：最初，输入序列（通常是问题或提示）用于在向量数据库中执行语义搜索。此搜索检索一组相关文档。这些文档作为模型可以参考的外部知识源。请注意，任何类型的数据都可以存储在向量数据库中，只要将它们转换为向量嵌入即可。
- 将输入与检索到的文档相结合：输入序列与检索到的文档相结合以形成扩展上下文。该扩展上下文包含原始输入和检索到的文档中的附加信息。
- 传递到解码变换器：然后将扩展上下文传递到解码变换器。需要强调的是，RAG 与任何解码变换器兼容，而不仅仅是特定的解码变换器。这种灵活性使其能够集成到各种架构和应用程序中。
- 生成响应：解码转换器处理扩展上下文并生成响应。响应不仅基于输入序列，还基于检索到的文档中的信息。这确保了输出以事实数据为基础并且与输入相关。
通过文档检索合并外部知识源并使用解码器转换器，RAG 有效地弥合了基于检索的模型和生成模型之间的差距。与传统的 seq2seq 模型相比，这可以为您的特定任务提供更明智、更准确的响应。
RAG的优点
- 减少幻觉：通过根据事实数据做出反应，RAG 减少了生成错误或捏造信息的机会。
- 促进事实检查：用户可以通过检查检索数据的来源来验证信息。
- 提高特定领域任务的准确性：提供相关文档作为上下文可以使生成对您的特定任务更加准确和有用。
- 灵活性：RAG 非常灵活。您无需重新训练模型即可获得不同的输出；您只需更改矢量数据库中的数据即可。
- 对公司来说具有成本效益：拥有现有相关数据数据库的公司可以使用 RAG 作为微调的替代方案，微调可能会占用资源。
RAG 的缺点
- 依赖于语义搜索：RAG 的有效性高度依赖于语义搜索的质量。如果搜索检索到不相关或低质量的文档，则生成的响应的质量也可能很差。
- 需要现有数据：RAG 依赖于要从中检索文档的现有数据库。如果没有大量的数据库，就不可能利用 RAG 的优势。
- 延迟问题：首先检索文档然后生成响应的两步过程可能会导致延迟。这可能不适合需要实时响应的应用程序。
- 上下文长度限制：我们必须谨慎对待解码转换器可以处理的最大上下文长度。例如，ChatGPT (gpt-3.5-turbo) 的最大上下文长度为 4096 个标记（大约 3 页单行英文文本）。如果输入序列和检索到的文档的组合长度超过此限制，则必须截断某些信息，这可能会影响响应的质量。
备择方案
- 微调模型：不使用 RAG，而是可以在特定数据集上微调整个语言模型以实现所需的输出。与 RAG 相比，这需要更多的精力和训练时间，但它可能有助于解决延迟问题。
- 微调 Transformer Attention Head：这涉及使用检索到的文档微调 Transformer 的注意力头。为了实现这一目标，标准 seq2seq 模型中集成了一个额外的编码器。该编码器的具体任务是处理检索到的文档。该附加编码器的输出以及原始编码器的输出共同用于通知解码器。该方法本质上改进了模型的注意力机制，使其在利用检索到的文档时更加具有洞察力和效率。它需要更复杂的设置，但可以潜在地提高模型的性能。这需要更多的努力，但可能是训练整个网络的一个有趣的替代方案。这是一种相当新的方法，建议在将其部署到生产环境之前进行彻底的测试和研究，以确定其有效性和可靠性。
总结
检索增强生成（RAG）就像一个超级英雄团队，大语言模型的智力与真实信息的可信度伙伴联手。当您需要准确的答案并想要验证信息是否正确时，这种组合非常有用。
RAG 在很大程度上取决于它检索真正重要的相关文档的能力。如果语义搜索不准确，那么你们这一代人也不会那么准确。
当您尝试使用 RAG 时，请权衡您的具体需求和限制。还有其他途径，例如根据您的特定任务微调模型或集成知识库，这可能更符合您的目标。
毕竟，工程就是权衡……