一个专注AI agent和AI实践的频道
告别大模型幻觉！LangChain官方带你从零手搓一个RAG系统，彻底搞懂检索增强生成
AI认知
告别大模型幻觉！LangChain官方带你从零手搓一个RAG系统，彻底搞懂检索增强生成
AI认知

告别大模型幻觉！LangChain官方带你从零手搓一个RAG系统，彻底搞懂检索增强生成

前言：你的AI是不是总在“胡说八道”？

自从大型语言模型（LLM）问世以来，我们惊叹于它强大的对话和创作能力。但与此同时，一个令人头疼的问题也随之而来——“模型幻觉”。

你是否遇到过这样的情况：

  • 问它最新的时事新闻，它却一本正经地胡说八道，信息还停留在好几年前。
  • 让它基于公司的内部文档回答问题，它却完全不知道你在说什么，仿佛一个“局外人”。
  • 想要它帮你总结一篇最新的研究论文，它却无法访问和理解你提供的私有数据。

这些问题的根源在于，大多数LLM都是基于一个庞大但固定的语料库进行训练的。一旦训练完成，它们的知识就被“冻结”了，无法获取最新的信息，也无法访问你的私有数据库。这就好比一个学富五车的学者，却与世隔绝，对外界的新知识一无所知。

为了解决这个问题，社区提出了微调（Fine-tuning）的方案。但微调更像是教会模型一种新的“说话方式”或“格式”，而不是灌输新的“事实性知识”。而且，微调的成本高昂，对于需要频繁更新知识的场景来说，显然不是最优解。

那么，有没有一种方法，既经济实惠，又能让LLM“与时俱进”，还能让它理解我们的私有数据呢？

答案是肯定的！这就是我们今天的主角——检索增强生成（Retrieval Augmented Generation，简称RAG）。

什么是RAG？给大模型一个“外挂知识库”

RAG是一种强大而流行的技术，它通过从外部数据源中检索相关文档，并将其作为上下文信息提供给LLM，从而极大地扩展了LLM的知识边界。简单来说，RAG就是给大模型配备了一个可以随时查阅的、动态更新的“外挂知识库”。

整个工作流程就像一个“开卷考试”的学生，条理清晰，逻辑严谨。让我们通过下面这张图来理解它的核心思想：

rag_detail_v2

这个过程主要分为三个核心步骤：

  1. 检索（Retrieve）：当用户提出一个问题时，RAG系统首先不会直接去问LLM。相反，它会将用户的问题作为一个查询指令，去我们预先准备好的“知识库”（比如公司的PDF文档、网站内容、数据库）中进行搜索，找出与问题最相关的几段信息。

  2. 增强（Augment）：系统会将上一步检索到的相关信息，与用户原始的问题进行整合，形成一个内容更丰富、信息量更大的新提示词（Augmented Prompt）。这个新提示词会明确告诉LLM：“请根据我提供的以下背景信息，来回答这个问题。”

  3. 生成（Generate）：最后，将这个增强后的提示词发送给LLM。由于LLM得到了明确的、有据可查的上下文信息，它就能生成一个更加精准、真实、可靠的答案，而不是凭空捏造。

通过这个流程，RAG有效地解决了LLM知识陈旧和无法访问私有数据的问题，使其能够回答关于特定领域、私有数据或最新事件的问题，大大减少了“胡说八道”的概率。

项目介绍：LangChain官方出品《RAG From Scratch》

理论听起来很酷，但如何动手实践呢？

别担心，AI领域的领军者 LangChain 团队为我们带来了一个宝藏项目——“RAG From Scratch”。

这是一个开源的教程系列，旨在帮助开发者从零开始、一步一步地构建和理解RAG系统。它不仅仅是教你如何调用一个API，而是带你深入到底层，理解RAG的每一个核心环节：索引（Indexing）、检索（Retrieval）和生成（Generation）。

更棒的是，这个项目还附带了一套非常详尽的YouTube视频教程，由LangChain的专家亲自讲解，堪称保姆级教学。

从零构建RAG：核心三部曲详解

这个项目将引导我们亲手实现一个RAG系统。虽然我们不会在这里贴出所有代码，但我们可以深入探讨其背后的核心三部曲，让你对整个构建过程有一个清晰的认识。

第一部曲：索引（Indexing） – 打造你的专属知识库

在让AI回答问题之前，我们得先让它“读懂”我们的资料。索引就是这个“预处理”的过程，目的是将非结构化的文档转换成机器可以高效检索的格式。

  1. 加载（Loading）：首先，你需要加载你的数据源。这可以是各种格式的文件，比如PDF、Word文档、TXT文件、网页内容，甚至是数据库里的记录。项目会教你如何使用不同的加载器（Loader）来处理这些异构数据。

  2. 分割（Splitting）：一篇长文档可能包含多个主题，直接将其作为一个整体进行检索效率低下且不精确。因此，我们需要将长文档分割成更小的、语义完整的文本块（Chunks）。如何选择合适的分割策略（比如按段落、按句子，或者固定长度）以及块之间是否需要重叠（Overlap），这些都是提升检索效果的关键细节。

  3. 嵌入（Embedding）：这是最神奇的一步。我们需要将分割好的文本块转换成计算机能够理解和比较的数学形式——向量（Vectors）。这个过程被称为“嵌入（Embedding）”。通过一个嵌入模型（如OpenAI的text-embedding-ada-002），每个文本块都会被映射到一个高维向量空间中。在这个空间里，语义上相似的文本块，其对应的向量在空间位置上也更接近。

  4. 存储（Storing）：最后，我们将这些文本块的向量以及其对应的原始文本内容，存储到一个专门用于高效处理向量数据的数据库中，即向量数据库（Vector Store），例如 FAISS、ChromaDB 或 Pinecone。这样，当用户提问时，我们就能在这个数据库里进行快速的相似度搜索。

第二部曲：检索（Retrieval） – 智能定位关键信息

知识库建好了，接下来就是如何从中高效地找出答案。检索阶段的目标是根据用户的问题，从向量数据库中快速、准确地找到最相关的文本块。

  1. 查询向量化：当用户输入一个问题（Query）时，系统会使用与索引阶段相同的嵌入模型，将这个问题也转换成一个向量。

  2. 相似度搜索：然后，系统拿着这个“问题向量”，去向量数据库中进行搜索。搜索的原理通常是计算“问题向量”与数据库中所有“文本块向量”之间的相似度（例如，余弦相似度）。

  3. 返回Top-K结果：数据库会返回与问题向量最相似的K个文本块向量及其对应的原始文本。这个“K”值的选择也很重要，太小可能遗漏关键信息，太大则可能引入过多噪声。这些返回的文本块就是我们为LLM准备的“参考资料”。

第三部曲：生成（Generation） – 结合上下文的智慧回答

万事俱备，只欠东风。最后一步，就是让LLM登场，基于我们提供的上下文信息，生成最终的答案。

  1. 提示词增强：这是RAG画龙点睛的一笔。系统会自动构建一个结构化的提示词（Prompt），它的模板通常是这样的：

    请根据以下提供的上下文信息，来回答最后提出的问题。如果上下文中没有足够的信息来回答问题，请说“根据我所掌握的信息，无法回答该问题”。

上下文：
[这里是检索到的第一个文本块]
[这里是检索到的第二个文本块]
...

问题：[这里是用户的原始问题]

  2. 调用LLM：将这个精心构造的、包含丰富上下文的提示词发送给大语言模型（如GPT-4）。

  3. 获得精准答案：LLM会严格依据你提供的上下文来组织和生成答案。由于答案的来源是你的自有数据，因此结果的准确性和可靠性得到了极大的保障，彻底告别了凭空想象和胡编乱造。

RAG的广阔应用场景

理解了RAG的原理和构建方法后，你会发现它的应用场景无处不在，能够为各行各业带来巨大的价值：

  • 企业智能知识库：想象一下，公司的所有规章制度、产品手册、技术文档、会议纪要都存储在RAG系统的知识库中。新员工入职，只需向AI助手提问，就能立即获得关于报销流程、项目规范等问题的准确答案。

  • 智能客服与售后支持：将海量的FAQ、产品说明书、用户手册和历史工单数据喂给RAG系统。当用户遇到问题时，AI客服能够秒级响应，提供精准的解决方案，极大提升客户满意度和支持效率。

  • 个人研究与学习助理：对于学生和研究人员，可以将大量的论文、书籍、报告和笔记整合到RAG系统中。在撰写论文或报告时，可以随时向AI提问，快速找到相关文献的论点、数据和引证，成为你的“最强大脑”。

  • 金融与法律行业分析：金融分析师和律师需要处理海量的财报、研报、法律条文和判例。通过RAG，他们可以快速查询和分析这些文档，例如“总结一下这家公司近三年的主要风险因素”或“查找所有关于知识产权侵权的类似判例”，效率呈指数级提升。

同类项目与框架对比

在RAG的生态中，除了从零构建，还有许多优秀的框架可以帮助我们快速实现RAG应用。了解它们，可以帮助我们根据不同需求做出最佳选择。

  • LangChain：这是一个功能极其全面的LLM应用开发框架。它提供了构建RAG应用所需的全套工具链，从文档加载、分割、嵌入到检索和生成，都有高度封装好的模块（例如 RetrievalQA 链）。优点是开发速度快，生态成熟，适合快速原型验证。缺点是封装层次较深，有时像个“黑盒”，当出现问题时，如果不懂底层原理，调试会比较困难。而“RAG From Scratch”项目正是弥补了这一点，让你知其然，更知其所以然。

  • LlamaIndex：这是一个专注于为LLM应用构建数据框架的项目，尤其擅长RAG。相比于LangChain的“大而全”，LlamaIndex在数据索引、检索方面提供了更精细、更强大的功能和优化。它提供了复杂的索引结构（如树索引、关键词表索引）和高级检索策略。如果你要构建一个生产级别的、对检索性能要求极高的RAG系统，LlamaIndex是一个非常值得深入研究的工具。

  • Haystack：这是一个开源的NLP框架，用于构建端到端的问答和神经搜索系统。它的历史比许多LLM框架更悠久，集成了传统的TF-IDF检索和现代的基于Transformer的密集检索。Haystack非常适合构建企业级的智能搜索应用，并且可以与LLM无缝集成，实现复杂的RAG流程。

总而言之，LangChain和LlamaIndex等框架为我们提供了“造车”的便捷工具，而“RAG From Scratch”项目则教会了我们“造轮子”和“发动机”的核心原理。掌握了底层知识，你才能更好地驾驭这些强大的框架，甚至在它们无法满足你的定制化需求时，有能力对其进行改造和优化。

如果你对提升AI应用的准确性和可靠性充满兴趣，渴望真正掌握RAG这项核心技术，那么，强烈推荐你去GitHub上探索“RAG From Scratch”项目，并跟随它的视频教程，亲手开启你的RAG构建之旅！