视频所属系列
LangChain初学者指南
视频封面
标签
详细视频文稿
1. 开场
大家好，欢迎回到我的视频！我是小灰。今天我们将探讨LangChain的向量存储和抽象检索器的使用方法。无论你是新手还是经验丰富的开发者，这个视频都会为你提供宝贵的知识，帮助你理解如何从（向量）数据库和其他来源检索数据，并与大模型的工作流集成。
视频中的文档和相关材料我都会放到视频简介中，大家可以自行取用。
2. 概述
在今天的视频中，我们将涵盖以下几个主要概念：
- Documents（文档）：文本数据的基本单位。
- Vector Stores（向量存储）：用于存储和检索文本数据的向量表示。
- Retrievers（检索器）：用于从向量存储中检索数据的工具。
这些概念对于需要检索数据以进行推理的应用程序非常重要，特别是在检索增强生成（RAG）的情况下。让我们开始吧！
3. 环境设置
首先，我们需要设置开发环境。我推荐使用Jupyter Notebook来运行这些教程。Jupyter Notebook是一种交互式的开发环境，非常适合数据科学和机器学习任务。
安装依赖：
在命令行中运行以下命令来安装必要的包：
这些包将帮助我们实现向量存储和检索功能。
配置全局变量：
刚才我已经运行并配置好了模型请求地址、模型调用的key和langsmith所需的全局变量，大家可以根据使用的模型和申请的秘钥自行配置，相应的全局变量。
4. 创建文档
接下来，我们将创建一些示例文档。文档是文本数据的基本单位，并包含文本内容和相关的元数据。
LangChain 的Document，它具有两个属性：
page_content：字符串格式的文本内容
metadata：包含任意元数据的字典。
这些文档将作为我们向量存储的基础数据。
5. 向量存储
向量存储是一种存储和搜索非结构化数据的方法。它将文本数据转化为数值向量，并使用向量相似度来检索相关数据。
我们将使用LangChain的Chroma向量存储和OpenAI的嵌入模型来实现这一点。
这样，我们就创建了一个包含我们示例文档的向量存储。
6. 数据检索
现在我们可以从向量存储中检索数据了。我们可以使用各种查询方法，例如基于字符串或向量的查询。
这个方法会返回与“cat”相关的文档。
我们还可以进行异步查询：
以及返回带有分数的查询结果：
这些查询方法可以帮助我们高效地检索相关数据。
7. 创建检索器
vectorstore并没有实现Runnables接口，也就是说不能集成到LangChain表达式语言（LCEL）链中。我们可以创建一个简单的RunnableLambda来实现相似性搜索。RunnableLambda继承了Runnables，实现了一套标准方法，可以集成到LangChain表达式语言（LCEL）链中。
这个检索器可以批量处理查询，返回与“cat”和“shark”相关的文档。
或者我们可以使用 Vectorstores 的
as_retriever 方法，该方法将生成一个继承了Runnables接口的 VectorStoreRetriever。as_retriever 需要传入特定的 search_type 和 search_kwargs 属性，用于识别调用底层向量检索的方法以及返回的值。例如，我们可以使用以下方法实现相同的功能：8. 检索增强生成（RAG）应用
最后，我们展示一个最简单的检索增强生成（RAG）应用。它将给定的问题与检索到的上下文结合，组成大模型的提示。
定义用于交互的大模型对象
定义langchain提示词模版，提示词模版设置接收两个参数{question}和{context}，{question}是用户提问的问题，{context}是检索器retriever检索的内容。
定义langchain链：链的第一个节点，是封装提示词模版输入参数，context参数上下文设置为检索器retriever，question为用户输入的问题。两个参数共同组成了提示词模版的输入，提示词模版根据输入生成最终的提示词，传入到大模型中，输出结果
执行langchain链
这个例子展示了如何将检索到的上下文与大模型结合，生成回答。
9. 总结
今天我们探索了LangChain的向量存储和抽象检索器，了解了如何创建文档、向量存储和检索器，并展示了一个简单的RAG应用。希望这个教程对你有所帮助。
如果你喜欢这个视频，不要忘记点赞、订阅，并开启小铃铛，以便第一时间收到我的最新视频更新。
谢谢收看，下次见！
简介
本视频中，我们将探讨LangChain的向量存储和抽象检索器的使用方法。无论你是新手还是经验丰富的开发者，这个教程都会为你提供宝贵的知识，帮助你理解如何从（向量）数据库和其他来源检索数据，并与大模型的工作流集成。
视频内容包括：
- 概述：介绍LangChain的基本概念，包括文档、向量存储和检索器。
- 创建文档：展示如何创建包含元数据的文档，为向量存储提供基础数据。
- 向量存储：解释向量存储的概念，并使用LangChain和OpenAI的嵌入模型创建向量存储。
- 数据检索：演示如何使用不同的方法从向量存储中检索数据，包括同步和异步查询。
- 创建检索器：展示如何创建和使用检索器来实现相似性搜索。
- 检索增强生成（RAG）应用：结合检索器和大模型生成回答，展示一个简单的RAG应用实例。
视频相关文档：
