Langchain ChromaDB去重问题解析

本文旨在解决在使用Langchain和ChromaDB构建向量存储时，检索操作返回大量重复文档的问题。通过分析问题根源，本文提供两种解决方案：一是避免重复向ChromaDB数据库插入相同文档，二是利用EmbeddingsRedundantFilter过滤掉相似的向量，确保检索结果的多样性。本文将通过代码示例和详细解释，帮助读者有效解决此问题，提升检索系统的准确性和实用性。

在使用Langchain和ChromaDB构建向量存储时，一个常见的问题是检索结果中出现大量重复的文档。这通常发生在每次运行程序时，都会将相同的数据重复插入到ChromaDB数据库中。以下将介绍两种解决此问题的方法。

解决方案一：避免重复插入文档

最直接的解决方案是避免每次运行程序时都重新创建向量存储。如果您使用的是相同的文件作为数据源，可以采取以下措施：

1. 首次运行后注释掉插入代码： 在第一次运行程序，成功将文档插入ChromaDB后，可以将以下代码段注释掉，避免后续重复插入。

   vectorstore = Chroma.from_documents(documents=all_splits, embedding=OpenAIEmbeddings())

2. 持久化向量存储： 将向量存储持久化到磁盘，并在后续运行中加载已存在的向量存储。这样可以避免每次都从头开始构建向量存储。

   # 首次创建并保存
   persist_directory = "chroma_db" # 定义持久化存储的目录
   vectorstore = Chroma.from_documents(documents=all_splits, embedding=OpenAIEmbeddings(), persist_directory=persist_directory)
   vectorstore.persist()
   
   # 后续加载已存在的向量存储
   vectorstore = Chroma(persist_directory=persist_directory, embedding_function=OpenAIEmbeddings())

   注意： persist_directory 变量指定了向量存储的保存路径。请确保在后续加载时使用相同的路径。

解决方案二：使用EmbeddingsRedundantFilter过滤重复文档

即使采取了避免重复插入的措施，由于文档内容的高度相似性，仍然可能出现重复的检索结果。这时，可以使用EmbeddingsRedundantFilter来过滤掉相似的向量。

EmbeddingsRedundantFilter通过比较文档的嵌入向量来判断文档是否冗余，并移除相似的文档。

以下是使用EmbeddingsRedundantFilter的代码示例：

import os
from langchain.llms import OpenAI
import bs4
import langchain
from langchain import hub
from langchain.document_loaders import UnstructuredFileLoader
from langchain.embeddings import OpenAIEmbeddings
from langchain.text_splitter import RecursiveCharacterTextSplitter
from langchain.vectorstores import Chroma
from langchain_community.document_transformers import EmbeddingsRedundantFilter
from langchain.retrievers import ContextualCompressionRetriever
from langchain.chains import RetrievalQA
from langchain.llms import OpenAI
from langchain.retrievers.document_compressors import EmbeddingsFilter

os.environ["OPENAI_API_KEY"] = "KEY"

loader = UnstructuredFileLoader(
    'path_to_file'
)
docs = loader.load()

text_splitter = RecursiveCharacterTextSplitter(
    chunk_size=1000, chunk_overlap=200, add_start_index=True
)
all_splits = text_splitter.split_documents(docs)
vectorstore = Chroma.from_documents(documents=all_splits, embedding=OpenAIEmbeddings())
#vectorstore = Chroma(persist_directory=persist_directory, embedding_function=OpenAIEmbeddings())

# 创建冗余过滤器
redundant_filter = EmbeddingsRedundantFilter(embeddings=OpenAIEmbeddings())

# 创建压缩检索器
compression_retriever = ContextualCompressionRetriever(
    base_compressor=redundant_filter,
    base_retriever=vectorstore.as_retriever(search_type="similarity", search_kwargs={"k": 6})
)

# 获取相关文档
retrieved_docs = compression_retriever.get_relevant_documents(
    "What is X?"
)

print(retrieved_docs)

代码解释：

1. 导入必要的模块： 导入EmbeddingsRedundantFilter以及其他相关模块。
2. 创建EmbeddingsRedundantFilter对象： 使用OpenAIEmbeddings创建一个EmbeddingsRedundantFilter对象。
3. 创建ContextualCompressionRetriever对象： 使用EmbeddingsRedundantFilter作为压缩器，并使用vectorstore.as_retriever()创建基础检索器，构建ContextualCompressionRetriever。
4. 使用get_relevant_documents方法： 使用compression_retriever.get_relevant_documents()方法检索相关文档。EmbeddingsRedundantFilter会在检索过程中过滤掉相似的文档。

注意事项：

• EmbeddingsRedundantFilter需要计算文档的嵌入向量，这会增加计算成本。
• EmbeddingsRedundantFilter的过滤效果取决于嵌入向量的质量和相似度阈值的设置。

总结

通过避免重复插入文档和使用EmbeddingsRedundantFilter，可以有效地解决Langchain/ChromaDB向量存储返回重复文档的问题。选择哪种解决方案取决于具体的应用场景和需求。如果数据源稳定，可以优先考虑避免重复插入；如果数据源存在大量相似文档，则可以使用EmbeddingsRedundantFilter进行过滤。结合这两种方法，可以构建更加准确和高效的检索系统。