Langchain Faiss 相似度低原因及优化方法

在使用 Langchain 的 Faiss 向量库和 GTE Embedding 模型时，即使查询语句存在于向量库中，相似度得分仍然偏低，这可能是由于 Embedding 模型、距离计算方式或数据预处理等因素造成的。本文将深入探讨这些潜在原因，并提供相应的解决方案，帮助开发者获得更准确的相似度计算结果。

问题分析

在使用 Langchain 的 Faiss 向量数据库进行相似度搜索时，结果的准确性受到多种因素的影响。以下是一些可能导致相似度得分偏低的原因：

1. Embedding 模型选择： GTE (General Text Embeddings) 模型可能并非针对所有类型的文本都表现最佳。不同的 Embedding 模型在处理不同领域或风格的文本时，效果可能存在差异。
2. 距离计算方式： Faiss 默认使用内积作为距离度量。虽然在 Embedding 时使用了 normalize_embeddings=True 对向量进行了归一化，使其等价于余弦相似度，但在某些情况下，其他距离度量方式（如 L2 距离）可能更适合。
3. 数据预处理： 文本数据的预处理方式，如分词、去除停用词等，会影响 Embedding 的质量，进而影响相似度计算的结果。
4. 向量数据库的构建方式： Faiss 索引的构建方式（如使用的索引类型）可能会影响搜索的准确性和效率。

解决方案

针对上述可能的原因，可以尝试以下解决方案：

1. 更换 Embedding 模型： 尝试使用其他 Embedding 模型，例如 OpenAI 的 text-embedding-ada-002 模型。该模型在通用文本 Embedding 方面表现良好。

   from langchain.embeddings.openai import OpenAIEmbeddings
   from langchain.document_loaders import TextLoader
   from langchain.text_splitter import CharacterTextSplitter
   from langchain.vectorstores import FAISS
   
   embeddings = OpenAIEmbeddings()
   
   loader = TextLoader("./text.txt", encoding="utf-8")
   documents = loader.load()
   
   text_splitter = CharacterTextSplitter(chunk_size=1000, chunk_overlap=0)
   docs = text_splitter.split_documents(documents)
   
   db = FAISS.from_documents(docs, embeddings)
   
   query = '无纸化发送失败?'
   res = db.similarity_search_with_score(query, k=3)
   
   print(res)

   注意： 使用 OpenAI Embedding 需要配置 OpenAI API 密钥。

2. 调整距离计算方式： 虽然GTE模型已经进行了归一化，但可以尝试其他的相似度计算方法。Faiss 默认使用内积（归一化后等价于余弦相似度），如果需要使用L2距离，可以考虑在embedding后进行归一化，并在搜索时使用 FAISS.from_documents 函数创建向量数据库。

3. 优化数据预处理： 检查文本数据的预处理流程，确保分词和停用词去除等步骤正确执行。可以尝试不同的分词工具和停用词列表，以优化 Embedding 的质量。

4. 检查 Faiss 索引构建方式： Faiss 提供了多种索引类型，可以根据数据的特点选择合适的索引类型。例如，对于高维向量数据，可以使用 IVF (Inverted File) 索引来提高搜索效率。

示例：使用 OpenAI Embedding 和 L2 距离

以下代码示例展示了如何使用 OpenAI Embedding 模型，并使用 Faiss 进行相似度搜索。

from langchain.document_loaders import TextLoader
from langchain.embeddings.openai import OpenAIEmbeddings
from langchain.text_splitter import CharacterTextSplitter
from langchain.vectorstores import FAISS

embeddings = OpenAIEmbeddings()

loader = TextLoader("./text.txt", encoding="utf-8")
documents = loader.load()

text_splitter = CharacterTextSplitter(chunk_size=1000, chunk_overlap=0)
docs = text_splitter.split_documents(documents)

db = FAISS.from_documents(docs, embeddings)

query = '无纸化发送失败?'
res = db.similarity_search_with_score(query, k=3)

print(res)

query2 = '纸化发送失败?'
res2 = db.similarity_search_with_score(query2, k=3)
print(res2)

注意事项

• 在更换 Embedding 模型后，需要重新构建 Faiss 向量数据库。
• 不同的 Embedding 模型可能需要不同的预处理方式，请根据模型的要求进行调整。
• 在调整距离计算方式时，需要确保与 Embedding 模型输出的向量格式相匹配。

总结

在使用 Langchain 的 Faiss 向量数据库进行相似度搜索时，如果遇到相似度得分偏低的问题，可以从 Embedding 模型选择、距离计算方式、数据预处理和 Faiss 索引构建方式等方面进行分析和优化。通过尝试不同的解决方案，可以提高相似度搜索的准确性，从而获得更好的搜索结果。